机器学习需要的大量数据集从哪里找?局关THUPhD @ 卡内基梅隆大学 | THUer1276 赞同8 评论5542 收藏 var _______ssr_track_zm_page_view = 'https%3A//sugar.zhihu.com/ad-track/dream%3Fat%3Dpage_view%26brd%3D%26chl%3D%26cid%3D%26ct%3D1%26ctid%3D%26md%3D%26os%3D4%26pi%3D%26si%3D%26tk%3D%26cot%3D%26clid%3De6e90b1d-2c0d-48ba-88c2-d6c9ffb54495'; var _______ssr_lt_zm_page_view = 'undefined'; true && fetch(unescape(_______ssr_track_zm_page_view), { method: 'GET', mode: 'cors', headers: {'x-zm-96': '122ce32c1e9fd3c9495af64215712b31', 'x-zm-93': 'custom'}}) false && fetch(unescape(_______ssr_lt_zm_page_view), { method: 'GET', mode: 'cors', headers: {'x-zm-96': '', 'x-zm-93': 'custom'}}) 整理了一下常见的综合性数据集、CV计算机视觉数据集和NLP自然语言处理数据集，持续更新中。

这是一个很经典的ML数据集网站，在ML的paper当中经常会遇到基于这些数据集做的实验。UCI机器学习数据集目前共收纳了将近500个数据集，并将这些数据集按数据类型（univariate、multivariate、time-series等）和机器学习任务（classification、regression、recommendation systems等）分类。其中有不少数据是已经清洗好的，可以拿来直接使用。

Kaggle是Google旗下的一个机器学习社区，拥有十分丰富的各种类型的数据集，经常会举办各种ML竞赛。Kaggle的优点是每个数据集都会有相应的讨论和代码可以参考，其中不乏大神级别的思路和算法，很适合实践自己学到的ML知识。强烈推荐！

天池是阿里巴巴旗下的类似Kaggle的一个竞赛型平台，对于母语中文的学习者来说没有语言门槛。跟Kaggle一样，对于各个阶段的ML学习者都非常友好，专门有帮助萌新入门ML大赛的新手指南。同样十分推荐！

VisualData是一个计算机视觉数据集平台，目前还在进一步完善建设当中。它收集了最近的CV顶会paper的相关数据，并且按照主题进行了分类，大多数数据都提供了对应的paper和code，并且允许用户申请上传自己的数据集。用户体验十分友好。

Visual Genome 数据集是Stanford 大学维护的图像及图像内容语义信息的数据集，相比于著名的 ImageNet 图像标注数据集，Visual Genome 附加了更为丰富的语义信息，用以拓展更加丰富的基于图像及语义信息的人工智能应用。目前包括108077 张图片、540 万区域内容描述（Region Descriptions）、170 万图像内容问答（Visual Question Answers）、380 万对象案例（Object Instances）、280 万属性（Attributes）、230 万关系（Relationships）。

任务要求：

1. 理解概念：仔细阅读上述内容，理解 AI 数据集 的核心原理
2. 动手实践：运行上面的代码示例，理解每一行的作用
3. 拓展练习：修改代码参数，观察输出结果的变化
4. 总结笔记：记录关键知识点和自己的理解

from transformers import pipeline

# 文本生成
generator = pipeline("text-generation", model="gpt2")
result = generator("人工智能的未来发展", max_length=100, num_return_sequences=1)
print("文本生成:", result[0]['generated_text'])

# 问答
qa = pipeline("question-answering", model="distilbert-base-cased-distilled-squad")
answer = qa(question="什么是机器学习？", 
            context="机器学习是人工智能的一个分支，它使计算机能够从数据中学习。")
print(f"问答：{answer['answer']}")

# 翻译
translator = pipeline("translation_en_to_zh", model="Helsinki-NLP/opus-mt-en-zh")
result = translator("Hello, welcome to AI learning!")
print(f"翻译：{result[0]['translation_text']}")

💡 提示：

建议投入 1-2 小时完成今天的学习。理解概念后一定要动手实践！