这份清单我前后整理了一个多星期。起因是前阵子带一个新人做深度学习入门项目他问我网上推荐的数据集那么多到底哪几个值得花时间下载、哪几个适合我现在的任务我翻了一圈答案发现要么是重复那几样老经典的入门数据要么就是甩一堆数据集名字过来既不告诉你它们适合什么任务也不说使用时的坑在哪。所以我决定换个思路按数据科学家实际工作流来整理——从图像处理、语音识别到自然语言、多模态视频一共挑了25款真正称得上“开放”的深度学习数据集。这篇文章会把它们按方向拆开讲清楚包括每款的规模、典型用途、下载方式和我在实践中踩过的一些坑读完你可以直接把这份清单当成自己的选型参考。1. 先把25款数据集摆上桌方向划分与选择逻辑1.1 为什么按任务方向来组织这份清单深度学习研究本质上是被数据形态驱动的。你处理的是像素就是计算机视觉问题处理的是声波信号就是语音识别问题处理的是离散文本就是自然语言处理问题。不同形态的数据标注格式、评估指标、预处理流程完全不同。按年份或按数据集“名气”排列没有意义数据科学家需要回答的核心问题是我的任务属于哪个方向我需要哪种模态的数据。所以我按“图像—语音—文本—多模态与视频”四个大类外加一些跨方向的精品资源共25款。这25款不是随便选的它们基本对应深度学习论文里出现频率最高的公开基准。也就是说你在某个数据集上跑出来的结果是可以跟论文里的数字做横向对比的这对复现和验证模型思路非常重要。另一个筛选标准是“开放”二字至少要能通过公开渠道申请或直接下载不需要企业内部权限也不依赖特殊渠道。这批数据集里有些是动不动几个TB的“重量级”有些是几十MB的“轻量级”。如果你是刚入门我的建议很直接先从小数据开始跑通pipeline再去碰大数据。数据集不是越大越好“够用”和“能复现”才是关键。1.2 一张总表25款数据集一览下表列出我这次整理的全部数据集。后面的章节会逐个展开讲细节这里先给你一张全景图方便快速定位。方向数据集规模典型任务图像ImageNet1400万图片1000类图像分类、预训练图像COCO33万图片80类目标检测、实例分割、关键点图像Open Images V6900万图片6000类多标签分类、检测、关系检测图像Places365180万图片365类场景场景识别图像CIFAR-10/1006万张32x32图片入门分类、快速实验图像SVHN60万数字图片街景数字识别图像GTSRB5万交通标志图43类交通标志分类图像Fashion-MNIST7万张28x28灰度图替代MNIST的baseline语音LibriSpeech约1000小时有声书音频语音识别、声学模型语音Common Voice多语种众包语音多语种语音识别语音TIMIT630人约5.4小时音素识别、语音学研究语音AISHELL-1178小时中文普通话中文语音识别语音Speech Commands10万条命令词关键词唤醒检测语音UrbanSound8K8732条环境音声音事件分类文本GLUE9个子任务自然语言理解基准文本SuperGLUE8个更难的任务语言模型能力评测文本SQuAD 2.0约15万道问答机器阅读理解文本IMDb Reviews5万条影评情感分类文本WikiText-103约1亿token词级语言模型文本WMT16多语种平行语料机器翻译多模态LAION-5B58.5亿图文对CLIP类模型预训练多模态Flickr30k3.1万图15万描述图文检索、Image Captioning视频Kinetics-40030万视频片段400类视频行为识别视频BDD100K10万张驾驶图像自动驾驶多任务感知语音/视频VoxCeleb2112万条语音6112位说话人说话人识别与验证这张表里的“规模”只是粗略数据具体版本不同会略有出入。但方向很明确每个数据集对应一类典型问题后文会逐个告诉你为什么选它以及有什么使用注意点。1.3 判断数据集好坏的四个标准在往下读之前先送给大家一套我自己判断数据集是否值得用的标准。这套标准我用了很多年比任何清单都管用。第一任务匹配度。你需要什么输入和输出数据集就得提供什么。做目标检测就找带边界框标注的做语音识别就找带文本转写的别用分类数据硬套检测任务浪费时间。第二规模与多样性。数据量至少要到能让模型“学得动”的程度同时数据本身要有足够的分布多样性。第三标注质量。公开数据集最大的隐形成本就是标注噪声。我会习惯性抽检几十条数据人工看看标注对不对再决定要不要用。第四许可以与可获取性。这直接影响你能否把结果用在商用产品里。后面第五部分我会专门展开。2. 图像处理方向从学术基准到真实世界2.1 ImageNet、COCO、Open Images V6三个绕不开的标杆先说ImageNet。任何一个做过图像分类的人都不可能绕过它。ILSVRC 2012这个子集包含约128万张训练图片、1000个类别完整版有1400多万张图片。绝大多数预训练模型ResNet、EfficientNet、ViT都是在它上面训练的。但我要提醒你ImageNet不仅下载麻烦还需要申请学术账号更关键的是它存在比较明显的类别不均衡和标签噪声问题训练时如果发现过拟合或结果异常可以先检查自己是否做了合适的数据增强和标签平滑。COCO是目标检测和实例分割领域的事实标准。33万张图片、80个物体类别标注包括边界框、分割掩码、关键点。几乎所有检测模型的论文精度都是报COCO上的mAP。我的建议是如果做检测或分割直接以COCO为基准别在小数据集上反复调参再跑到COCO那样容易过拟合到小数据集。COCO 2017版可以直接用脚本下载训练集约19GB验证集1GB对显卡和磁盘都有一定要求。Open Images V6知道的人相对少一些但它其实非常值得关注。900万张图片、6000多个类别标签有检测框和关系标注规模远超COCO标签体系是层级的。它的定位是“更大、更杂、更接近真实世界”特别适合做多标签分类、大规模检测以及研究标签层级关系。坑在于这么多数据想直接全量拉下来要花不少时间我用官方下载脚本分了好几天才拉完而且类别极度不均衡很多稀有类别只有几百个样本训练时要考虑采样策略。2.2 轻量级与特殊场景CIFAR、SVHN、GTSRB、Fashion-MNIST、Places365不是所有任务都需要上ImgaeNet级别的海量数据。做学术实验、毕设验证、快速原型小而精的数据集反而效率更高。CIFAR-10/100是我见过最友好的入门数据。6万张32x32的彩色小图训练集5万、测试集1万。分辨率虽小但五脏俱全从简单CNN到复杂Transformer都能跑。CIFAR-100比CIFAR-10多了20倍的类别数和两层标签体系粗标签细标签适合练习层次分类。个人经验第一版模型先用CIFAR-10跑通再迁到更大的数据上能省下大量调试时间。SVHN是个被低估的数据集。它来自谷歌街景门牌号60多万张数字图片目标是识别0-9的数字。它和MNIST长得像但难度完全不同——图片是自然场景背景复杂数字有旋转、变形和遮挡。我建议用它来做两个任务一是数字分类二是简易目标检测。这两种玩法都能很好地锻炼处理真实噪声数据的能力。GTSRB是德国交通标志数据集43类、5万多张。它最大的特点是类别不均衡和拍摄条件差异大同一类标志在不同光照、角度下外观差异巨大。如果要做细粒度图像分类这是个不错的练习场。要注意的是原数据集包含训练集和测试集下载后第一件事是检查图片尺寸和通道数别在读取上浪费时间。Fashion-MNIST就是用来替代MNIST的。MNIST手写数字已经简单到难以区分模型优劣而Fashion-MNIST同样是28x28灰度图、7万张但内容是衣物类别间相似度更高baseline跑起来更有区分度。做模型架构快速验证时我常用它而不是MNIST。Places365对应场景识别任务180万张图片、365类场景和ImageNet互补。如果你做的是室内定位、场景理解、图像检索这类任务Places365预训练权重经常比ImageNet更合适。这个数据集申请流程简单下载后注意它包含多个分辨率版本用256px的版本就够大多数任务用了。3. 语音识别方向从朗读到真实场景数据决定你能走多远3.1 LibriSpeech与TIMIT语音识别入门的“教科书级”数据LibriSpeech几乎是所有开源语音识别系统的默认起点。它由英语有声书音频转写而成总时长约1000小时采样率统一为16kHz单声道。官方把训练集划分为三份train-clean-100100小时高信噪比、train-clean-360360小时、train-other-500500小时噪声更多、口音更杂。测试集也分成clean和other两种。这种划分很科学你既可以在干净数据上验证模型基本能力又能在“其他”数据上测试鲁棒性。实操上我强烈建议按官方划分来训这样你的结果能和论文对比。LibriSpeech的音频格式是FLACtorchaudio和librosa都能直接读但记得统一处理成float32或int16的张量否则后面特征提取会出各种诡异问题。TIMIT是另一个经典但和LibriSpeech定位完全不同。它只有630位说话人、约5.4小时录音却包含音素级别的精细标注。它不是用来训大模型的而是用于语音学研究、音素识别实验、声学特征分析。我读博时用TIMIT做过一个发音评测的小项目它的好处是标注极细坏处是它需要LDC授权下载流程比LibriSpeech麻烦而且商业使用受限。做学术研究没问题商用别碰。3.2 多语种语音Common Voice与中文数据AISHELL-1Common Voice是Mozilla发起的众包语音项目目前覆盖几十种语言规模非常大。它的核心是“采集普通人自然说话”所以音质、口音、语速差异都很大和LibriSpeech那种播音级音频完全两个风格。用它训练出来的模型在日常场景往往更抗造但它也有个很大的问题质量参差不齐。数据里边有不少无效录音、半句话、背景噪音我在实验时必须先用validated.tsv做一遍过滤只保留通过众包验证的句子。如果你做中文语音识别AISHELL-1是首选开源数据集178小时标准普通话400位说话人使用知识共享许可可直接下载。它覆盖新闻、对话、有声书等多类文本转写质量高非常适合训练中文ASR基线。要注意的是中文模型输出的文本是汉字序列在声学模型和语言模型之间还有“拼音—汉字”对齐的问题不像英文那样可以直接按字母建模。数据里已经提供了词典和音素标注新手可以少踩不少坑。3.3 关键词唤醒与环境音Speech Commands、UrbanSound8K、VoxCeleb2不是所有语音任务都是大段语音识别。很多实际产品需要的是“小唤醒词”比如智能音箱的“你好同学”、手机上的“Hey Siri”。Speech Commands就是为这个场景设计的数据集包含10万多条命令词录音类别有“yes”“no”“up”“down”等时长都是1秒左右。这个数据集很适合训练实时关键词检测模型。如果你手头有ESP32、嵌入式Linux这类资源受限设备想跑轻量的语音识别我建议用Speech Commands训练关键词模型然后配合官方的ESP-SR框架做部署但要注意统一采样率——我见过很多人训练数据是16kHz部署端却按8kHz推理效果直接崩。UrbanSound8K是声音事件分类数据集8732条环境音雨声、狗叫、警笛、钻机等10类每条音频最长不过4秒。这次我格外想推荐它因为大部分教程都只讲语音识别环境音分类是很少见的视觉之外的分类练习对音频特征提取MFCC、mel-spectrogram的理解帮助很大。下载需要填个小表单然后会收到直链总量不到1GB很轻量。VoxCeleb2则是说话人识别的标杆数据112万多条语音来自6112位明星的采访视频语音覆盖大量真实噪声和重叠说话场景。它和前面的数据集最大的不同是“语音对应身份”任务是判断两段音频是否来自同一人此类任务的评估指标也特殊常用EER等错误率和minDCF。数据整体通过YouTube视频切分而来使用时要注意协议限制我一般只做学术实验。它的音频由视频音轨抽取采样率通常较高处理前务必检查声道和位深。4. NLP、多模态与视频方向紧跟前沿的开放资源4.1 文本数据从基准到预训练语料自然语言处理的数据形态很不一样它不像图像和语音那样有“像素”和“波形”的统一结构更多是按任务划分。GLUE和SuperGLUE是语言模型评测的经典入口。GLUE包含9个自然语言理解子任务涵盖情感分类SST-2、文本蕴含RTE、句间相似度STS-B、问答QQP等SuperGLUE则进一步提高了难度全是BERT时代的“硬骨头”。它们的好处是一次跑完9个任务可以综合判断模型的语言理解能力而不是在单个数据集上自嗨。坏处是这些数据集都是研究许可商用需谨慎。现在大模型评测更流行MMLU这类评测集但作为理解“预训练微调”这套范式GLUE依然是无可替代的教材。SQuAD 2.0是机器阅读理解的标杆。它包含约10万道可以从原文找到答案的问题外加5万道“不可回答”问题。这个设计很巧妙模型不能只学会在原文里找句子还得学会判断“此路不通”。我用它训练模型时最深的体会是threshold调优很重要因为不可回答样本会直接影响F1和EMExact Match一定要在开发集上找到合适的拒答阈值。IMDb Reviews是情感分析入门首选5万条影评正负各半没有类别不均衡的烦恼下载即用CSV格式几十MB。很多人拿它做RNN、LSTM的练习数据效果非常直观。WikiText-103则适合训练词级语言模型约1亿token来自维基百科的10万篇文章。相比动辄几十GB的Common Crawl它很适合在单机单卡上做语言模型的预训练或fine-tune。WMT16则是机器翻译任务的经典数据集包含英语与多语种的平行语料多语言机器翻译入门必备。4.2 图文多模态LAION-5B与Flickr30k多模态是这几年的风口但很多新手一上来就想去训CLIP结果被数据规模吓退。LAION-5B是最大的开放图文对数据集之一近58.5亿对“图像文本”数据是CLIP这类模型的常用预训练语料。我要直接劝退不要想着全量下载除非你手上有几十TB存储和集群级算力。正确用法是通过img2dataset这类工具按需采样子集。另外一个真实存在的坑是数据质量——它是自动采集的图文匹配度参差不齐很多“文本”跟图片完全无关最好用CLIP高分过滤一遍再训练。Flickr30k就是入门多模态的最好朋友。3.1万张图片每张图有5句人工描述总量不大适合做图文检索和Image Captioning。它常被拿来评估模型的场景理解能力。使用的时候注意官方数据里图片和文本是分开的需要自己对齐另外它采用CC许可商用要看清条款。4.3 视频行为与自动驾驶Kinetics-400、BDD100KKinetics-400是视频行为识别领域最常被引用的数据集。400个人类动作类别如打篮球、弹吉他、跳远每个类别有至少400个视频片段总共约30万个片段。但下载方式和图像数据集完全不同——它通常给你的是YouTube视频链接而不是视频文件。这意味着你需要自己写下载脚本用量大的时候爬取时间很长还经常遇到链接失效。我的建议是直接找已经下好并切分过的第三方镜像但要仔细核对切分方式和视频大小是否和官方一致。BDD100K是自动驾驶感知领域的大规模开放数据集10万张道路场景图像覆盖不同天气、光照、时段标注包括边界框、车道线、可行驶区域、分割、跟踪等。多任务、多标签是它最大的特点适合做自动驾驶感知模型的一站式数据。它是百度发布的研究型数据下载需要注册申请并同意协议个人学术使用基本都能通过。实际操作中要特别留意它包含大量路人面孔和车牌信息发布demo时一定要做模糊化处理这是最基本的数据伦理要求。5. 数据集工程化下载、预处理、做实验的实操经验5.1 下载渠道与效率数据集能不能顺利拿到手渠道非常关键。我的常规操作是先看Hugging Face Datasets上有没有镜像。现在很多经典数据集都能在Hugging Face上直接搜到不仅能下载原始数据还能用datasets库一键加载进内存省去自己解析格式的时间。像GLUE、SQuAD、Common Voice都有官方或社区维护的版本但要注意HF上的版本有时候和官网版本不完全一致跑论文复现时我会优先用官网原始数据。Kaggle也是一个很好的下载源尤其是图像类竞赛数据集但Kaggle的特点是很多数据是竞赛专用的许可上带有“竞赛专用”限制商用前必须确认。官网申请还是老办法适用于ImageNet、BDD100K、UrbanSound8K这类需要授权验证的数据。下载大文件时一定用断点续传工具比如aria2配合多线程下载几百GB的数据能节约一半时间。国内网络环境下部分高校和云厂商提供镜像加速合理利用它能让下载体验提升不少。5.2 预处理与存储的常见坑预处理是数据工程里最容易被低估的部分。很多人的流程是下载完直接写个for循环读文件然后开始训练。这在数据量小的时候没问题量一大就完蛋。图像数据集尤其是ImageNet这种百万级的建议先统一把图片缩放到较小尺寸或直接转成TFRecord、LMDB这类二进制格式避免每次训练都做昂贵的I/O解码。语音数据集则要特别注意采样率统一、声道合并、静音裁剪。LibriSpeech是16kHzCommon Voice是48kHz源文件但提供16kHz版本VoxCeleb2的采样率不固定这些都得在训练前写一个固定的预处理管线。文本数据集相对轻量但BPE分词和词表的构建要放在训练之前避免每次实验重复构建浪费时间。存储空间的计算也是一门学问。图片类的数据COCO 20GB、Open Images几百GB、ImageNet一百多GB训练集、验证集、缓存文件、checkpoint加起来会非常占地方。我的习惯是准备一块专门的数据盘至少提前算好2倍冗余。5.3 许可以与合规建议保存到笔记里最后这部分内容最容易被忽略但真的建议每个数据科学家都认真对待。我见过不少项目做得挺好最后因为数据集许可问题没法上线非常可惜。这里有几个关键点。一是很多数据集区分“学术用途”和“商业用途”。ImageNet、GLUE、TIMIT等数据集的协议对商业场景有严格限制你要是准备做商用产品务必提前确认。二是CC类许可要具体看版本像Flickr30k、Common Voice虽然开放但CC许可证也分BY、NC、SA等不同条款NC就是非商业商用会踩雷。三是涉及人像和声音的数据集BDD100K、VoxCeleb2、Speech Commands有真实人声做技术分享时一定要做好人脸和隐私信息打码保护数据主体这也是行业底线。还有一类容易被忽略的问题叫数据污染很多榜单数据同时出现在预训练语料里导致模型评测分数虚高。做论文对比实验时要多留个心眼确认自己的基线和评测数据是否同源。最后再分享一个小技巧。我平时在多个数据集之间切换时会给每个数据集建一个“数据卡片”里面记离线存放路径、许可摘录、数据统计信息、读取代码的第一行、已知的坑。这个习惯帮我节省了大量重复摸索时间。几个月后再翻出来依然能快速捡起来继续跑比收藏几十个链接管用得多。准备开始做数据集的你不妨也试着从第一份数据卡片开始。
这份清单我前后整理了一个多星期。起因是前阵子带一个新人做深度学习入门项目他问我网上推荐的数据集那么多到底哪几个值得花时间下载、哪几个适合我现在的任务我翻了一圈答案发现要么是重复那几样老经典的入门数据要么就是甩一堆数据集名字过来既不告诉你它们适合什么任务也不说使用时的坑在哪。所以我决定换个思路按数据科学家实际工作流来整理——从图像处理、语音识别到自然语言、多模态视频一共挑了25款真正称得上“开放”的深度学习数据集。这篇文章会把它们按方向拆开讲清楚包括每款的规模、典型用途、下载方式和我在实践中踩过的一些坑读完你可以直接把这份清单当成自己的选型参考。1. 先把25款数据集摆上桌方向划分与选择逻辑1.1 为什么按任务方向来组织这份清单深度学习研究本质上是被数据形态驱动的。你处理的是像素就是计算机视觉问题处理的是声波信号就是语音识别问题处理的是离散文本就是自然语言处理问题。不同形态的数据标注格式、评估指标、预处理流程完全不同。按年份或按数据集“名气”排列没有意义数据科学家需要回答的核心问题是我的任务属于哪个方向我需要哪种模态的数据。所以我按“图像—语音—文本—多模态与视频”四个大类外加一些跨方向的精品资源共25款。这25款不是随便选的它们基本对应深度学习论文里出现频率最高的公开基准。也就是说你在某个数据集上跑出来的结果是可以跟论文里的数字做横向对比的这对复现和验证模型思路非常重要。另一个筛选标准是“开放”二字至少要能通过公开渠道申请或直接下载不需要企业内部权限也不依赖特殊渠道。这批数据集里有些是动不动几个TB的“重量级”有些是几十MB的“轻量级”。如果你是刚入门我的建议很直接先从小数据开始跑通pipeline再去碰大数据。数据集不是越大越好“够用”和“能复现”才是关键。1.2 一张总表25款数据集一览下表列出我这次整理的全部数据集。后面的章节会逐个展开讲细节这里先给你一张全景图方便快速定位。方向数据集规模典型任务图像ImageNet1400万图片1000类图像分类、预训练图像COCO33万图片80类目标检测、实例分割、关键点图像Open Images V6900万图片6000类多标签分类、检测、关系检测图像Places365180万图片365类场景场景识别图像CIFAR-10/1006万张32x32图片入门分类、快速实验图像SVHN60万数字图片街景数字识别图像GTSRB5万交通标志图43类交通标志分类图像Fashion-MNIST7万张28x28灰度图替代MNIST的baseline语音LibriSpeech约1000小时有声书音频语音识别、声学模型语音Common Voice多语种众包语音多语种语音识别语音TIMIT630人约5.4小时音素识别、语音学研究语音AISHELL-1178小时中文普通话中文语音识别语音Speech Commands10万条命令词关键词唤醒检测语音UrbanSound8K8732条环境音声音事件分类文本GLUE9个子任务自然语言理解基准文本SuperGLUE8个更难的任务语言模型能力评测文本SQuAD 2.0约15万道问答机器阅读理解文本IMDb Reviews5万条影评情感分类文本WikiText-103约1亿token词级语言模型文本WMT16多语种平行语料机器翻译多模态LAION-5B58.5亿图文对CLIP类模型预训练多模态Flickr30k3.1万图15万描述图文检索、Image Captioning视频Kinetics-40030万视频片段400类视频行为识别视频BDD100K10万张驾驶图像自动驾驶多任务感知语音/视频VoxCeleb2112万条语音6112位说话人说话人识别与验证这张表里的“规模”只是粗略数据具体版本不同会略有出入。但方向很明确每个数据集对应一类典型问题后文会逐个告诉你为什么选它以及有什么使用注意点。1.3 判断数据集好坏的四个标准在往下读之前先送给大家一套我自己判断数据集是否值得用的标准。这套标准我用了很多年比任何清单都管用。第一任务匹配度。你需要什么输入和输出数据集就得提供什么。做目标检测就找带边界框标注的做语音识别就找带文本转写的别用分类数据硬套检测任务浪费时间。第二规模与多样性。数据量至少要到能让模型“学得动”的程度同时数据本身要有足够的分布多样性。第三标注质量。公开数据集最大的隐形成本就是标注噪声。我会习惯性抽检几十条数据人工看看标注对不对再决定要不要用。第四许可以与可获取性。这直接影响你能否把结果用在商用产品里。后面第五部分我会专门展开。2. 图像处理方向从学术基准到真实世界2.1 ImageNet、COCO、Open Images V6三个绕不开的标杆先说ImageNet。任何一个做过图像分类的人都不可能绕过它。ILSVRC 2012这个子集包含约128万张训练图片、1000个类别完整版有1400多万张图片。绝大多数预训练模型ResNet、EfficientNet、ViT都是在它上面训练的。但我要提醒你ImageNet不仅下载麻烦还需要申请学术账号更关键的是它存在比较明显的类别不均衡和标签噪声问题训练时如果发现过拟合或结果异常可以先检查自己是否做了合适的数据增强和标签平滑。COCO是目标检测和实例分割领域的事实标准。33万张图片、80个物体类别标注包括边界框、分割掩码、关键点。几乎所有检测模型的论文精度都是报COCO上的mAP。我的建议是如果做检测或分割直接以COCO为基准别在小数据集上反复调参再跑到COCO那样容易过拟合到小数据集。COCO 2017版可以直接用脚本下载训练集约19GB验证集1GB对显卡和磁盘都有一定要求。Open Images V6知道的人相对少一些但它其实非常值得关注。900万张图片、6000多个类别标签有检测框和关系标注规模远超COCO标签体系是层级的。它的定位是“更大、更杂、更接近真实世界”特别适合做多标签分类、大规模检测以及研究标签层级关系。坑在于这么多数据想直接全量拉下来要花不少时间我用官方下载脚本分了好几天才拉完而且类别极度不均衡很多稀有类别只有几百个样本训练时要考虑采样策略。2.2 轻量级与特殊场景CIFAR、SVHN、GTSRB、Fashion-MNIST、Places365不是所有任务都需要上ImgaeNet级别的海量数据。做学术实验、毕设验证、快速原型小而精的数据集反而效率更高。CIFAR-10/100是我见过最友好的入门数据。6万张32x32的彩色小图训练集5万、测试集1万。分辨率虽小但五脏俱全从简单CNN到复杂Transformer都能跑。CIFAR-100比CIFAR-10多了20倍的类别数和两层标签体系粗标签细标签适合练习层次分类。个人经验第一版模型先用CIFAR-10跑通再迁到更大的数据上能省下大量调试时间。SVHN是个被低估的数据集。它来自谷歌街景门牌号60多万张数字图片目标是识别0-9的数字。它和MNIST长得像但难度完全不同——图片是自然场景背景复杂数字有旋转、变形和遮挡。我建议用它来做两个任务一是数字分类二是简易目标检测。这两种玩法都能很好地锻炼处理真实噪声数据的能力。GTSRB是德国交通标志数据集43类、5万多张。它最大的特点是类别不均衡和拍摄条件差异大同一类标志在不同光照、角度下外观差异巨大。如果要做细粒度图像分类这是个不错的练习场。要注意的是原数据集包含训练集和测试集下载后第一件事是检查图片尺寸和通道数别在读取上浪费时间。Fashion-MNIST就是用来替代MNIST的。MNIST手写数字已经简单到难以区分模型优劣而Fashion-MNIST同样是28x28灰度图、7万张但内容是衣物类别间相似度更高baseline跑起来更有区分度。做模型架构快速验证时我常用它而不是MNIST。Places365对应场景识别任务180万张图片、365类场景和ImageNet互补。如果你做的是室内定位、场景理解、图像检索这类任务Places365预训练权重经常比ImageNet更合适。这个数据集申请流程简单下载后注意它包含多个分辨率版本用256px的版本就够大多数任务用了。3. 语音识别方向从朗读到真实场景数据决定你能走多远3.1 LibriSpeech与TIMIT语音识别入门的“教科书级”数据LibriSpeech几乎是所有开源语音识别系统的默认起点。它由英语有声书音频转写而成总时长约1000小时采样率统一为16kHz单声道。官方把训练集划分为三份train-clean-100100小时高信噪比、train-clean-360360小时、train-other-500500小时噪声更多、口音更杂。测试集也分成clean和other两种。这种划分很科学你既可以在干净数据上验证模型基本能力又能在“其他”数据上测试鲁棒性。实操上我强烈建议按官方划分来训这样你的结果能和论文对比。LibriSpeech的音频格式是FLACtorchaudio和librosa都能直接读但记得统一处理成float32或int16的张量否则后面特征提取会出各种诡异问题。TIMIT是另一个经典但和LibriSpeech定位完全不同。它只有630位说话人、约5.4小时录音却包含音素级别的精细标注。它不是用来训大模型的而是用于语音学研究、音素识别实验、声学特征分析。我读博时用TIMIT做过一个发音评测的小项目它的好处是标注极细坏处是它需要LDC授权下载流程比LibriSpeech麻烦而且商业使用受限。做学术研究没问题商用别碰。3.2 多语种语音Common Voice与中文数据AISHELL-1Common Voice是Mozilla发起的众包语音项目目前覆盖几十种语言规模非常大。它的核心是“采集普通人自然说话”所以音质、口音、语速差异都很大和LibriSpeech那种播音级音频完全两个风格。用它训练出来的模型在日常场景往往更抗造但它也有个很大的问题质量参差不齐。数据里边有不少无效录音、半句话、背景噪音我在实验时必须先用validated.tsv做一遍过滤只保留通过众包验证的句子。如果你做中文语音识别AISHELL-1是首选开源数据集178小时标准普通话400位说话人使用知识共享许可可直接下载。它覆盖新闻、对话、有声书等多类文本转写质量高非常适合训练中文ASR基线。要注意的是中文模型输出的文本是汉字序列在声学模型和语言模型之间还有“拼音—汉字”对齐的问题不像英文那样可以直接按字母建模。数据里已经提供了词典和音素标注新手可以少踩不少坑。3.3 关键词唤醒与环境音Speech Commands、UrbanSound8K、VoxCeleb2不是所有语音任务都是大段语音识别。很多实际产品需要的是“小唤醒词”比如智能音箱的“你好同学”、手机上的“Hey Siri”。Speech Commands就是为这个场景设计的数据集包含10万多条命令词录音类别有“yes”“no”“up”“down”等时长都是1秒左右。这个数据集很适合训练实时关键词检测模型。如果你手头有ESP32、嵌入式Linux这类资源受限设备想跑轻量的语音识别我建议用Speech Commands训练关键词模型然后配合官方的ESP-SR框架做部署但要注意统一采样率——我见过很多人训练数据是16kHz部署端却按8kHz推理效果直接崩。UrbanSound8K是声音事件分类数据集8732条环境音雨声、狗叫、警笛、钻机等10类每条音频最长不过4秒。这次我格外想推荐它因为大部分教程都只讲语音识别环境音分类是很少见的视觉之外的分类练习对音频特征提取MFCC、mel-spectrogram的理解帮助很大。下载需要填个小表单然后会收到直链总量不到1GB很轻量。VoxCeleb2则是说话人识别的标杆数据112万多条语音来自6112位明星的采访视频语音覆盖大量真实噪声和重叠说话场景。它和前面的数据集最大的不同是“语音对应身份”任务是判断两段音频是否来自同一人此类任务的评估指标也特殊常用EER等错误率和minDCF。数据整体通过YouTube视频切分而来使用时要注意协议限制我一般只做学术实验。它的音频由视频音轨抽取采样率通常较高处理前务必检查声道和位深。4. NLP、多模态与视频方向紧跟前沿的开放资源4.1 文本数据从基准到预训练语料自然语言处理的数据形态很不一样它不像图像和语音那样有“像素”和“波形”的统一结构更多是按任务划分。GLUE和SuperGLUE是语言模型评测的经典入口。GLUE包含9个自然语言理解子任务涵盖情感分类SST-2、文本蕴含RTE、句间相似度STS-B、问答QQP等SuperGLUE则进一步提高了难度全是BERT时代的“硬骨头”。它们的好处是一次跑完9个任务可以综合判断模型的语言理解能力而不是在单个数据集上自嗨。坏处是这些数据集都是研究许可商用需谨慎。现在大模型评测更流行MMLU这类评测集但作为理解“预训练微调”这套范式GLUE依然是无可替代的教材。SQuAD 2.0是机器阅读理解的标杆。它包含约10万道可以从原文找到答案的问题外加5万道“不可回答”问题。这个设计很巧妙模型不能只学会在原文里找句子还得学会判断“此路不通”。我用它训练模型时最深的体会是threshold调优很重要因为不可回答样本会直接影响F1和EMExact Match一定要在开发集上找到合适的拒答阈值。IMDb Reviews是情感分析入门首选5万条影评正负各半没有类别不均衡的烦恼下载即用CSV格式几十MB。很多人拿它做RNN、LSTM的练习数据效果非常直观。WikiText-103则适合训练词级语言模型约1亿token来自维基百科的10万篇文章。相比动辄几十GB的Common Crawl它很适合在单机单卡上做语言模型的预训练或fine-tune。WMT16则是机器翻译任务的经典数据集包含英语与多语种的平行语料多语言机器翻译入门必备。4.2 图文多模态LAION-5B与Flickr30k多模态是这几年的风口但很多新手一上来就想去训CLIP结果被数据规模吓退。LAION-5B是最大的开放图文对数据集之一近58.5亿对“图像文本”数据是CLIP这类模型的常用预训练语料。我要直接劝退不要想着全量下载除非你手上有几十TB存储和集群级算力。正确用法是通过img2dataset这类工具按需采样子集。另外一个真实存在的坑是数据质量——它是自动采集的图文匹配度参差不齐很多“文本”跟图片完全无关最好用CLIP高分过滤一遍再训练。Flickr30k就是入门多模态的最好朋友。3.1万张图片每张图有5句人工描述总量不大适合做图文检索和Image Captioning。它常被拿来评估模型的场景理解能力。使用的时候注意官方数据里图片和文本是分开的需要自己对齐另外它采用CC许可商用要看清条款。4.3 视频行为与自动驾驶Kinetics-400、BDD100KKinetics-400是视频行为识别领域最常被引用的数据集。400个人类动作类别如打篮球、弹吉他、跳远每个类别有至少400个视频片段总共约30万个片段。但下载方式和图像数据集完全不同——它通常给你的是YouTube视频链接而不是视频文件。这意味着你需要自己写下载脚本用量大的时候爬取时间很长还经常遇到链接失效。我的建议是直接找已经下好并切分过的第三方镜像但要仔细核对切分方式和视频大小是否和官方一致。BDD100K是自动驾驶感知领域的大规模开放数据集10万张道路场景图像覆盖不同天气、光照、时段标注包括边界框、车道线、可行驶区域、分割、跟踪等。多任务、多标签是它最大的特点适合做自动驾驶感知模型的一站式数据。它是百度发布的研究型数据下载需要注册申请并同意协议个人学术使用基本都能通过。实际操作中要特别留意它包含大量路人面孔和车牌信息发布demo时一定要做模糊化处理这是最基本的数据伦理要求。5. 数据集工程化下载、预处理、做实验的实操经验5.1 下载渠道与效率数据集能不能顺利拿到手渠道非常关键。我的常规操作是先看Hugging Face Datasets上有没有镜像。现在很多经典数据集都能在Hugging Face上直接搜到不仅能下载原始数据还能用datasets库一键加载进内存省去自己解析格式的时间。像GLUE、SQuAD、Common Voice都有官方或社区维护的版本但要注意HF上的版本有时候和官网版本不完全一致跑论文复现时我会优先用官网原始数据。Kaggle也是一个很好的下载源尤其是图像类竞赛数据集但Kaggle的特点是很多数据是竞赛专用的许可上带有“竞赛专用”限制商用前必须确认。官网申请还是老办法适用于ImageNet、BDD100K、UrbanSound8K这类需要授权验证的数据。下载大文件时一定用断点续传工具比如aria2配合多线程下载几百GB的数据能节约一半时间。国内网络环境下部分高校和云厂商提供镜像加速合理利用它能让下载体验提升不少。5.2 预处理与存储的常见坑预处理是数据工程里最容易被低估的部分。很多人的流程是下载完直接写个for循环读文件然后开始训练。这在数据量小的时候没问题量一大就完蛋。图像数据集尤其是ImageNet这种百万级的建议先统一把图片缩放到较小尺寸或直接转成TFRecord、LMDB这类二进制格式避免每次训练都做昂贵的I/O解码。语音数据集则要特别注意采样率统一、声道合并、静音裁剪。LibriSpeech是16kHzCommon Voice是48kHz源文件但提供16kHz版本VoxCeleb2的采样率不固定这些都得在训练前写一个固定的预处理管线。文本数据集相对轻量但BPE分词和词表的构建要放在训练之前避免每次实验重复构建浪费时间。存储空间的计算也是一门学问。图片类的数据COCO 20GB、Open Images几百GB、ImageNet一百多GB训练集、验证集、缓存文件、checkpoint加起来会非常占地方。我的习惯是准备一块专门的数据盘至少提前算好2倍冗余。5.3 许可以与合规建议保存到笔记里最后这部分内容最容易被忽略但真的建议每个数据科学家都认真对待。我见过不少项目做得挺好最后因为数据集许可问题没法上线非常可惜。这里有几个关键点。一是很多数据集区分“学术用途”和“商业用途”。ImageNet、GLUE、TIMIT等数据集的协议对商业场景有严格限制你要是准备做商用产品务必提前确认。二是CC类许可要具体看版本像Flickr30k、Common Voice虽然开放但CC许可证也分BY、NC、SA等不同条款NC就是非商业商用会踩雷。三是涉及人像和声音的数据集BDD100K、VoxCeleb2、Speech Commands有真实人声做技术分享时一定要做好人脸和隐私信息打码保护数据主体这也是行业底线。还有一类容易被忽略的问题叫数据污染很多榜单数据同时出现在预训练语料里导致模型评测分数虚高。做论文对比实验时要多留个心眼确认自己的基线和评测数据是否同源。最后再分享一个小技巧。我平时在多个数据集之间切换时会给每个数据集建一个“数据卡片”里面记离线存放路径、许可摘录、数据统计信息、读取代码的第一行、已知的坑。这个习惯帮我节省了大量重复摸索时间。几个月后再翻出来依然能快速捡起来继续跑比收藏几十个链接管用得多。准备开始做数据集的你不妨也试着从第一份数据卡片开始。
