人工智能语音音频基础模型【免费下载链接】whisperRobust Speech Recognition via Large-Scale Weak Supervision项目地址https://gitcode.com/GitHub_Trending/whisp/whisper点击查看免费下载这篇技术指南以仓库中的 data/README.md 为骨架系统讲解 Whisper 论文Robust Speech Recognition via Large-Scale Weak Supervision在评测环节所用的全部数据集以及如何获取、切分与预处理它们以复现实验。读完本文你将掌握短片段、长片段与多语言三类评测数据的完整构成、各数据集的来源与预处理要点并能够结合仓库内 notebooks/LibriSpeech.ipynb 与 notebooks/Multilingual_ASR.ipynb 端到端跑通「加载数据 → 模型推理 → 文本归一化 → 计算 WER/BLEU」的评测流水线。一、data 目录在仓库中的角色Whisper 仓库除了核心的模型代码whisper/ 包与命令行工具外还附带了一份论文补充材料——data目录。data/README.md 开篇即说明其定位This directory supplements the paper with more details on how we prepared the data for evaluation, to help replicate our experiments.也就是说这份文档不是功能手册而是评测数据准备规范它逐条列出论文中每项基准benchmark使用的语料来源、采用的分片split、以及关键的预处理步骤目标读者是希望复现论文 WER/CER/BLEU 结果的研究者与工程师。整个评测体系按三种形态组织与 Whisper 模型既能处理 30 秒短片段、也能处理任意长度音频的能力相对应类别数据集主要用途短片段纯英语Short-form English-onlyLibriSpeech、TED-LIUM 3、Common Voice 5.1、Artie、CallHome Switchboard、WSJ、CORAAL、CHiME-6、AMI-IHM/AMI-SDM1逐句utterance 级识别准确率评测长片段纯英语Long-form English-onlyTED-LIUM 3长、Meanwhile、Rev16、Kincaid46、Earnings-21/22、CORAAL长整段演讲/播客级连续转写评测多语言MultilingualMultilingual LibriSpeech、Fleurs、VoxPopuli、Common Voice 9、CoVOST 2跨语言 ASR 与「语音→英语」翻译评测二、短片段纯英语评测数据集短片段数据集对应 Whisper 的逐窗口解码模式每个音频片段被 pad/trim 到 30 秒后独立转写评测粒度为单条 utterance。原始文档为每一份语料都标注了精确的版本与分片复现时务必按此选取。2.1 LibriSpeech采用 LibriSpeech ASR 语料库OpenSLR 发布中的test-clean与test-other两个官方测试分片。test-clean由发音清晰的朗读者录制test-other则由口音、噪声条件更复杂的朗读者录制二者共同覆盖了清晰与困难两档评测难度。仓库中的 notebooks/LibriSpeech.ipynb 就是围绕test-clean写成的完整复现示例详见第六节其中通过torchaudio.datasets.LIBRISPEECH(urltest-clean, downloadTrue)自动下载并加载分片并断言采样率为 16000 Hz。2.2 TED-LIUM 3采用 TED-LIUM Release 3 的test 分片并使用发行包内自带的分段人工转写文本segmented manual transcripts作为标注。注意区分同一语料在长片段评测中会被重新切割见 3.1 节两处用途不同、数据形态也不同。2.3 Common Voice 5.1从 Mozilla Common Voice 官方站点下载Common Voice Corpus 5.1 的英文子集。Common Voice 是众包录音语料说话人、口音与录制环境高度多样适合评测模型的鲁棒性。2.4 ArtieArtie bias corpus用于评测偏置bias相关表现它是 Common Voice 数据集的一个子集。之所以单独列出是因为论文中需要针对特定群体/方言的口音表现做专门分析而不是混在 Common Voice 全集中笼统计分。2.5 CallHome Switchboard这是论文评测中唯一明确给出脚本化预处理的语料完整命令如下。两份语料分别对应 LDC2002S09CallHome 英文电话录音与 LDC2002T43Switchboard预处理遵循 Kaldi 项目 fisher_swbd 示例中的eval2000_data_prep.sh脚本产出wav.scp清单文件。将清单中的命令逐条展开为真实 WAV 文件的 bash 方法为mkdir -p wav while read name cmd; do echo $name echo ${cmd/\|/} wav/$name.wav | bash done wav.scp这段脚本从 Kaldi 风格的两列wav.scp第一列是说话人/文件 ID第二列是管道命令中读取每一行把管道命令中的|去掉后拼接输出路径并交给 bash 执行从而批量落盘为可被 Whisper 直接读取的 WAV 文件。这类电话语音语料是评测远场/信道退化场景的重要素材。2.6 WSJ使用华尔街日报语料 LDC93S6B 与 LDC94S13B预处理遵循 Kaldi 的egs/wsj/s5recipe。WSJ 是语音识别领域历史最悠久的基准之一其语音为朗读式新闻文本词汇覆盖广是检验模型在规范口语上表现的标准试金石。2.7 CORAAL使用CORAALv. 2021.07的 231 段访谈并采用斯坦福 FairSpeech 项目提供的切分结果CORAAL transcripts作为 utterance 边界与标注。CORAAL 聚焦非洲裔美国人英语AAVE用于评测模型在方言多样性上的表现短片段评测用切分后的片段长片段评测则用完整访谈见 3.6 节。2.8 CHiME-6CHiME-6 并非独立语料而是由 CHiME-5 数据集加工而来下载 CHiME-5 后按 Kaldiegs/chime6/s5_track1recipe 的stage 0执行同步修正得到修正同步问题的 CHiME-6 数据再使用其中的双耳录音文件名形如*_P??.wav及对应转写。CHiME 系列以嘈杂、多说话人家庭聚会场景著称是评测噪声鲁棒性与说话人重叠处理能力的关键基准。2.9 AMI-IHM、AMI-SDM1AMI 语料按 Kaldiegs/ami/s5brecipe 的stage 0 与 stage 2预处理产出两种评测形态IHMIndividual Headset Microphone各说话人独立佩戴耳机麦克风与SDM1Single Distant Microphone 1单路远场麦克风。同一会议内容、两种拾音条件正好用来对比模型在近场与远场输入下的性能差距。三、长片段纯英语评测数据集长片段数据集对应 Whisper 的滑动窗口连续转写模式——transcribe()内部会按 30 秒窗口滑动处理整段音频详见 whisper/transcribe.py。这些基准的标注形态也与短片段不同不是逐句标注而是整段演讲/节目的连续文本。3.1 TED-LIUM 3长片段版为了从 TED-LIUM3 构造长片段转写数据集作者对每个 talk 的音频做了切片取该 talk 第一个标注分段的起点到最后一个标注分段的终点中间的音频整体作为一条长音频标注则是所有分段文本的拼接。test 分片中 11 个 TED talk 的切割时间戳如下表FilenameBegin time (s)End time (s)DanBarber_201016.091116.24JaneMcGonigal_201015.4761187.61BillGates_201015.8611656.94TomWujec_2010U16.26402.17GaryFlake_201016.06367.14EricMead_2009P18.434536.44MichaelSpecter_201016.11979.312DanielKahneman_201015.81199.44AimeeMullins_2009P17.821296.59JamesCameron_201016.751010.65RobertGupta_2010U16.8387.03注意各 talk 长度差异巨大最短约 6 分钟最长约 27 分钟且 end 时间戳并不等于文件全长——这正是切除首尾无语音区段策略的直接体现。复现时只要按此表ffmpeg -ss begin -to end切出音频、拼接分段文本即可还原该基准。3.2 MeanwhileMeanwhile 数据集包含64 个片段来自脱口秀《The Late Show with Stephen Colbert》的 Meanwhile 环节。每个片段的 YouTube 视频 ID、起止时间戳与标注都存放在 data/meanwhile.json 中标注取自各视频的**闭路字幕closed-caption**数据并经人工逐条校对修正。从文件内容可以看到其 JSON 结构外层以 YouTube 视频 ID 为键内部含begin、end与text三个字段。例如{ 1YOmY-Vjy-o: { begin: 1:04.0, end: 2:11.0, text: FOLKS, IF YOU WATCH THE SHOW,\nYOU KNOW I SPEND A LOT OF TIME\nRIGHT OVER THERE, ...\nMEANWHILE!\n }, ... }时间戳采用M:SS.s格式转写文本为全大写且保留了字幕原有的换行分段——这意味着评测前必须经过文本归一化如 whisper/normalizers/english.py 的EnglishTextNormalizer才能与模型输出公平对齐。该数据集的作用是评测带观众笑声、主持人插科打诨等娱乐节目场景的长片段转写是检验模型抗环境干扰与自我纠正能力的好素材。3.3 Rev16Rev16 取自 Rev.AI 的播客转写基准30 个播客剧集。作者在检查中发现其中多个剧集存在音频与标注大面积不匹配的问题主要集中在节目开场介绍赞助商的片段于是筛选出 16 个无此类错误的剧集其文件编号为3 4 9 10 11 14 17 18 20 21 23 24 26 27 29 32这个例子说明公开基准并非拿来即用评测数据准备阶段的质量核查audio-label 对齐是确保指标可信的前提值得复现者借鉴。3.4 Kincaid46Kincaid46 由 Jason Kincaid 在 2018 年对多家自动转写服务做准确性对比的文章整理而成包含46 个音频文件及对应参考转写作者使用文章中 Airtable 表格提供的 46 份音频与参考文本。此外论文中的人工转写基准human transcription benchmark从该数据中取25 个样本其 Ref ID 为2 4 5 8 9 10 12 13 14 16 19 21 23 25 26 28 29 30 33 35 36 37 42 43 45也就是说Kincaid46 同时承担两类角色机器转写准确率对比46 例与人工 vs 机器上限对比25 例后者的子集划分必须严格按上述 ID 执行才能与论文数据对齐。3.5 Earnings-21、Earnings-22这两个数据集使用 speech-datasets 仓库提供的文件版本对应其202206版本。内容为上市公司财报电话会议earnings call录音特点是多位发言人交替、术语密集、语速快是评测长片段转写在财经专业场景下表现的重要基准对测试condition_on_previous_text等窗口衔接机制尤为有价值。3.6 CORAAL长片段版与短片段版使用同一批231 段访谈v. 2021.07但改用完整长度的访谈文件和完整转写。同一语料两种粒度让研究者可以直接对比逐句评测与整段评测两种协议下模型表现的差异。四、多语言评测数据集多语言基准覆盖论文的两个核心能力多语种语音识别转写为原语言与语音翻译任意语言→英语。原始文档为每个数据集标注了语种范围与收集方式。4.1 Multilingual LibriSpeechMLS使用 MLS 语料OpenSLR 发布中各语言的test 分片。MLS 基于 LibriVox 有声书构建涵盖数十种语言是论文中评估跨语言识别能力的主力基准之一。4.2 FleursFleurs 的音频与转写通过 HuggingFace datasets 上的实现收集google/fleurs的fleurs.py加载脚本。作为翻译数据集使用时作者通过数值 utterance ID 匹配找到对应的英文转写——因为 Fleurs 各语言版本共享同一套句子编号语言 A 的第 N 句与英语的第 N 句语义对齐这为评测翻译质量提供了天然的对齐标注。notebooks/Multilingual_ASR.ipynb 完整演示了 Fleurs 的加载与评测从 FLEURS102 归档中读取test.tsv标签表含 id、文件名、原始转写、转写等字段与test分片下全部 WAV 音频并提供 80 余种语言的下拉选择Afrikaans、Amharic、Arabic……直到 Yoruba还支持subsample_rate参数按比例抽样以快速演示。4.3 VoxPopuli使用官方仓库提供的get_asr_data.py脚本收集14 种语言的 ASR 数据。VoxPopuli 源自欧洲议会EU Parliament的会议录音覆盖语种广、政治演讲风格单一而清晰适合评测模型在正式口语上的多语言表现。4.4 Common Voice 9下载 Common Voice Corpus 9从 Mozilla 官方站点。与短片段评测使用的 5.1 版本不同多语言评测使用的是更新的第 9 版覆盖语言更多。4.5 CoVOST 2收集 CoVOST 2 仓库提供的 X into English 数据。CoVOST 的亮点是非母语口音英语non-native accented English语音到英语转写/翻译用于评测模型在面对真实世界非母语发音时的鲁棒性。五、数据集覆盖总览一张表看清全部评测语料形态数据集关键版本/分片预处理要点短片段·纯英语LibriSpeechtest-clean / test-other直接使用官方分片短片段·纯英语TED-LIUM 3test使用发行包内分段人工转写短片段·纯英语Common Voice 5.1英文子集官方站点下载短片段·纯英语ArtieCommon Voice 子集偏置评测专用短片段·纯英语CallHome SwitchboardLDC2002S09 / LDC2002T43eval2000 脚本 wav.scp→WAV 转换短片段·纯英语WSJLDC93S6B / LDC94S13BKaldi s5 recipe短片段·纯英语CORAALv.2021.07231 访谈FairSpeech 切分短片段·纯英语CHiME-6CHiME-5 加工s5_track1 stage 0双耳*_P??.wav短片段·纯英语AMI-IHM / AMI-SDM1AMI 语料s5b stage 0/2长片段·纯英语TED-LIUM 3长test 中 11 个 talk按时间戳表切片、文本拼接长片段·纯英语Meanwhile64 片段闭路字幕人工校对data/meanwhile.json长片段·纯英语Rev1616 剧集剔除 audio-label 不匹配剧集长片段·纯英语Kincaid4646 音频人工基准取 25 例按 Ref ID长片段·纯英语Earnings-21/22202206 版本财报电话会议场景长片段·纯英语CORAAL长231 访谈全量完整访谈文件与转写多语言MLS各语言 test直接使用官方分片多语言Fleurstest数值 utterance ID 对齐英文做翻译评测多语言VoxPopuli14 语言get_asr_data.py收集多语言Common Voice 9多语言全集官方站点下载多语言CoVOST 2X into English非母语口音英语六、端到端复现LibriSpeech 短片段评测流水线数据准备的最终目的是得到可信的指标。仓库用 notebooks/LibriSpeech.ipynb 给出了从安装到 WER 输出的最小可复现流水线恰好对应文档中 LibriSpeech 数据在评测中的用法。第 1 步环境安装。与主仓库 README.md 的安装说明一致安装 whisper 与指标计算库 jiwerpip install githttps://github.com/openai/whisper.git pip install jiwer第 2 步数据集封装。notebook 定义了一个LibriSpeech数据集类底层用torchaudio.datasets.LIBRISPEECH(urltest-clean, downloadTrue)加载并在__getitem__中完成 Whisper 推理前的标准信号处理audio, sample_rate, text, _, _, _ self.dataset[item] assert sample_rate 16000 audio whisper.pad_or_trim(audio.flatten()).to(self.device) mel whisper.log_mel_spectrogram(audio)这里的两步与 whisper/audio.py 的实现一一对应pad_or_trim将任意长度波形对齐到 30 秒对应文档短片段的评测形态log_mel_spectrogram计算 log-Mel 谱图特征。加载后用DataLoader(batch_size16)批量喂给模型。第 3 步模型推理。加载英文专用模型base.ennotebook 输出显示该模型为英文专用、参数量71,825,408随后以无时间戳的短片段解码选项逐批解码options whisper.DecodingOptions(languageen, without_timestampsTrue) for mels, texts in tqdm(loader): results model.decode(mels, options) hypotheses.extend([result.text for result in results]) references.extend(texts)without_timestampsTrue正是短片段评测的关键——评测只关心文本内容不需要时间戳 token与长片段评测需要|start|时间戳 token 驱动分段形成鲜明对比。notebook 中test-clean共生成2620 行hypothesis/reference 对照数据。第 4 步归一化与 WER。直接用jiwer.wer计算会因大小写、标点、数字写法如 NUMBER TEN vs number 10产生虚假错误因此必须先做文本归一化import jiwer from whisper.normalizers import EnglishTextNormalizer normalizer EnglishTextNormalizer() data[hypothesis_clean] [normalizer(text) for text in data[hypothesis]] data[reference_clean] [normalizer(text) for text in data[reference]] wer jiwer.wer(list(data[reference_clean]), list(data[hypothesis_clean])) print(fWER: {wer * 100:.2f} %)notebook 记录的实际输出为WER: 4.26 %base.en在 LibriSpeech test-clean 上。这个数字既验证了流水线的正确性也说明了归一化的重要性未归一化时模型输出 Stuffered into you 与参考 STUFF IT INTO YOU 会被计为多处错误而归一化后语义等价形式被正确对齐。EnglishTextNormalizer的实现见 whisper/normalizers/english.py其对英文大小写、标点、数字展开、缩写等做了系统化处理。七、多语言评测实操Fleurs 转写与翻译notebooks/Multilingual_ASR.ipynb 则对应文档中 Fleurs、VoxPopuli 等多语言基准的评测方式展示同一模型如何同时做**转写transcribe与翻译translate**两项任务model whisper.load_model(medium) # 多语言模型参数量 762,321,920 options dict(languagelanguage, beam_size5, best_of5) transcribe_options dict(tasktranscribe, **options) translate_options dict(tasktranslate, **options) for audio, text in tqdm(dataset): transcription model.transcribe(audio, **transcribe_options)[text] translation model.transcribe(audio, **translate_options)[text]几个值得注意的细节必须使用多语言模型medium、large等英文专用.en模型无法翻译非英语语音——这与主 README.md 的命令行说明一致。beam_size5, best_of5是论文评测采用的解码参数beam search 宽度 5同时每个窗口从 5 个候选里择优保证评测指标可复现。输出同时包含韩语原文转写与英文翻译notebook 示例以ko_kr韩语演示这正是文档所述 Fleurs 数值 utterance ID 匹配英文转写评测协议的落地reference列来自 Fleurs 韩语标注翻译结果与英文版对齐。此外whisper/transcribe.py 的transcribe()函数签名揭示了评测时其他可控参数及其默认值温度temperature默认(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)的退化采样策略、gzip 压缩比阈值compression_ratio_threshold2.4、平均对数概率阈值logprob_threshold-1.0、静音判定阈值no_speech_threshold0.6、以及condition_on_previous_textTrue的窗口间上下文衔接等。这些参数共同定义了模型在长音频上的失败重试与静音跳过机制是复现长片段基准Meanwhile、Earnings 等时同样生效的底层行为。八、仓库中的配套验证与测试除 notebook 外仓库的测试代码也印证了评测数据的可用性tests/test_transcribe.py 使用tests/jfk.flac对每一种可用模型whisper.available_models()参数化执行transcribe(..., temperature0.0, word_timestampsTrue)断言转写结果包含 my fellow americans 等关键短语并校验start end的逐词时间戳合理性。这相当于一个内置的冒烟评测任何一台新环境只要跑通该测试就说明模型加载、音频解码、时间戳对齐全链路可用可以作为正式评测前的环境自检。tests/jfk.flac这类固定样本也提醒我们评测数据形态可以是单条音频文件对应短片段基准也可以是长音频 时间戳/闭路字幕对应 Meanwhile 等长片段基准两种形态在 whisper/transcribe.py 中分别由without_timestamps与逐段时间戳解码两条路径处理。九、复现注意事项与边界说明基于以上内容复现论文评测时请留意以下边界数据获取需遵守发行方条款本文列出的语料分属不同机构发行OpenSLR、LDC、Mozilla、各研究组部分语料如 CallHome/Switchboard、WSJ需要从其发行渠道申请请以各发行方发布时的获取方式与许可条款为准。严格对齐版本与分片评测指标对数据版本高度敏感例如短片段用 Common Voice 5.1、多语言用 Common Voice 9CORAAL 需固定 v. 2021.07Earnings 需固定202206版本。子集划分必须与文档一致Rev16 的 16 个文件编号、Kincaid46 人工基准的 25 个 Ref ID 都是论文指标的组成部分换用其他子集会得到不可比的结果。长片段需正确切割与拼接TED-LIUM 3 长片段版必须使用本文第三节的时间戳表切割Meanwhile 需按 data/meanwhile.json 的起止时间截取视频片段。评测前务必归一化大小写、标点、数字写法差异会显著扭曲 WER短片段英文评测应使用 whisper/normalizers/english.py 的EnglishTextNormalizer多语言评测则需按论文附录约定选择 WER拉丁字母语言或 CER非拉丁字母语言口径。总体而言data/README.md 是一份可执行的数据准备契约它精确到语料版本、分片名称、预处理脚本乃至切割时间戳。配合仓库中的 notebooks/LibriSpeech.ipynb、notebooks/Multilingual_ASR.ipynb 与 data/meanwhile.json研究者完全可以按图索骥在本地复现论文中的 WER/CER/BLEU 评测并用同样的流水线验证自定义数据上的模型表现。赞分享人工智能语音音频基础模型【免费下载链接】whisperRobust Speech Recognition via Large-Scale Weak Supervision项目地址https://gitcode.com/GitHub_Trending/whisp/whisper点击查看免费下载相关推荐MMagic 数据集准备全指南下载、预处理与数据集类详解MMagic 数据集准备全指南下载、预处理与数据集类详解 本指南面向在 MMagicOpenMMLab 多模态生成式 AI 工具箱中训练与测试各类生成/复媒体生成计算机视觉深度学习人工智能大模型BEVFusion数据准备完全指南nuScenes数据集预处理与配置BEVFusion数据准备完全指南nuScenes数据集预处理与配置 想要在自动驾驶领域快速上手BEVFusion多传感器融合模型数据准备是关键第一步本指自动驾驶计算机视觉多模态深度学习为什么选择Bookworm作为你的Linux电子书阅读器为什么选择Bookworm作为你的Linux电子书阅读器 在数字阅读成为日常的今天Linux用户常常面临一个难题如何找到一款既简洁易用又功能全面的电子书阅创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
人工智能语音音频基础模型【免费下载链接】whisperRobust Speech Recognition via Large-Scale Weak Supervision项目地址https://gitcode.com/GitHub_Trending/whisp/whisper点击查看免费下载这篇技术指南以仓库中的 data/README.md 为骨架系统讲解 Whisper 论文Robust Speech Recognition via Large-Scale Weak Supervision在评测环节所用的全部数据集以及如何获取、切分与预处理它们以复现实验。读完本文你将掌握短片段、长片段与多语言三类评测数据的完整构成、各数据集的来源与预处理要点并能够结合仓库内 notebooks/LibriSpeech.ipynb 与 notebooks/Multilingual_ASR.ipynb 端到端跑通「加载数据 → 模型推理 → 文本归一化 → 计算 WER/BLEU」的评测流水线。一、data 目录在仓库中的角色Whisper 仓库除了核心的模型代码whisper/ 包与命令行工具外还附带了一份论文补充材料——data目录。data/README.md 开篇即说明其定位This directory supplements the paper with more details on how we prepared the data for evaluation, to help replicate our experiments.也就是说这份文档不是功能手册而是评测数据准备规范它逐条列出论文中每项基准benchmark使用的语料来源、采用的分片split、以及关键的预处理步骤目标读者是希望复现论文 WER/CER/BLEU 结果的研究者与工程师。整个评测体系按三种形态组织与 Whisper 模型既能处理 30 秒短片段、也能处理任意长度音频的能力相对应类别数据集主要用途短片段纯英语Short-form English-onlyLibriSpeech、TED-LIUM 3、Common Voice 5.1、Artie、CallHome Switchboard、WSJ、CORAAL、CHiME-6、AMI-IHM/AMI-SDM1逐句utterance 级识别准确率评测长片段纯英语Long-form English-onlyTED-LIUM 3长、Meanwhile、Rev16、Kincaid46、Earnings-21/22、CORAAL长整段演讲/播客级连续转写评测多语言MultilingualMultilingual LibriSpeech、Fleurs、VoxPopuli、Common Voice 9、CoVOST 2跨语言 ASR 与「语音→英语」翻译评测二、短片段纯英语评测数据集短片段数据集对应 Whisper 的逐窗口解码模式每个音频片段被 pad/trim 到 30 秒后独立转写评测粒度为单条 utterance。原始文档为每一份语料都标注了精确的版本与分片复现时务必按此选取。2.1 LibriSpeech采用 LibriSpeech ASR 语料库OpenSLR 发布中的test-clean与test-other两个官方测试分片。test-clean由发音清晰的朗读者录制test-other则由口音、噪声条件更复杂的朗读者录制二者共同覆盖了清晰与困难两档评测难度。仓库中的 notebooks/LibriSpeech.ipynb 就是围绕test-clean写成的完整复现示例详见第六节其中通过torchaudio.datasets.LIBRISPEECH(urltest-clean, downloadTrue)自动下载并加载分片并断言采样率为 16000 Hz。2.2 TED-LIUM 3采用 TED-LIUM Release 3 的test 分片并使用发行包内自带的分段人工转写文本segmented manual transcripts作为标注。注意区分同一语料在长片段评测中会被重新切割见 3.1 节两处用途不同、数据形态也不同。2.3 Common Voice 5.1从 Mozilla Common Voice 官方站点下载Common Voice Corpus 5.1 的英文子集。Common Voice 是众包录音语料说话人、口音与录制环境高度多样适合评测模型的鲁棒性。2.4 ArtieArtie bias corpus用于评测偏置bias相关表现它是 Common Voice 数据集的一个子集。之所以单独列出是因为论文中需要针对特定群体/方言的口音表现做专门分析而不是混在 Common Voice 全集中笼统计分。2.5 CallHome Switchboard这是论文评测中唯一明确给出脚本化预处理的语料完整命令如下。两份语料分别对应 LDC2002S09CallHome 英文电话录音与 LDC2002T43Switchboard预处理遵循 Kaldi 项目 fisher_swbd 示例中的eval2000_data_prep.sh脚本产出wav.scp清单文件。将清单中的命令逐条展开为真实 WAV 文件的 bash 方法为mkdir -p wav while read name cmd; do echo $name echo ${cmd/\|/} wav/$name.wav | bash done wav.scp这段脚本从 Kaldi 风格的两列wav.scp第一列是说话人/文件 ID第二列是管道命令中读取每一行把管道命令中的|去掉后拼接输出路径并交给 bash 执行从而批量落盘为可被 Whisper 直接读取的 WAV 文件。这类电话语音语料是评测远场/信道退化场景的重要素材。2.6 WSJ使用华尔街日报语料 LDC93S6B 与 LDC94S13B预处理遵循 Kaldi 的egs/wsj/s5recipe。WSJ 是语音识别领域历史最悠久的基准之一其语音为朗读式新闻文本词汇覆盖广是检验模型在规范口语上表现的标准试金石。2.7 CORAAL使用CORAALv. 2021.07的 231 段访谈并采用斯坦福 FairSpeech 项目提供的切分结果CORAAL transcripts作为 utterance 边界与标注。CORAAL 聚焦非洲裔美国人英语AAVE用于评测模型在方言多样性上的表现短片段评测用切分后的片段长片段评测则用完整访谈见 3.6 节。2.8 CHiME-6CHiME-6 并非独立语料而是由 CHiME-5 数据集加工而来下载 CHiME-5 后按 Kaldiegs/chime6/s5_track1recipe 的stage 0执行同步修正得到修正同步问题的 CHiME-6 数据再使用其中的双耳录音文件名形如*_P??.wav及对应转写。CHiME 系列以嘈杂、多说话人家庭聚会场景著称是评测噪声鲁棒性与说话人重叠处理能力的关键基准。2.9 AMI-IHM、AMI-SDM1AMI 语料按 Kaldiegs/ami/s5brecipe 的stage 0 与 stage 2预处理产出两种评测形态IHMIndividual Headset Microphone各说话人独立佩戴耳机麦克风与SDM1Single Distant Microphone 1单路远场麦克风。同一会议内容、两种拾音条件正好用来对比模型在近场与远场输入下的性能差距。三、长片段纯英语评测数据集长片段数据集对应 Whisper 的滑动窗口连续转写模式——transcribe()内部会按 30 秒窗口滑动处理整段音频详见 whisper/transcribe.py。这些基准的标注形态也与短片段不同不是逐句标注而是整段演讲/节目的连续文本。3.1 TED-LIUM 3长片段版为了从 TED-LIUM3 构造长片段转写数据集作者对每个 talk 的音频做了切片取该 talk 第一个标注分段的起点到最后一个标注分段的终点中间的音频整体作为一条长音频标注则是所有分段文本的拼接。test 分片中 11 个 TED talk 的切割时间戳如下表FilenameBegin time (s)End time (s)DanBarber_201016.091116.24JaneMcGonigal_201015.4761187.61BillGates_201015.8611656.94TomWujec_2010U16.26402.17GaryFlake_201016.06367.14EricMead_2009P18.434536.44MichaelSpecter_201016.11979.312DanielKahneman_201015.81199.44AimeeMullins_2009P17.821296.59JamesCameron_201016.751010.65RobertGupta_2010U16.8387.03注意各 talk 长度差异巨大最短约 6 分钟最长约 27 分钟且 end 时间戳并不等于文件全长——这正是切除首尾无语音区段策略的直接体现。复现时只要按此表ffmpeg -ss begin -to end切出音频、拼接分段文本即可还原该基准。3.2 MeanwhileMeanwhile 数据集包含64 个片段来自脱口秀《The Late Show with Stephen Colbert》的 Meanwhile 环节。每个片段的 YouTube 视频 ID、起止时间戳与标注都存放在 data/meanwhile.json 中标注取自各视频的**闭路字幕closed-caption**数据并经人工逐条校对修正。从文件内容可以看到其 JSON 结构外层以 YouTube 视频 ID 为键内部含begin、end与text三个字段。例如{ 1YOmY-Vjy-o: { begin: 1:04.0, end: 2:11.0, text: FOLKS, IF YOU WATCH THE SHOW,\nYOU KNOW I SPEND A LOT OF TIME\nRIGHT OVER THERE, ...\nMEANWHILE!\n }, ... }时间戳采用M:SS.s格式转写文本为全大写且保留了字幕原有的换行分段——这意味着评测前必须经过文本归一化如 whisper/normalizers/english.py 的EnglishTextNormalizer才能与模型输出公平对齐。该数据集的作用是评测带观众笑声、主持人插科打诨等娱乐节目场景的长片段转写是检验模型抗环境干扰与自我纠正能力的好素材。3.3 Rev16Rev16 取自 Rev.AI 的播客转写基准30 个播客剧集。作者在检查中发现其中多个剧集存在音频与标注大面积不匹配的问题主要集中在节目开场介绍赞助商的片段于是筛选出 16 个无此类错误的剧集其文件编号为3 4 9 10 11 14 17 18 20 21 23 24 26 27 29 32这个例子说明公开基准并非拿来即用评测数据准备阶段的质量核查audio-label 对齐是确保指标可信的前提值得复现者借鉴。3.4 Kincaid46Kincaid46 由 Jason Kincaid 在 2018 年对多家自动转写服务做准确性对比的文章整理而成包含46 个音频文件及对应参考转写作者使用文章中 Airtable 表格提供的 46 份音频与参考文本。此外论文中的人工转写基准human transcription benchmark从该数据中取25 个样本其 Ref ID 为2 4 5 8 9 10 12 13 14 16 19 21 23 25 26 28 29 30 33 35 36 37 42 43 45也就是说Kincaid46 同时承担两类角色机器转写准确率对比46 例与人工 vs 机器上限对比25 例后者的子集划分必须严格按上述 ID 执行才能与论文数据对齐。3.5 Earnings-21、Earnings-22这两个数据集使用 speech-datasets 仓库提供的文件版本对应其202206版本。内容为上市公司财报电话会议earnings call录音特点是多位发言人交替、术语密集、语速快是评测长片段转写在财经专业场景下表现的重要基准对测试condition_on_previous_text等窗口衔接机制尤为有价值。3.6 CORAAL长片段版与短片段版使用同一批231 段访谈v. 2021.07但改用完整长度的访谈文件和完整转写。同一语料两种粒度让研究者可以直接对比逐句评测与整段评测两种协议下模型表现的差异。四、多语言评测数据集多语言基准覆盖论文的两个核心能力多语种语音识别转写为原语言与语音翻译任意语言→英语。原始文档为每个数据集标注了语种范围与收集方式。4.1 Multilingual LibriSpeechMLS使用 MLS 语料OpenSLR 发布中各语言的test 分片。MLS 基于 LibriVox 有声书构建涵盖数十种语言是论文中评估跨语言识别能力的主力基准之一。4.2 FleursFleurs 的音频与转写通过 HuggingFace datasets 上的实现收集google/fleurs的fleurs.py加载脚本。作为翻译数据集使用时作者通过数值 utterance ID 匹配找到对应的英文转写——因为 Fleurs 各语言版本共享同一套句子编号语言 A 的第 N 句与英语的第 N 句语义对齐这为评测翻译质量提供了天然的对齐标注。notebooks/Multilingual_ASR.ipynb 完整演示了 Fleurs 的加载与评测从 FLEURS102 归档中读取test.tsv标签表含 id、文件名、原始转写、转写等字段与test分片下全部 WAV 音频并提供 80 余种语言的下拉选择Afrikaans、Amharic、Arabic……直到 Yoruba还支持subsample_rate参数按比例抽样以快速演示。4.3 VoxPopuli使用官方仓库提供的get_asr_data.py脚本收集14 种语言的 ASR 数据。VoxPopuli 源自欧洲议会EU Parliament的会议录音覆盖语种广、政治演讲风格单一而清晰适合评测模型在正式口语上的多语言表现。4.4 Common Voice 9下载 Common Voice Corpus 9从 Mozilla 官方站点。与短片段评测使用的 5.1 版本不同多语言评测使用的是更新的第 9 版覆盖语言更多。4.5 CoVOST 2收集 CoVOST 2 仓库提供的 X into English 数据。CoVOST 的亮点是非母语口音英语non-native accented English语音到英语转写/翻译用于评测模型在面对真实世界非母语发音时的鲁棒性。五、数据集覆盖总览一张表看清全部评测语料形态数据集关键版本/分片预处理要点短片段·纯英语LibriSpeechtest-clean / test-other直接使用官方分片短片段·纯英语TED-LIUM 3test使用发行包内分段人工转写短片段·纯英语Common Voice 5.1英文子集官方站点下载短片段·纯英语ArtieCommon Voice 子集偏置评测专用短片段·纯英语CallHome SwitchboardLDC2002S09 / LDC2002T43eval2000 脚本 wav.scp→WAV 转换短片段·纯英语WSJLDC93S6B / LDC94S13BKaldi s5 recipe短片段·纯英语CORAALv.2021.07231 访谈FairSpeech 切分短片段·纯英语CHiME-6CHiME-5 加工s5_track1 stage 0双耳*_P??.wav短片段·纯英语AMI-IHM / AMI-SDM1AMI 语料s5b stage 0/2长片段·纯英语TED-LIUM 3长test 中 11 个 talk按时间戳表切片、文本拼接长片段·纯英语Meanwhile64 片段闭路字幕人工校对data/meanwhile.json长片段·纯英语Rev1616 剧集剔除 audio-label 不匹配剧集长片段·纯英语Kincaid4646 音频人工基准取 25 例按 Ref ID长片段·纯英语Earnings-21/22202206 版本财报电话会议场景长片段·纯英语CORAAL长231 访谈全量完整访谈文件与转写多语言MLS各语言 test直接使用官方分片多语言Fleurstest数值 utterance ID 对齐英文做翻译评测多语言VoxPopuli14 语言get_asr_data.py收集多语言Common Voice 9多语言全集官方站点下载多语言CoVOST 2X into English非母语口音英语六、端到端复现LibriSpeech 短片段评测流水线数据准备的最终目的是得到可信的指标。仓库用 notebooks/LibriSpeech.ipynb 给出了从安装到 WER 输出的最小可复现流水线恰好对应文档中 LibriSpeech 数据在评测中的用法。第 1 步环境安装。与主仓库 README.md 的安装说明一致安装 whisper 与指标计算库 jiwerpip install githttps://github.com/openai/whisper.git pip install jiwer第 2 步数据集封装。notebook 定义了一个LibriSpeech数据集类底层用torchaudio.datasets.LIBRISPEECH(urltest-clean, downloadTrue)加载并在__getitem__中完成 Whisper 推理前的标准信号处理audio, sample_rate, text, _, _, _ self.dataset[item] assert sample_rate 16000 audio whisper.pad_or_trim(audio.flatten()).to(self.device) mel whisper.log_mel_spectrogram(audio)这里的两步与 whisper/audio.py 的实现一一对应pad_or_trim将任意长度波形对齐到 30 秒对应文档短片段的评测形态log_mel_spectrogram计算 log-Mel 谱图特征。加载后用DataLoader(batch_size16)批量喂给模型。第 3 步模型推理。加载英文专用模型base.ennotebook 输出显示该模型为英文专用、参数量71,825,408随后以无时间戳的短片段解码选项逐批解码options whisper.DecodingOptions(languageen, without_timestampsTrue) for mels, texts in tqdm(loader): results model.decode(mels, options) hypotheses.extend([result.text for result in results]) references.extend(texts)without_timestampsTrue正是短片段评测的关键——评测只关心文本内容不需要时间戳 token与长片段评测需要|start|时间戳 token 驱动分段形成鲜明对比。notebook 中test-clean共生成2620 行hypothesis/reference 对照数据。第 4 步归一化与 WER。直接用jiwer.wer计算会因大小写、标点、数字写法如 NUMBER TEN vs number 10产生虚假错误因此必须先做文本归一化import jiwer from whisper.normalizers import EnglishTextNormalizer normalizer EnglishTextNormalizer() data[hypothesis_clean] [normalizer(text) for text in data[hypothesis]] data[reference_clean] [normalizer(text) for text in data[reference]] wer jiwer.wer(list(data[reference_clean]), list(data[hypothesis_clean])) print(fWER: {wer * 100:.2f} %)notebook 记录的实际输出为WER: 4.26 %base.en在 LibriSpeech test-clean 上。这个数字既验证了流水线的正确性也说明了归一化的重要性未归一化时模型输出 Stuffered into you 与参考 STUFF IT INTO YOU 会被计为多处错误而归一化后语义等价形式被正确对齐。EnglishTextNormalizer的实现见 whisper/normalizers/english.py其对英文大小写、标点、数字展开、缩写等做了系统化处理。七、多语言评测实操Fleurs 转写与翻译notebooks/Multilingual_ASR.ipynb 则对应文档中 Fleurs、VoxPopuli 等多语言基准的评测方式展示同一模型如何同时做**转写transcribe与翻译translate**两项任务model whisper.load_model(medium) # 多语言模型参数量 762,321,920 options dict(languagelanguage, beam_size5, best_of5) transcribe_options dict(tasktranscribe, **options) translate_options dict(tasktranslate, **options) for audio, text in tqdm(dataset): transcription model.transcribe(audio, **transcribe_options)[text] translation model.transcribe(audio, **translate_options)[text]几个值得注意的细节必须使用多语言模型medium、large等英文专用.en模型无法翻译非英语语音——这与主 README.md 的命令行说明一致。beam_size5, best_of5是论文评测采用的解码参数beam search 宽度 5同时每个窗口从 5 个候选里择优保证评测指标可复现。输出同时包含韩语原文转写与英文翻译notebook 示例以ko_kr韩语演示这正是文档所述 Fleurs 数值 utterance ID 匹配英文转写评测协议的落地reference列来自 Fleurs 韩语标注翻译结果与英文版对齐。此外whisper/transcribe.py 的transcribe()函数签名揭示了评测时其他可控参数及其默认值温度temperature默认(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)的退化采样策略、gzip 压缩比阈值compression_ratio_threshold2.4、平均对数概率阈值logprob_threshold-1.0、静音判定阈值no_speech_threshold0.6、以及condition_on_previous_textTrue的窗口间上下文衔接等。这些参数共同定义了模型在长音频上的失败重试与静音跳过机制是复现长片段基准Meanwhile、Earnings 等时同样生效的底层行为。八、仓库中的配套验证与测试除 notebook 外仓库的测试代码也印证了评测数据的可用性tests/test_transcribe.py 使用tests/jfk.flac对每一种可用模型whisper.available_models()参数化执行transcribe(..., temperature0.0, word_timestampsTrue)断言转写结果包含 my fellow americans 等关键短语并校验start end的逐词时间戳合理性。这相当于一个内置的冒烟评测任何一台新环境只要跑通该测试就说明模型加载、音频解码、时间戳对齐全链路可用可以作为正式评测前的环境自检。tests/jfk.flac这类固定样本也提醒我们评测数据形态可以是单条音频文件对应短片段基准也可以是长音频 时间戳/闭路字幕对应 Meanwhile 等长片段基准两种形态在 whisper/transcribe.py 中分别由without_timestamps与逐段时间戳解码两条路径处理。九、复现注意事项与边界说明基于以上内容复现论文评测时请留意以下边界数据获取需遵守发行方条款本文列出的语料分属不同机构发行OpenSLR、LDC、Mozilla、各研究组部分语料如 CallHome/Switchboard、WSJ需要从其发行渠道申请请以各发行方发布时的获取方式与许可条款为准。严格对齐版本与分片评测指标对数据版本高度敏感例如短片段用 Common Voice 5.1、多语言用 Common Voice 9CORAAL 需固定 v. 2021.07Earnings 需固定202206版本。子集划分必须与文档一致Rev16 的 16 个文件编号、Kincaid46 人工基准的 25 个 Ref ID 都是论文指标的组成部分换用其他子集会得到不可比的结果。长片段需正确切割与拼接TED-LIUM 3 长片段版必须使用本文第三节的时间戳表切割Meanwhile 需按 data/meanwhile.json 的起止时间截取视频片段。评测前务必归一化大小写、标点、数字写法差异会显著扭曲 WER短片段英文评测应使用 whisper/normalizers/english.py 的EnglishTextNormalizer多语言评测则需按论文附录约定选择 WER拉丁字母语言或 CER非拉丁字母语言口径。总体而言data/README.md 是一份可执行的数据准备契约它精确到语料版本、分片名称、预处理脚本乃至切割时间戳。配合仓库中的 notebooks/LibriSpeech.ipynb、notebooks/Multilingual_ASR.ipynb 与 data/meanwhile.json研究者完全可以按图索骥在本地复现论文中的 WER/CER/BLEU 评测并用同样的流水线验证自定义数据上的模型表现。赞分享人工智能语音音频基础模型【免费下载链接】whisperRobust Speech Recognition via Large-Scale Weak Supervision项目地址https://gitcode.com/GitHub_Trending/whisp/whisper点击查看免费下载相关推荐MMagic 数据集准备全指南下载、预处理与数据集类详解MMagic 数据集准备全指南下载、预处理与数据集类详解 本指南面向在 MMagicOpenMMLab 多模态生成式 AI 工具箱中训练与测试各类生成/复媒体生成计算机视觉深度学习人工智能大模型BEVFusion数据准备完全指南nuScenes数据集预处理与配置BEVFusion数据准备完全指南nuScenes数据集预处理与配置 想要在自动驾驶领域快速上手BEVFusion多传感器融合模型数据准备是关键第一步本指自动驾驶计算机视觉多模态深度学习为什么选择Bookworm作为你的Linux电子书阅读器为什么选择Bookworm作为你的Linux电子书阅读器 在数字阅读成为日常的今天Linux用户常常面临一个难题如何找到一款既简洁易用又功能全面的电子书阅创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
