faster-whisper：基于 CTranslate2 的高速 Whisper 语音识别实现

faster-whisper基于 CTranslate2 的高速 Whisper 语音识别实现【免费下载链接】faster-whisperFaster Whisper transcription with CTranslate2项目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisperfaster-whisper 是用 CTranslate2 重写的 OpenAI Whisper 推理引擎做的是 faster-whisper 语音识别同精度下比原实现至多快 4 倍、内存占用更低适合会议转写、字幕生成这类长音频任务。faster-whisper 是什么一句话它是 Whisper 的 CTranslate2 重实现接口和原项目对齐速度更快、更省内存8-bit 量化可在 CPU 与 GPU 上进一步降开销。和 openai/whisper 相比需要注意的差别依赖 ctranslate2 推理引擎GPU 跑分要求 CUDA 12 cuDNN 9旧环境要锁版本系统无需装 FFmpeg解码由内置的 PyAV 完成transcribe默认beam_size为 5原实现默认是 1横向对比时要对齐口径三步跑通 first transcription环境要求Python 3.9 及以上用 NVIDIA GPU 需装 cuBLAS 与 cuDNNCUDA 12。安装pip install faster-whisper依赖含 PyAV随包解析。第一次成功加载模型并转录一段音频逐条打印分段from faster_whisper import WhisperModel model WhisperModel(large-v3, devicecuda, compute_typefloat16) segments, info model.transcribe(clip.mp3, beam_size5) for seg in segments: print(f[{seg.start:.2f}s - {seg.end:.2f}s] {seg.text})注意segments是生成器只有开始遍历或先list()时转录才真正执行。按硬件选配置以下组合均出自项目 README 的基准测试GPU 侧为 13 分钟音频、RTX 3070 Tilarge-v2beam size 5CPU 侧为 small 模型、i7-12700K 8 线程。硬件模型精度 / 参数实测表现适合场景NVIDIA GPUlarge-v2fp16,beam_size51m03s / 4525MB精度优先的日常转写NVIDIA GPUlarge-v2batch_size8, fp1617s / 6090MB显存充足时批量处理NVIDIA GPUlarge-v2int8,beam_size559s / 2926MB显存紧张3GBIntel CPUsmallfp322m37s / 2257MB无 GPU 的基线运行Intel CPUsmallint8,batch_size851s / 3608MB内存够用、求最快说明batch_size1需要显存/内存翻倍余量CPU 线程数可用环境变量OMP_NUM_THREADS固定后再对比。值得调的参数beam_size精度与速度的权衡默认 5。减小可提速增大会更准但更慢和原实现对比时务必用同一个值。segments, _ model.transcribe(clip.mp3, beam_size1)word_timestamps词级时间戳需要逐词定位做歌词对齐、逐词高亮时打开segments, _ model.transcribe(clip.mp3, word_timestampsTrue) for seg in segments: for w in seg.words: print(w.start, w.end, w.word)vad_filter跳过无声片段内置 Silero VAD 会先滤掉无声段减少空段幻觉、也省算力默认只删 2 秒以上静音可用vad_parameters收紧segments, _ model.transcribe( clip.mp3, vad_filterTrue, vad_parametersdict(min_silence_duration_ms500), )核心文件导读faster_whisper/transcribe.pyWhisperModel、BatchedInferencePipeline与主转录循环语言检测、词级对齐都在这里faster_whisper/audio.py基于 PyAV 把任意格式音频解成 16 kHz 波形替代系统 FFmpegfaster_whisper/feature_extractor.py波形转 log-Mel 频谱产出模型输入特征faster_whisper/vad.pySilero VAD 集成负责切分语音段与无声段卡住时看这里GPU 报缺 cuBLAS / cuDNN 库官方版本仅支持 CUDA 12 cuDNN 9。CUDA 11 环境把 ctranslate2 锁到 3.24.0CUDA 12 cuDNN 8 锁到 4.4.0 即可。代码跑完却没任何输出transcribe()返回生成器惰性执行加一行segments list(segments)或用for遍历才会真正转录。CPU 上内存大、速度慢改用compute_typeint8并固定OMP_NUM_THREADS控制线程数后再做性能对比。以上配置均来自仓库自带的基准与说明参数在 faster_whisper/transcribe.py 中可继续查阅。先从按硬件选配置表格里的一行起步再把不满意的输出逐项对应到参数里改。【免费下载链接】faster-whisperFaster Whisper transcription with CTranslate2项目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisper创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考