whisper.cpp Vulkan 后端完全指南一套着色器点亮所有厂商 GPU【免费下载链接】whisper.cppPort of OpenAIs Whisper model in C/C项目地址: https://gitcode.com/GitHub_Trending/wh/whisper.cppwhisper.cpp 把 OpenAI Whisper 语音识别模型移植为纯 C/C 实现其 Vulkan GPU 加速后端让 NVIDIA、AMD、Intel 乃至移动设备的 GPU 都能跑同一套推理代码。你只需在 CMake 里打开一个开关就能把转写任务从 CPU 搬上显卡且不必为每家厂商单独写驱动代码。从一条命令行开始的 GPU 转写假设你手上有一段 10 分钟的会议录音。用默认 CPU 后端跑whisper-clibase 模型也要等上十几秒而把编译参数换成-DGGML_VULKAN1之后同一台机器上的转写时间通常能压到原来的几分之一。差别不在 Whisper 算法本身而在底层算子执行的位置whisper.cpp 的矩阵乘法、LayerNorm、Softmax 全部由 Vulkan 计算着色器在 GPU 上完成。这套能力对 Android 开发者同样开放——上图是仓库内置的 Android 示例工程运行界面说明 Vulkan 路径不只是桌面方案。原理拆解着色器如何接管 Whisper 的每个算子设备发现Vulkan 实例只初始化一次后端对外暴露的入口集中在ggml/include/ggml-vulkan.hGGML_BACKEND_API void ggml_vk_instance_init(void); GGML_BACKEND_API ggml_backend_t ggml_backend_vk_init(size_t dev_num); GGML_BACKEND_API int ggml_backend_vk_get_device_count(void); GGML_BACKEND_API void ggml_backend_vk_get_device_description(int device, char * description, size_t description_size);ggml_vk_instance_init负责创建 Vulkan Instance即所有 GPU 共享的 API 入口ggml_backend_vk_init则按编号挑出一块卡生成一个ggml_backend_t句柄交给 ggml 调度器统一管理最多支持 16 个设备。算子落地80 多个 .comp 文件覆盖全部数学运算打开ggml/src/ggml-vulkan/vulkan-shaders/目录你会看到按算子命名的 GLSL 着色器文件mul_mm.comp做矩阵乘矩阵mul_mat_vec_q4_k.comp专门处理 Q4_K 量化权重的矩阵-向量乘flash_attn_cm2.comp用 NVIDIA 的 CM2 矩阵指令实现 Flash Attention还有dequant_q2_k.comp到dequant_q6_k.comp一整套反量化例程。Whisper 编码器与解码器的每一类操作都能在这里找到对应实现这也是量化模型能在 GPU 上跑满速的前提。设备注册懒加载的单例设备表后端通过ggml_backend_vk_reg把自己挂进 ggml 的后端注册表。注册逻辑是懒加载的——首次查询设备时才遍历所有 Vulkan 设备并缓存for (int i 0; i ggml_backend_vk_get_device_count(); i) { ggml_backend_vk_device_context * ctx new ggml_backend_vk_device_context; ggml_backend_vk_get_device_description(i, desc, sizeof(desc)); devices.push_back(new ggml_backend_device { ... }); }这段代码只跑一次之后whisper-cli每次枚举后端都直接读缓存避免重复枚举显卡的开销。从克隆到跑通的最短路径克隆仓库并进入目录git clone https://gitcode.com/GitHub_Trending/wh/whisper.cpp cd whisper.cpp配置并编译要求显卡驱动已提供 Vulkan API 支持cmake -B build -DGGML_VULKAN1 cmake --build build -j --config Release用仓库自带的示例音频转写./build/bin/whisper-cli -m models/ggml-base.en.bin -f samples/jfk.wav运行后你会看到终端逐段打印时间戳与文本开头几行形如[00:00.000 -- 00:02.320] And so my fellow Americans, [00:02.320 -- 00:04.680] ask not what your country can do for you, [00:04.680 -- 00:06.400] ask what you can do for your country.若编译日志中出现ggml-vulkan字样、且转写时终端打印了设备信息说明计算确实落在 GPU 上。注意 whisper-cli 目前只接受 16 位 WAV 输入其他格式需先转码。配置档位与关键环境变量场景推荐配置预期效果桌面实时转写base.en Vulkan短音频秒级出结果批量任务base/medium 多文件并发吞吐量随批次上升显存紧张的核显tiny/small 或 q4_0 量化显存占用降到 GB 级以下多卡机器GGML_VK_VISIBLE_DEVICES指定卡号避免选中核显空耗几个高频环境变量值得记住GGML_VK_VISIBLE_DEVICES按逗号分隔的卡号列表只让后端看见指定 GPU多卡机器上防止任务落到集显。GGML_VK_DISABLE_F16设为任意值即强制禁用 FP16遇到个别硬件半精度结果异常时用。GGML_VULKAN_PERF编译期选项-DGGML_VULKAN_PERF1打开后每个算子都输出耗时是定位慢算子的第一工具。-DGGML_VULKAN_VALIDATE1启用 Vulkan 验证层输出报错定位着色器问题。排错速查现象原因处理编译提示找不到 Vulkan未装 Vulkan SDK 或驱动安装驱动与 SDK 后重配 CMake运行时回退到 CPU显卡驱动 Vulkan 版本过低升级显卡驱动多卡时跑在核显上默认选了 0 号设备设GGML_VK_VISIBLE_DEVICES结果偶发乱码硬件 FP16 实现不完整导出GGML_VK_DISABLE_F161显存分配失败模型上下文超出显存换更小模型或量化版本编译慢、着色器编译报错缺少GGML_VULKAN_SHADER_DEBUG_INFO定位难加该选项重编译看着色器日志调试技巧把-DGGML_VULKAN_CHECK_RESULTS1加进 CMake后端会逐算子校验 GPU 与 CPU 结果是否一致是判断哪一步算错的开关。延伸方向量化模型加速dequant_q2_k.comp到dequant_q6_k.comp的完整反量化链路意味着 Q4/Q5 量化模型可直接在 GPU 上推理转写前先用仓库examples/quantize压一版权重量级。多后端混用ggml 的调度器支持同时注册 CPU 与 Vulkan 后端把放得下的层放 GPU、剩下的留给 CPU。服务端集成examples/server提供 HTTP 接口可把 GPU 转写能力包成 REST 服务供多业务调用。移动端落地仓库内置examples/whisper.android与whisper.android.java两个示例工程Vulkan 路径可直接搬到 Android 真机。WebGPU 对照examples/whisper.wasm用 WASM 跑同一模型适合对比 GPU 加速收益。Vulkan 后端让 whisper.cpp 成为一份代码覆盖所有主流显卡的语音识别底座。Vulkan 后端实现算子着色器目录后端接口头文件构建配置入口【免费下载链接】whisper.cppPort of OpenAIs Whisper model in C/C项目地址: https://gitcode.com/GitHub_Trending/wh/whisper.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
whisper.cpp Vulkan 后端完全指南一套着色器点亮所有厂商 GPU【免费下载链接】whisper.cppPort of OpenAIs Whisper model in C/C项目地址: https://gitcode.com/GitHub_Trending/wh/whisper.cppwhisper.cpp 把 OpenAI Whisper 语音识别模型移植为纯 C/C 实现其 Vulkan GPU 加速后端让 NVIDIA、AMD、Intel 乃至移动设备的 GPU 都能跑同一套推理代码。你只需在 CMake 里打开一个开关就能把转写任务从 CPU 搬上显卡且不必为每家厂商单独写驱动代码。从一条命令行开始的 GPU 转写假设你手上有一段 10 分钟的会议录音。用默认 CPU 后端跑whisper-clibase 模型也要等上十几秒而把编译参数换成-DGGML_VULKAN1之后同一台机器上的转写时间通常能压到原来的几分之一。差别不在 Whisper 算法本身而在底层算子执行的位置whisper.cpp 的矩阵乘法、LayerNorm、Softmax 全部由 Vulkan 计算着色器在 GPU 上完成。这套能力对 Android 开发者同样开放——上图是仓库内置的 Android 示例工程运行界面说明 Vulkan 路径不只是桌面方案。原理拆解着色器如何接管 Whisper 的每个算子设备发现Vulkan 实例只初始化一次后端对外暴露的入口集中在ggml/include/ggml-vulkan.hGGML_BACKEND_API void ggml_vk_instance_init(void); GGML_BACKEND_API ggml_backend_t ggml_backend_vk_init(size_t dev_num); GGML_BACKEND_API int ggml_backend_vk_get_device_count(void); GGML_BACKEND_API void ggml_backend_vk_get_device_description(int device, char * description, size_t description_size);ggml_vk_instance_init负责创建 Vulkan Instance即所有 GPU 共享的 API 入口ggml_backend_vk_init则按编号挑出一块卡生成一个ggml_backend_t句柄交给 ggml 调度器统一管理最多支持 16 个设备。算子落地80 多个 .comp 文件覆盖全部数学运算打开ggml/src/ggml-vulkan/vulkan-shaders/目录你会看到按算子命名的 GLSL 着色器文件mul_mm.comp做矩阵乘矩阵mul_mat_vec_q4_k.comp专门处理 Q4_K 量化权重的矩阵-向量乘flash_attn_cm2.comp用 NVIDIA 的 CM2 矩阵指令实现 Flash Attention还有dequant_q2_k.comp到dequant_q6_k.comp一整套反量化例程。Whisper 编码器与解码器的每一类操作都能在这里找到对应实现这也是量化模型能在 GPU 上跑满速的前提。设备注册懒加载的单例设备表后端通过ggml_backend_vk_reg把自己挂进 ggml 的后端注册表。注册逻辑是懒加载的——首次查询设备时才遍历所有 Vulkan 设备并缓存for (int i 0; i ggml_backend_vk_get_device_count(); i) { ggml_backend_vk_device_context * ctx new ggml_backend_vk_device_context; ggml_backend_vk_get_device_description(i, desc, sizeof(desc)); devices.push_back(new ggml_backend_device { ... }); }这段代码只跑一次之后whisper-cli每次枚举后端都直接读缓存避免重复枚举显卡的开销。从克隆到跑通的最短路径克隆仓库并进入目录git clone https://gitcode.com/GitHub_Trending/wh/whisper.cpp cd whisper.cpp配置并编译要求显卡驱动已提供 Vulkan API 支持cmake -B build -DGGML_VULKAN1 cmake --build build -j --config Release用仓库自带的示例音频转写./build/bin/whisper-cli -m models/ggml-base.en.bin -f samples/jfk.wav运行后你会看到终端逐段打印时间戳与文本开头几行形如[00:00.000 -- 00:02.320] And so my fellow Americans, [00:02.320 -- 00:04.680] ask not what your country can do for you, [00:04.680 -- 00:06.400] ask what you can do for your country.若编译日志中出现ggml-vulkan字样、且转写时终端打印了设备信息说明计算确实落在 GPU 上。注意 whisper-cli 目前只接受 16 位 WAV 输入其他格式需先转码。配置档位与关键环境变量场景推荐配置预期效果桌面实时转写base.en Vulkan短音频秒级出结果批量任务base/medium 多文件并发吞吐量随批次上升显存紧张的核显tiny/small 或 q4_0 量化显存占用降到 GB 级以下多卡机器GGML_VK_VISIBLE_DEVICES指定卡号避免选中核显空耗几个高频环境变量值得记住GGML_VK_VISIBLE_DEVICES按逗号分隔的卡号列表只让后端看见指定 GPU多卡机器上防止任务落到集显。GGML_VK_DISABLE_F16设为任意值即强制禁用 FP16遇到个别硬件半精度结果异常时用。GGML_VULKAN_PERF编译期选项-DGGML_VULKAN_PERF1打开后每个算子都输出耗时是定位慢算子的第一工具。-DGGML_VULKAN_VALIDATE1启用 Vulkan 验证层输出报错定位着色器问题。排错速查现象原因处理编译提示找不到 Vulkan未装 Vulkan SDK 或驱动安装驱动与 SDK 后重配 CMake运行时回退到 CPU显卡驱动 Vulkan 版本过低升级显卡驱动多卡时跑在核显上默认选了 0 号设备设GGML_VK_VISIBLE_DEVICES结果偶发乱码硬件 FP16 实现不完整导出GGML_VK_DISABLE_F161显存分配失败模型上下文超出显存换更小模型或量化版本编译慢、着色器编译报错缺少GGML_VULKAN_SHADER_DEBUG_INFO定位难加该选项重编译看着色器日志调试技巧把-DGGML_VULKAN_CHECK_RESULTS1加进 CMake后端会逐算子校验 GPU 与 CPU 结果是否一致是判断哪一步算错的开关。延伸方向量化模型加速dequant_q2_k.comp到dequant_q6_k.comp的完整反量化链路意味着 Q4/Q5 量化模型可直接在 GPU 上推理转写前先用仓库examples/quantize压一版权重量级。多后端混用ggml 的调度器支持同时注册 CPU 与 Vulkan 后端把放得下的层放 GPU、剩下的留给 CPU。服务端集成examples/server提供 HTTP 接口可把 GPU 转写能力包成 REST 服务供多业务调用。移动端落地仓库内置examples/whisper.android与whisper.android.java两个示例工程Vulkan 路径可直接搬到 Android 真机。WebGPU 对照examples/whisper.wasm用 WASM 跑同一模型适合对比 GPU 加速收益。Vulkan 后端让 whisper.cpp 成为一份代码覆盖所有主流显卡的语音识别底座。Vulkan 后端实现算子着色器目录后端接口头文件构建配置入口【免费下载链接】whisper.cppPort of OpenAIs Whisper model in C/C项目地址: https://gitcode.com/GitHub_Trending/wh/whisper.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
