NVIDIA 开源 GPU 内核模块解析4 个 .ko 文件背后的两层代码【免费下载链接】open-gpu-kernel-modulesNVIDIA Linux open GPU kernel module source项目地址: https://gitcode.com/GitHub_Trending/op/open-gpu-kernel-modules在 aarch64 服务器上排查 CUDA OOM 时根因往往不在 CUDA 代码里训练作业触发页错误后内核中 UVMUnified Virtual Memory统一虚拟内存路径决定这一页是被降级换到系统内存还是直接变成硬错误。open-gpu-kernel-modules 就是这份 NVIDIA GPU 内核模块的源码版本 610.57.04负责 GPU 与 Linux 内核之间的初始化、虚拟内存管理和显示模式设置——过去只存在于 .run 安装包里的黑盒现在可以逐行阅读和修改。它和闭源驱动到底差在哪它就是随 .run 安装包一起装进系统的那套驱动只是把源码完全放了出来。与闭源版本相比有两点实际差别官方 .run 安装包中OS 无关部分以预编译二进制交付nvidia.ko 对应nv-kernel.o_binarynvidia-modeset.ko 对应nv-modeset-kernel.o_binary在这个仓库里这部分代码可以自行从源码编译。GPU 初始化、内存管理、故障处理等核心逻辑可以直接阅读遇到问题时能提出 PR 而不是等待下一版驱动。硬件范围支持 Turing 及之后的架构从 RTX 20 系列一直到 Blackwell B200内核要求 Linux 4.15 及以上CPU 架构支持 x86_64 和 aarch64可以交叉编译。整个仓库按是否依赖内核版本切成两半open-gpu-kernel-modules/ ├── kernel-open/ # 内核接口层针对目标内核编译 │ ├── nvidia/ # nvidia.ko │ ├── nvidia-drm/ # nvidia-drm.ko │ ├── nvidia-modeset/ # nvidia-modeset.ko │ └── nvidia-uvm/ # nvidia-uvm.ko ├── src/ # 操作系统无关代码 └── nouveau/ # 为 Nouveau 驱动提取固件二进制的工具kernel-open/ 下四个子目录与四个 .ko 文件一一对应src/ 放的是不依赖内核版本的逻辑升级内核时只需要重新编译内核接口层不用整棵树重来。四个 .ko 文件各管一摊nvidia-uvm决定每一页内存住在哪UVM 让 CPU 与 GPU 共享同一个虚拟地址空间是写了.to(cuda)就能跑体验的内核基础。模块位于 kernel-open/nvidia-uvm/一百多个源文件入口函数是 uvm.c 中的uvm_open每次进程打开/dev/nvidia-uvm时触发static int uvm_open(struct inode *inode, struct file *filp) { // … 省略全局状态检查 … mapping uvm_kvmalloc(sizeof(*mapping)); // … 省略 … address_space_init_once(mapping); mapping-host inode; filp-f_mapping mapping; return NV_OK; }关键在中间三行UVM 把文件的 mapping offset 当作进程虚拟地址使用所以每个进程必须拿一个隔离的 address_space否则内核的unmap_mapping_range会波及同一 inode 上所有进程的映射。这也是读这个模块的第一条线索——一切以进程隔离为前提。页错误发生后 GPU 通过中断通知 CPU中断与故障缓冲区的解析在 uvm_gpu_isr.c。nvidia.ko真正摸硬件的核心负责 GPU 初始化、硬件资源管理与电源状态切换代码分两半内核接口层在 kernel-open/nvidia/nv.c 是模块入口nv-pci.c 负责 PCI 设备注册OS 无关的核心逻辑在 src/nvidia/。后者内部是 HAL硬件抽象层结构src/nvidia/arch/nvalloc/ 把各架构Turing / Ampere / Ada / Hopper / Blackwell的实现放在同一套接口背后src/nvidia/generated/ 里成百上千个g_*_nvoc.*文件是生成的 HAL 分派代码——不必逐行读理解按架构实现、统一分派这一模式即可。另注意 README 的硬约束模块必须搭配同版本的 GSP 固件和用户空间组件使用。nvidia-drm 与 nvidia-modeset显示链路的一对nvidia-modeset.ko 实现 KMSKernel Mode Setting内核态模式设置管分辨率、多显示器和显示时序nvidia-drm.ko 是薄薄一层向上暴露标准 Linux DRMDirect Rendering Manager接口。drm 侧初始化在 nvidia-drm.cint nv_drm_init(void) { if (!nvKmsKapiGetFunctionsTable(nvKmsFuncsTable)) { NV_DRM_LOG_ERR(Version mismatch: ...); return -EINVAL; } // … 省略 … nvKms-setCallbacks(nv_drm_kapi_callbacks); return nv_drm_probe_devices(); }第一处值得看的是版本校验nvidia-modeset.ko 通过函数指针表交付能力版本号对不上就拒绝加载避免混装不同版本驱动导致显示直接黑屏。显示协议与 DRM 框架拆成两个 .ko也让显示核心逻辑不必跟着内核升级走。优化藏在哪些路径里内存路径。地址空间按 VA 范围 块两级管理uvm_va_range.c 管范围uvm_va_block.c 把每个范围切成 2MB 的块按需分配页面在 CPU 内存与显存之间迁移由 uvm_migrate.c 与 uvm_migrate_pageable.c 驱动迁移决策依赖访问计数器统计的访问频率uvm_gpu_access_counters.c。多卡路径。GPU 间高速互连走 NVLink实现在 src/common/nvlink/兜底走 PCI P2Pnv-p2p.cGPUDirect 对端内存接口在 kernel-open/nvidia-peermem/。电源路径。PCI 层的电源状态切换与时钟调整在 nv-pci.c平台级电源管理在 nv-platform-pm.c。把它跑起来克隆并编译git clone https://gitcode.com/GitHub_Trending/op/open-gpu-kernel-modules cd open-gpu-kernel-modules make modules -j$(nproc)安装 GPU 内核模块与用户空间组件。模块必须和同版本用户空间组件配对用户空间部分从官方 .run 文件装用--no-kernel-modules跳过其内置内核模块make modules_install -j$(nproc) sh ./NVIDIA-Linux-x86_64-610.57.04.run --no-kernel-modules验证lsmod | grep nvidia nvidia-smi编译开关方面NV_VERBOSE1打印每条完整编译命令便于定位编译错误DEBUG1附加调试信息并打开模块内调试日志aarch64 交叉编译需加TARGET_ARCHaarch64以及带前缀的CC/LD/AR工具链。下一步若要提交补丁先读 CONTRIBUTING.md仓库只接收功能性变更不收错别字与空白调整且改动需人工合并回 NVIDIA 共享代码库。落地上更实际的做法是先跑 UVM 自带测试如 uvm_va_block_test.c在本地内核里验证改动再碰真机。【免费下载链接】open-gpu-kernel-modulesNVIDIA Linux open GPU kernel module source项目地址: https://gitcode.com/GitHub_Trending/op/open-gpu-kernel-modules创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
NVIDIA 开源 GPU 内核模块解析4 个 .ko 文件背后的两层代码【免费下载链接】open-gpu-kernel-modulesNVIDIA Linux open GPU kernel module source项目地址: https://gitcode.com/GitHub_Trending/op/open-gpu-kernel-modules在 aarch64 服务器上排查 CUDA OOM 时根因往往不在 CUDA 代码里训练作业触发页错误后内核中 UVMUnified Virtual Memory统一虚拟内存路径决定这一页是被降级换到系统内存还是直接变成硬错误。open-gpu-kernel-modules 就是这份 NVIDIA GPU 内核模块的源码版本 610.57.04负责 GPU 与 Linux 内核之间的初始化、虚拟内存管理和显示模式设置——过去只存在于 .run 安装包里的黑盒现在可以逐行阅读和修改。它和闭源驱动到底差在哪它就是随 .run 安装包一起装进系统的那套驱动只是把源码完全放了出来。与闭源版本相比有两点实际差别官方 .run 安装包中OS 无关部分以预编译二进制交付nvidia.ko 对应nv-kernel.o_binarynvidia-modeset.ko 对应nv-modeset-kernel.o_binary在这个仓库里这部分代码可以自行从源码编译。GPU 初始化、内存管理、故障处理等核心逻辑可以直接阅读遇到问题时能提出 PR 而不是等待下一版驱动。硬件范围支持 Turing 及之后的架构从 RTX 20 系列一直到 Blackwell B200内核要求 Linux 4.15 及以上CPU 架构支持 x86_64 和 aarch64可以交叉编译。整个仓库按是否依赖内核版本切成两半open-gpu-kernel-modules/ ├── kernel-open/ # 内核接口层针对目标内核编译 │ ├── nvidia/ # nvidia.ko │ ├── nvidia-drm/ # nvidia-drm.ko │ ├── nvidia-modeset/ # nvidia-modeset.ko │ └── nvidia-uvm/ # nvidia-uvm.ko ├── src/ # 操作系统无关代码 └── nouveau/ # 为 Nouveau 驱动提取固件二进制的工具kernel-open/ 下四个子目录与四个 .ko 文件一一对应src/ 放的是不依赖内核版本的逻辑升级内核时只需要重新编译内核接口层不用整棵树重来。四个 .ko 文件各管一摊nvidia-uvm决定每一页内存住在哪UVM 让 CPU 与 GPU 共享同一个虚拟地址空间是写了.to(cuda)就能跑体验的内核基础。模块位于 kernel-open/nvidia-uvm/一百多个源文件入口函数是 uvm.c 中的uvm_open每次进程打开/dev/nvidia-uvm时触发static int uvm_open(struct inode *inode, struct file *filp) { // … 省略全局状态检查 … mapping uvm_kvmalloc(sizeof(*mapping)); // … 省略 … address_space_init_once(mapping); mapping-host inode; filp-f_mapping mapping; return NV_OK; }关键在中间三行UVM 把文件的 mapping offset 当作进程虚拟地址使用所以每个进程必须拿一个隔离的 address_space否则内核的unmap_mapping_range会波及同一 inode 上所有进程的映射。这也是读这个模块的第一条线索——一切以进程隔离为前提。页错误发生后 GPU 通过中断通知 CPU中断与故障缓冲区的解析在 uvm_gpu_isr.c。nvidia.ko真正摸硬件的核心负责 GPU 初始化、硬件资源管理与电源状态切换代码分两半内核接口层在 kernel-open/nvidia/nv.c 是模块入口nv-pci.c 负责 PCI 设备注册OS 无关的核心逻辑在 src/nvidia/。后者内部是 HAL硬件抽象层结构src/nvidia/arch/nvalloc/ 把各架构Turing / Ampere / Ada / Hopper / Blackwell的实现放在同一套接口背后src/nvidia/generated/ 里成百上千个g_*_nvoc.*文件是生成的 HAL 分派代码——不必逐行读理解按架构实现、统一分派这一模式即可。另注意 README 的硬约束模块必须搭配同版本的 GSP 固件和用户空间组件使用。nvidia-drm 与 nvidia-modeset显示链路的一对nvidia-modeset.ko 实现 KMSKernel Mode Setting内核态模式设置管分辨率、多显示器和显示时序nvidia-drm.ko 是薄薄一层向上暴露标准 Linux DRMDirect Rendering Manager接口。drm 侧初始化在 nvidia-drm.cint nv_drm_init(void) { if (!nvKmsKapiGetFunctionsTable(nvKmsFuncsTable)) { NV_DRM_LOG_ERR(Version mismatch: ...); return -EINVAL; } // … 省略 … nvKms-setCallbacks(nv_drm_kapi_callbacks); return nv_drm_probe_devices(); }第一处值得看的是版本校验nvidia-modeset.ko 通过函数指针表交付能力版本号对不上就拒绝加载避免混装不同版本驱动导致显示直接黑屏。显示协议与 DRM 框架拆成两个 .ko也让显示核心逻辑不必跟着内核升级走。优化藏在哪些路径里内存路径。地址空间按 VA 范围 块两级管理uvm_va_range.c 管范围uvm_va_block.c 把每个范围切成 2MB 的块按需分配页面在 CPU 内存与显存之间迁移由 uvm_migrate.c 与 uvm_migrate_pageable.c 驱动迁移决策依赖访问计数器统计的访问频率uvm_gpu_access_counters.c。多卡路径。GPU 间高速互连走 NVLink实现在 src/common/nvlink/兜底走 PCI P2Pnv-p2p.cGPUDirect 对端内存接口在 kernel-open/nvidia-peermem/。电源路径。PCI 层的电源状态切换与时钟调整在 nv-pci.c平台级电源管理在 nv-platform-pm.c。把它跑起来克隆并编译git clone https://gitcode.com/GitHub_Trending/op/open-gpu-kernel-modules cd open-gpu-kernel-modules make modules -j$(nproc)安装 GPU 内核模块与用户空间组件。模块必须和同版本用户空间组件配对用户空间部分从官方 .run 文件装用--no-kernel-modules跳过其内置内核模块make modules_install -j$(nproc) sh ./NVIDIA-Linux-x86_64-610.57.04.run --no-kernel-modules验证lsmod | grep nvidia nvidia-smi编译开关方面NV_VERBOSE1打印每条完整编译命令便于定位编译错误DEBUG1附加调试信息并打开模块内调试日志aarch64 交叉编译需加TARGET_ARCHaarch64以及带前缀的CC/LD/AR工具链。下一步若要提交补丁先读 CONTRIBUTING.md仓库只接收功能性变更不收错别字与空白调整且改动需人工合并回 NVIDIA 共享代码库。落地上更实际的做法是先跑 UVM 自带测试如 uvm_va_block_test.c在本地内核里验证改动再碰真机。【免费下载链接】open-gpu-kernel-modulesNVIDIA Linux open GPU kernel module source项目地址: https://gitcode.com/GitHub_Trending/op/open-gpu-kernel-modules创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
