1. 为什么要在 Windows 上折腾 WSL2 跑 AI 训练先说结论如果你手头只有一台 Windows 主力机又想跑 PyTorch、CUDA 这套深度学习工具链WSL2 是目前最省心的方案没有之一。我前后在双系统、纯 Linux 服务器、虚拟机、WSL2 这几种环境里都部署过训练环境最后长期留在 WSL2 上原因很实在——它把 Windows 的日常办公体验和 Linux 的 AI 生态缝合到了一起而且 GPU 是直通的不是虚拟化的阉割版。很多人对 WSL2 的印象还停留在一个能跑 bash 的终端这个认知已经过时了。WSL2 本质是一个跑在轻量级虚拟机里的完整 Linux 内核微软自己维护的这个内核专门为 Windows 做了大量适配其中最关键的一项就是GPU 半虚拟化直通GPU paravirtualization。简单说Windows 主机上的 NVIDIA 显卡驱动会通过一套叫 WSLg 和 dxgkrnl 的机制把 GPU 的计算能力暴露给 WSL2 里的 Linux 发行版。你在 WSL2 里执行nvidia-smi看到的不是模拟设备而是真实的物理显卡显存、算力、CUDA 核心全都能用。这件事解决的核心痛点是你不需要在 Windows 和 Linux 之间反复重启切换也不需要为了跑一个训练脚本专门去买云 GPU 或者装双系统。对于做深度学习、大模型微调、CUDA 算子开发、PyTorch 转 ONNX 这类工作的人来说WSL2 让你在同一个桌面环境下完成写代码、调试、训练、看视频摸鱼的全流程。适合谁来参考这篇内容三类人最合适。第一类是刚入门深度学习、手里只有一台带 NVIDIA 显卡的 Windows 笔记本或台式机的同学想搭 PyTorch 环境但被各种 CUDA 版本问题劝退的。第二类是有一定 Linux 基础、但不想放弃 Windows 生态的开发者比如需要用 Windows 上的某些工具链配合 Linux 编译环境的。第三类是做嵌入式 Linux 或者需要频繁验证 Linux 下 CUDA 行为的工程师WSL2 能当半个测试机用。需要提前说清楚的是WSL2 的 GPU 直通目前对 NVIDIA 支持最成熟AMD 和 Intel 显卡的支持在逐步完善但坑还比较多本文主要围绕 NVIDIA CUDA 这条主线展开。另外WSL2 对显存的调用是独占式的训练时 Windows 这边如果同时跑游戏或者视频渲染会抢显存这个后面会细说。2. 环境准备从零把 WSL2 和 Ubuntu 装利索2.1 系统版本和硬件的前置检查动手之前先确认三件事这三件事任何一件不满足后面都会卡住。第一Windows 版本。WSL2 的 GPU 直通功能要求 Windows 10 版本 21H2 及以上或者 Windows 11 任意版本。我强烈建议直接上 Windows 11因为 WSLg图形界面支持在 Win11 上是默认开启的省去很多配置。查看版本的方法是在 PowerShell 里执行winver弹窗里能看到具体版本号。第二显卡驱动。这是最容易踩坑的地方。WSL2 里的 CUDA 不需要你在 Linux 里单独装显卡驱动你只需要在 Windows 主机上装好 NVIDIA 的驱动就行。但注意必须是支持 WSL 的驱动版本太老的驱动不行。去 NVIDIA 官网下载最新的 Game Ready 或者 Studio 驱动都可以安装时选自定义安装确保勾选了 CUDA 相关的组件。装完之后在 Windows 的 PowerShell 里执行nvidia-smi能看到显卡信息就说明主机驱动没问题。第三虚拟化。WSL2 依赖 Windows 的虚拟机平台功能需要在 BIOS 里开启 CPU 虚拟化Intel 的叫 VT-xAMD 的叫 SVM然后在 Windows 功能里勾选虚拟机平台和适用于 Linux 的 Windows 子系统。Win11 上一条命令就能搞定在管理员 PowerShell 里执行wsl --install它会自动帮你开启所需功能并安装 Ubuntu。注意如果你的机器是 AMD 显卡WSL2 的 ROCm 支持目前还在早期阶段很多 PyTorch 的 CUDA 算子跑不了建议先确认自己的需求再折腾。2.2 安装 Ubuntu 22.04 并迁移到非系统盘wsl --install默认装的是 Ubuntu但版本可能不是 22.04。我建议明确指定版本因为 22.04 是目前 AI 生态兼容性最好的 LTS 版本PyTorch、CUDA 的官方文档基本都围绕它写。安装命令是wsl --install -d Ubuntu-22.04。装完之后有个很多人忽略的问题WSL2 的虚拟磁盘默认放在 C 盘路径大概是%LOCALAPPDATA%\Packages\...\LocalState\ext4.vhdx。这个文件会随着你装 CUDA、PyTorch、数据集不断膨胀几十 GB 是常态C 盘紧张的话很快就红了。所以装完第一件事就是把它迁到 D 盘或者其他数据盘。迁移步骤不复杂但顺序不能错。先用wsl --shutdown关掉所有 WSL 实例然后用wsl --export Ubuntu-22.04 D:\wsl\ubuntu2204.tar把整个发行版导出成一个 tar 包。接着wsl --unregister Ubuntu-22.04注销原来的再用wsl --import Ubuntu-22.04 D:\wsl\ubuntu2204 D:\wsl\ubuntu2204.tar --version 2导入到新位置。导入后默认登录用户会变成 root需要改回普通用户方法是编辑/etc/wsl.conf加上[user]段和default你的用户名。这里有个细节导出导入的过程会完整保留你之前装的所有东西所以建议先迁移再装 CUDA否则几十 GB 的 CUDA 工具包搬起来很慢。我自己第一次就是装完 CUDA 才想起来迁移tar 包打了 40 多 GB来回折腾了半小时。2.3 验证 GPU 是否真的直通进来了迁移完成后进入 WSL2 的 Ubuntu第一件事是验证 GPU 直通。执行nvidia-smi如果能看到和 Windows 主机上一样的显卡信息、驱动版本、显存占用说明直通成功。如果报错command not found说明 WSL 里没装 nvidia-smi 这个工具但驱动本身是通的。可以装一个nvidia-utils或者直接从主机复制。更常见的报错是No devices were found这通常是主机驱动版本太老或者没装对回到 Windows 重新装驱动即可。还有一个验证方法是看/dev/dxg这个设备文件是否存在它是 WSL2 GPU 直通的核心设备节点。ls -l /dev/dxg能看到就说明内核层面的直通是好的。实操心得WSL2 里的nvidia-smi显示的显存占用是主机全局的包括 Windows 那边占用的部分。所以如果你在 Windows 上开着浏览器看视频WSL 里训练时显存会莫名其妙少一截排查显存不足时要把这个因素算进去。3. CUDA 与 PyTorch 的版本匹配这一步决定成败3.1 先搞清楚 CUDA 版本的三层关系很多人装 CUDA 装到崩溃根本原因是没理清三个东西的关系显卡驱动支持的 CUDA 版本、你安装的 CUDA Toolkit 版本、PyTorch 编译时依赖的 CUDA 版本。这三者不是一回事但必须兼容。显卡驱动决定的是最高能支持到哪个 CUDA 版本这个信息在nvidia-smi右上角能看到比如显示CUDA Version: 12.4意思是这个驱动最高支持 CUDA 12.4。你装的 CUDA Toolkit 版本必须小于等于这个数。PyTorch 这边更微妙。PyTorch 官方发布的 wheel 包是预编译好、绑定了特定 CUDA 版本的比如torch2.1.0cu121就是绑定 CUDA 12.1 编译的。你本地装的 CUDA Toolkit 版本和 PyTorch 绑定的版本可以不一致因为 PyTorch 自带了一份 CUDA runtime。但为了少出幺蛾子我建议让三者尽量对齐。我的经验是先确定 PyTorch 版本再反推 CUDA 版本最后确认驱动支持。比如你想用 PyTorch 2.1它官方支持 cu118 和 cu121 两个版本那你就装 CUDA 12.1 的 Toolkit然后确认主机驱动支持 12.1 以上。这样最省心。3.2 在 WSL2 里安装 CUDA Toolkit 的正确姿势WSL2 里装 CUDA Toolkit 和普通 Linux 有个关键区别不要装显卡驱动。NVIDIA 官方文档明确说了WSL2 的 CUDA Toolkit 安装要跳过驱动那一步因为驱动由 Windows 主机提供。具体步骤是去 NVIDIA 的 CUDA Toolkit 下载页选择 Linux、x86_64、Ubuntu、22.04、deb(local) 这几个选项它会给你一串命令。但注意那串命令里包含了装驱动的步骤你要手动跳过cuda-drivers相关的包。我一般用 runfile 方式装更可控。下载 runfile 之后执行时加上--toolkit --toolkitpath/usr/local/cuda-12.1参数明确只装 toolkit 不装驱动。装完在~/.bashrc里加上 PATH 和 LD_LIBRARY_PATHexport PATH/usr/local/cuda-12.1/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH然后source ~/.bashrc执行nvcc -V能看到版本信息就成功了。注意WSL2 里不要用apt install nvidia-cuda-toolkit这种方式装Ubuntu 源里的版本往往很老而且可能和主机驱动不匹配。老老实实用 NVIDIA 官方的方式装。3.3 PyTorch 安装conda 还是 pip这是个问题装 PyTorch 有 conda 和 pip 两条路。我的建议是用 conda 管理环境用 pip 装 PyTorch。原因是 conda 装 PyTorch 时经常会把 CUDA runtime 也一起装了导致和你系统里的 CUDA 版本打架而 pip 装的 PyTorch 用的是自带的 CUDA runtime更干净。具体操作是先装 Miniconda然后conda create -n pytorch python3.10建一个环境激活后去 PyTorch 官网拿到对应的 pip 安装命令。比如 CUDA 12.1 对应的命令是pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121装完之后一定要验证别装完就以为好了。验证脚本很简单import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果cuda.is_available()返回 True恭喜你环境通了。如果返回 False八成是 CUDA 版本和 PyTorch 不匹配或者驱动有问题。这里插一句关于热词里提到的conda : 无法将conda项识别这个报错。这通常是因为 conda 没加到 PATH 里或者你在 PowerShell 里直接敲 conda 但没初始化。解决办法是在 conda 安装目录下执行./conda init然后重开终端。WSL2 里用 bash 的话初始化脚本会写进.bashrc一般不会有这个问题。4. 实战跑通第一个 GPU 训练并做性能验证4.1 用一个小例子确认 GPU 真的在干活环境装好不代表 GPU 真的在算。我习惯用一个矩阵乘法的小例子来验证因为它能直观看到 GPU 利用率和显存占用。import torch import time device torch.device(cuda) a torch.randn(10000, 10000, devicedevice) b torch.randn(10000, 10000, devicedevice) # 预热 for _ in range(3): c torch.matmul(a, b) torch.cuda.synchronize() start time.time() for _ in range(10): c torch.matmul(a, b) torch.cuda.synchronize() print(f耗时: {time.time() - start:.3f}s)跑这个脚本的同时在另一个终端执行watch -n 0.5 nvidia-smi你能看到 GPU 利用率飙到 90% 以上显存占用明显上升这才说明 GPU 真的在参与计算。如果利用率一直是 0那说明 PyTorch 还在用 CPU 跑得回去查cuda.is_available()。4.2 显存和性能的实测数据参考我在一台 RTX 3060 12GB 的机器上做过对比测试数据供参考。同样的矩阵乘法CPUi7-12700跑一次 10000x10000 的 matmul 大概要 8 到 10 秒GPU 只要 0.15 秒左右差距接近 60 倍。这个倍数会随矩阵规模变化但量级上的差距是稳定的。显存方面10000x10000 的 float32 矩阵单个占 400MB 左右三个矩阵加起来 1.2GB。训练真实模型时显存占用会大得多比如微调一个 7B 参数的大模型即使用 LoRA 这种低秩适配方法显存也要 10GB 起步。所以如果你的显卡是 8GB 显存微调大模型基本没戏只能做推理或者小模型训练。WSL2 的 GPU 性能损耗是我比较关心的问题。实测下来纯计算任务的性能损耗在 5% 以内基本可以忽略。但涉及大量数据传输的任务比如频繁在 CPU 和 GPU 之间拷贝数据损耗会明显一些因为 WSL2 的内存和主机内存之间有一层虚拟化。所以写代码时尽量让数据待在 GPU 上减少来回拷贝。4.3 把训练脚本和数据集放哪最合适WSL2 有个性能陷阱跨文件系统访问很慢。如果你把数据集放在 Windows 的 D 盘然后在 WSL2 里通过/mnt/d/访问读取速度会比放在 WSL2 自己的文件系统里慢好几倍。我实测过同样一个几万张小图片的数据集从/mnt/d/读比从~/data/读慢 3 到 5 倍。所以我的做法是代码和数据都放在 WSL2 的 Linux 文件系统里需要和 Windows 交换文件时再用/mnt/路径。WSL2 的 Linux 文件系统在 Windows 里可以通过\\wsl$\Ubuntu-22.04\这个网络路径访问用 VS Code 的 Remote-WSL 插件可以直接编辑体验很顺。VS Code 的 Remote-WSL 是我强烈推荐的工具它让你在 Windows 上用 VS Code 的界面实际编辑和运行都在 WSL2 里调试 Python 时断点、变量查看全都正常。装好插件后在 WSL2 终端里执行code .就能打开当前目录。5. 常见问题排查与避坑经验5.1 高频报错速查表报错现象可能原因解决方向nvidia-smi报 No devices found主机驱动太老或未装更新 Windows 端 NVIDIA 驱动torch.cuda.is_available()返回 FalseCUDA 与 PyTorch 版本不匹配重装对应 cu 版本的 PyTorchwsl2 尚未准备就绪虚拟机平台未开启开启 Windows 虚拟机平台功能训练时显存莫名不足Windows 端程序占用显存关闭浏览器硬件加速、游戏等/mnt/d/读数据极慢跨文件系统 IO 损耗数据迁移到 WSL2 内部conda: command not foundconda 未初始化执行 conda init 并重开终端CUDA out of memory显存不够或碎片减小 batch size清缓存5.2 几个我踩过的坑第一个坑是驱动版本和 CUDA 版本对不上。有次我主机驱动是 525 版本最高支持 CUDA 12.0但我装了 CUDA 12.1 的 Toolkit结果nvcc能跑但 PyTorch 死活检测不到 GPU。后来把驱动升到 535 才解决。所以装之前一定先看nvidia-smi右上角的版本号。第二个坑是WSL2 的内存占用。WSL2 默认会占用主机最多 50% 的内存如果你主机是 16GBWSL2 能吃到 8GB训练时容易把主机拖卡。可以在 Windows 用户目录下建一个.wslconfig文件限制内存和 CPU[wsl2] memory12GB processors8 swap8GB改完执行wsl --shutdown重启生效。这个配置对大模型训练特别重要因为数据加载和预处理很吃内存。第三个坑是system 进程占用 GPU 高。热词里也提到了这个。这通常是 Windows 的桌面窗口管理器或者某些后台程序在用 GPU不一定是 WSL2 的问题。可以在 Windows 任务管理器的性能标签里看 GPU 占用详情找到具体是哪个进程。如果是 dwm.exe 占用高一般是多显示器或者高刷新率导致的属于正常现象不影响 WSL2 训练。5.3 关于大模型微调和 CUDA 迁移的补充热词里出现了gpu 微调大模型和cuda 迁移这两个是当前很实际的需求。在 WSL2 里微调大模型显存是硬门槛。7B 模型全量微调需要 60GB 以上显存消费级显卡根本不可能所以大家基本都用 LoRA 或者 QLoRA。QLoRA 通过 4bit 量化能把 7B 模型的微调显存压到 10GB 左右RTX 3090 或 4090 可以跑。CUDA 迁移指的是把在别的环境比如云服务器上训练好的代码搬到本地 WSL2 跑。这时候最容易出问题的就是 CUDA 版本差异。我的建议是代码里不要硬编码 CUDA 版本用torch.cuda.is_available()做判断让代码自适应。另外注意torch.cuda.amp混合精度训练在 WSL2 里是正常支持的能省不少显存。6. 让 WSL2 环境更顺手的几个配置6.1 开机自启和常用别名WSL2 不会开机自启每次都要手动开终端。可以在 Windows 的任务计划程序里加一个开机任务执行wsl -d Ubuntu-22.04 -u 用户名。不过说实话我后来觉得没必要因为 WSL2 启动很快几秒钟的事用到再开就行。更实用的是配别名。在.bashrc里加几个alias nvnvidia-smi alias gpuwatchwatch -n 1 nvidia-smi alias actconda activate pytorchgpuwatch这个特别有用训练时开一个终端盯着显存和利用率心里有底。6.2 数据盘和备份策略WSL2 的虚拟磁盘是动态增长的但不会自动收缩。你删了文件vhdx 文件大小不会变小。时间长了磁盘会虚胖。收缩的方法是先wsl --shutdown然后用 diskpart 工具对 vhdx 做 compact。这个操作有风险建议先备份。备份我一般用wsl --export定期导出一次存到移动硬盘。训练好的模型权重单独存到 Windows 盘别只放在 WSL2 里万一虚拟磁盘损坏就全没了。这个教训是我一个朋友的真实经历他跑了三天的模型因为 vhdx 损坏全丢了。6.3 图形界面和视频播放WSLg 让 WSL2 能跑 Linux 图形程序比如你可以装个 Linux 版的浏览器或者播放器。热词里提到的linux 播放视频在 WSL2 里用 mpv 或者 VLC 都能跑但性能一般毕竟图形是转发到 Windows 显示的。日常看视频还是用 Windows 播放器更实在WSL2 的图形界面主要用来跑一些必须图形化的开发工具比如某些可视化调试器。我个人在实际操作中的体会是WSL2 这套环境最大的价值在于降低了 AI 开发的环境门槛让你不用为了跑一个模型去折腾双系统或者买服务器。但它也不是万能的显存受限于物理显卡大模型训练还是得上服务器或者租 GPU。把 WSL2 当成日常开发和小规模实验的主力环境大规模训练再迁移到服务器这个组合是最务实的。最后分享一个小技巧装完环境后把整个配置过程写成一个 shell 脚本存起来换机器或者重装时一键复现能省下大量重复劳动。
1. 为什么要在 Windows 上折腾 WSL2 跑 AI 训练先说结论如果你手头只有一台 Windows 主力机又想跑 PyTorch、CUDA 这套深度学习工具链WSL2 是目前最省心的方案没有之一。我前后在双系统、纯 Linux 服务器、虚拟机、WSL2 这几种环境里都部署过训练环境最后长期留在 WSL2 上原因很实在——它把 Windows 的日常办公体验和 Linux 的 AI 生态缝合到了一起而且 GPU 是直通的不是虚拟化的阉割版。很多人对 WSL2 的印象还停留在一个能跑 bash 的终端这个认知已经过时了。WSL2 本质是一个跑在轻量级虚拟机里的完整 Linux 内核微软自己维护的这个内核专门为 Windows 做了大量适配其中最关键的一项就是GPU 半虚拟化直通GPU paravirtualization。简单说Windows 主机上的 NVIDIA 显卡驱动会通过一套叫 WSLg 和 dxgkrnl 的机制把 GPU 的计算能力暴露给 WSL2 里的 Linux 发行版。你在 WSL2 里执行nvidia-smi看到的不是模拟设备而是真实的物理显卡显存、算力、CUDA 核心全都能用。这件事解决的核心痛点是你不需要在 Windows 和 Linux 之间反复重启切换也不需要为了跑一个训练脚本专门去买云 GPU 或者装双系统。对于做深度学习、大模型微调、CUDA 算子开发、PyTorch 转 ONNX 这类工作的人来说WSL2 让你在同一个桌面环境下完成写代码、调试、训练、看视频摸鱼的全流程。适合谁来参考这篇内容三类人最合适。第一类是刚入门深度学习、手里只有一台带 NVIDIA 显卡的 Windows 笔记本或台式机的同学想搭 PyTorch 环境但被各种 CUDA 版本问题劝退的。第二类是有一定 Linux 基础、但不想放弃 Windows 生态的开发者比如需要用 Windows 上的某些工具链配合 Linux 编译环境的。第三类是做嵌入式 Linux 或者需要频繁验证 Linux 下 CUDA 行为的工程师WSL2 能当半个测试机用。需要提前说清楚的是WSL2 的 GPU 直通目前对 NVIDIA 支持最成熟AMD 和 Intel 显卡的支持在逐步完善但坑还比较多本文主要围绕 NVIDIA CUDA 这条主线展开。另外WSL2 对显存的调用是独占式的训练时 Windows 这边如果同时跑游戏或者视频渲染会抢显存这个后面会细说。2. 环境准备从零把 WSL2 和 Ubuntu 装利索2.1 系统版本和硬件的前置检查动手之前先确认三件事这三件事任何一件不满足后面都会卡住。第一Windows 版本。WSL2 的 GPU 直通功能要求 Windows 10 版本 21H2 及以上或者 Windows 11 任意版本。我强烈建议直接上 Windows 11因为 WSLg图形界面支持在 Win11 上是默认开启的省去很多配置。查看版本的方法是在 PowerShell 里执行winver弹窗里能看到具体版本号。第二显卡驱动。这是最容易踩坑的地方。WSL2 里的 CUDA 不需要你在 Linux 里单独装显卡驱动你只需要在 Windows 主机上装好 NVIDIA 的驱动就行。但注意必须是支持 WSL 的驱动版本太老的驱动不行。去 NVIDIA 官网下载最新的 Game Ready 或者 Studio 驱动都可以安装时选自定义安装确保勾选了 CUDA 相关的组件。装完之后在 Windows 的 PowerShell 里执行nvidia-smi能看到显卡信息就说明主机驱动没问题。第三虚拟化。WSL2 依赖 Windows 的虚拟机平台功能需要在 BIOS 里开启 CPU 虚拟化Intel 的叫 VT-xAMD 的叫 SVM然后在 Windows 功能里勾选虚拟机平台和适用于 Linux 的 Windows 子系统。Win11 上一条命令就能搞定在管理员 PowerShell 里执行wsl --install它会自动帮你开启所需功能并安装 Ubuntu。注意如果你的机器是 AMD 显卡WSL2 的 ROCm 支持目前还在早期阶段很多 PyTorch 的 CUDA 算子跑不了建议先确认自己的需求再折腾。2.2 安装 Ubuntu 22.04 并迁移到非系统盘wsl --install默认装的是 Ubuntu但版本可能不是 22.04。我建议明确指定版本因为 22.04 是目前 AI 生态兼容性最好的 LTS 版本PyTorch、CUDA 的官方文档基本都围绕它写。安装命令是wsl --install -d Ubuntu-22.04。装完之后有个很多人忽略的问题WSL2 的虚拟磁盘默认放在 C 盘路径大概是%LOCALAPPDATA%\Packages\...\LocalState\ext4.vhdx。这个文件会随着你装 CUDA、PyTorch、数据集不断膨胀几十 GB 是常态C 盘紧张的话很快就红了。所以装完第一件事就是把它迁到 D 盘或者其他数据盘。迁移步骤不复杂但顺序不能错。先用wsl --shutdown关掉所有 WSL 实例然后用wsl --export Ubuntu-22.04 D:\wsl\ubuntu2204.tar把整个发行版导出成一个 tar 包。接着wsl --unregister Ubuntu-22.04注销原来的再用wsl --import Ubuntu-22.04 D:\wsl\ubuntu2204 D:\wsl\ubuntu2204.tar --version 2导入到新位置。导入后默认登录用户会变成 root需要改回普通用户方法是编辑/etc/wsl.conf加上[user]段和default你的用户名。这里有个细节导出导入的过程会完整保留你之前装的所有东西所以建议先迁移再装 CUDA否则几十 GB 的 CUDA 工具包搬起来很慢。我自己第一次就是装完 CUDA 才想起来迁移tar 包打了 40 多 GB来回折腾了半小时。2.3 验证 GPU 是否真的直通进来了迁移完成后进入 WSL2 的 Ubuntu第一件事是验证 GPU 直通。执行nvidia-smi如果能看到和 Windows 主机上一样的显卡信息、驱动版本、显存占用说明直通成功。如果报错command not found说明 WSL 里没装 nvidia-smi 这个工具但驱动本身是通的。可以装一个nvidia-utils或者直接从主机复制。更常见的报错是No devices were found这通常是主机驱动版本太老或者没装对回到 Windows 重新装驱动即可。还有一个验证方法是看/dev/dxg这个设备文件是否存在它是 WSL2 GPU 直通的核心设备节点。ls -l /dev/dxg能看到就说明内核层面的直通是好的。实操心得WSL2 里的nvidia-smi显示的显存占用是主机全局的包括 Windows 那边占用的部分。所以如果你在 Windows 上开着浏览器看视频WSL 里训练时显存会莫名其妙少一截排查显存不足时要把这个因素算进去。3. CUDA 与 PyTorch 的版本匹配这一步决定成败3.1 先搞清楚 CUDA 版本的三层关系很多人装 CUDA 装到崩溃根本原因是没理清三个东西的关系显卡驱动支持的 CUDA 版本、你安装的 CUDA Toolkit 版本、PyTorch 编译时依赖的 CUDA 版本。这三者不是一回事但必须兼容。显卡驱动决定的是最高能支持到哪个 CUDA 版本这个信息在nvidia-smi右上角能看到比如显示CUDA Version: 12.4意思是这个驱动最高支持 CUDA 12.4。你装的 CUDA Toolkit 版本必须小于等于这个数。PyTorch 这边更微妙。PyTorch 官方发布的 wheel 包是预编译好、绑定了特定 CUDA 版本的比如torch2.1.0cu121就是绑定 CUDA 12.1 编译的。你本地装的 CUDA Toolkit 版本和 PyTorch 绑定的版本可以不一致因为 PyTorch 自带了一份 CUDA runtime。但为了少出幺蛾子我建议让三者尽量对齐。我的经验是先确定 PyTorch 版本再反推 CUDA 版本最后确认驱动支持。比如你想用 PyTorch 2.1它官方支持 cu118 和 cu121 两个版本那你就装 CUDA 12.1 的 Toolkit然后确认主机驱动支持 12.1 以上。这样最省心。3.2 在 WSL2 里安装 CUDA Toolkit 的正确姿势WSL2 里装 CUDA Toolkit 和普通 Linux 有个关键区别不要装显卡驱动。NVIDIA 官方文档明确说了WSL2 的 CUDA Toolkit 安装要跳过驱动那一步因为驱动由 Windows 主机提供。具体步骤是去 NVIDIA 的 CUDA Toolkit 下载页选择 Linux、x86_64、Ubuntu、22.04、deb(local) 这几个选项它会给你一串命令。但注意那串命令里包含了装驱动的步骤你要手动跳过cuda-drivers相关的包。我一般用 runfile 方式装更可控。下载 runfile 之后执行时加上--toolkit --toolkitpath/usr/local/cuda-12.1参数明确只装 toolkit 不装驱动。装完在~/.bashrc里加上 PATH 和 LD_LIBRARY_PATHexport PATH/usr/local/cuda-12.1/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH然后source ~/.bashrc执行nvcc -V能看到版本信息就成功了。注意WSL2 里不要用apt install nvidia-cuda-toolkit这种方式装Ubuntu 源里的版本往往很老而且可能和主机驱动不匹配。老老实实用 NVIDIA 官方的方式装。3.3 PyTorch 安装conda 还是 pip这是个问题装 PyTorch 有 conda 和 pip 两条路。我的建议是用 conda 管理环境用 pip 装 PyTorch。原因是 conda 装 PyTorch 时经常会把 CUDA runtime 也一起装了导致和你系统里的 CUDA 版本打架而 pip 装的 PyTorch 用的是自带的 CUDA runtime更干净。具体操作是先装 Miniconda然后conda create -n pytorch python3.10建一个环境激活后去 PyTorch 官网拿到对应的 pip 安装命令。比如 CUDA 12.1 对应的命令是pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121装完之后一定要验证别装完就以为好了。验证脚本很简单import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果cuda.is_available()返回 True恭喜你环境通了。如果返回 False八成是 CUDA 版本和 PyTorch 不匹配或者驱动有问题。这里插一句关于热词里提到的conda : 无法将conda项识别这个报错。这通常是因为 conda 没加到 PATH 里或者你在 PowerShell 里直接敲 conda 但没初始化。解决办法是在 conda 安装目录下执行./conda init然后重开终端。WSL2 里用 bash 的话初始化脚本会写进.bashrc一般不会有这个问题。4. 实战跑通第一个 GPU 训练并做性能验证4.1 用一个小例子确认 GPU 真的在干活环境装好不代表 GPU 真的在算。我习惯用一个矩阵乘法的小例子来验证因为它能直观看到 GPU 利用率和显存占用。import torch import time device torch.device(cuda) a torch.randn(10000, 10000, devicedevice) b torch.randn(10000, 10000, devicedevice) # 预热 for _ in range(3): c torch.matmul(a, b) torch.cuda.synchronize() start time.time() for _ in range(10): c torch.matmul(a, b) torch.cuda.synchronize() print(f耗时: {time.time() - start:.3f}s)跑这个脚本的同时在另一个终端执行watch -n 0.5 nvidia-smi你能看到 GPU 利用率飙到 90% 以上显存占用明显上升这才说明 GPU 真的在参与计算。如果利用率一直是 0那说明 PyTorch 还在用 CPU 跑得回去查cuda.is_available()。4.2 显存和性能的实测数据参考我在一台 RTX 3060 12GB 的机器上做过对比测试数据供参考。同样的矩阵乘法CPUi7-12700跑一次 10000x10000 的 matmul 大概要 8 到 10 秒GPU 只要 0.15 秒左右差距接近 60 倍。这个倍数会随矩阵规模变化但量级上的差距是稳定的。显存方面10000x10000 的 float32 矩阵单个占 400MB 左右三个矩阵加起来 1.2GB。训练真实模型时显存占用会大得多比如微调一个 7B 参数的大模型即使用 LoRA 这种低秩适配方法显存也要 10GB 起步。所以如果你的显卡是 8GB 显存微调大模型基本没戏只能做推理或者小模型训练。WSL2 的 GPU 性能损耗是我比较关心的问题。实测下来纯计算任务的性能损耗在 5% 以内基本可以忽略。但涉及大量数据传输的任务比如频繁在 CPU 和 GPU 之间拷贝数据损耗会明显一些因为 WSL2 的内存和主机内存之间有一层虚拟化。所以写代码时尽量让数据待在 GPU 上减少来回拷贝。4.3 把训练脚本和数据集放哪最合适WSL2 有个性能陷阱跨文件系统访问很慢。如果你把数据集放在 Windows 的 D 盘然后在 WSL2 里通过/mnt/d/访问读取速度会比放在 WSL2 自己的文件系统里慢好几倍。我实测过同样一个几万张小图片的数据集从/mnt/d/读比从~/data/读慢 3 到 5 倍。所以我的做法是代码和数据都放在 WSL2 的 Linux 文件系统里需要和 Windows 交换文件时再用/mnt/路径。WSL2 的 Linux 文件系统在 Windows 里可以通过\\wsl$\Ubuntu-22.04\这个网络路径访问用 VS Code 的 Remote-WSL 插件可以直接编辑体验很顺。VS Code 的 Remote-WSL 是我强烈推荐的工具它让你在 Windows 上用 VS Code 的界面实际编辑和运行都在 WSL2 里调试 Python 时断点、变量查看全都正常。装好插件后在 WSL2 终端里执行code .就能打开当前目录。5. 常见问题排查与避坑经验5.1 高频报错速查表报错现象可能原因解决方向nvidia-smi报 No devices found主机驱动太老或未装更新 Windows 端 NVIDIA 驱动torch.cuda.is_available()返回 FalseCUDA 与 PyTorch 版本不匹配重装对应 cu 版本的 PyTorchwsl2 尚未准备就绪虚拟机平台未开启开启 Windows 虚拟机平台功能训练时显存莫名不足Windows 端程序占用显存关闭浏览器硬件加速、游戏等/mnt/d/读数据极慢跨文件系统 IO 损耗数据迁移到 WSL2 内部conda: command not foundconda 未初始化执行 conda init 并重开终端CUDA out of memory显存不够或碎片减小 batch size清缓存5.2 几个我踩过的坑第一个坑是驱动版本和 CUDA 版本对不上。有次我主机驱动是 525 版本最高支持 CUDA 12.0但我装了 CUDA 12.1 的 Toolkit结果nvcc能跑但 PyTorch 死活检测不到 GPU。后来把驱动升到 535 才解决。所以装之前一定先看nvidia-smi右上角的版本号。第二个坑是WSL2 的内存占用。WSL2 默认会占用主机最多 50% 的内存如果你主机是 16GBWSL2 能吃到 8GB训练时容易把主机拖卡。可以在 Windows 用户目录下建一个.wslconfig文件限制内存和 CPU[wsl2] memory12GB processors8 swap8GB改完执行wsl --shutdown重启生效。这个配置对大模型训练特别重要因为数据加载和预处理很吃内存。第三个坑是system 进程占用 GPU 高。热词里也提到了这个。这通常是 Windows 的桌面窗口管理器或者某些后台程序在用 GPU不一定是 WSL2 的问题。可以在 Windows 任务管理器的性能标签里看 GPU 占用详情找到具体是哪个进程。如果是 dwm.exe 占用高一般是多显示器或者高刷新率导致的属于正常现象不影响 WSL2 训练。5.3 关于大模型微调和 CUDA 迁移的补充热词里出现了gpu 微调大模型和cuda 迁移这两个是当前很实际的需求。在 WSL2 里微调大模型显存是硬门槛。7B 模型全量微调需要 60GB 以上显存消费级显卡根本不可能所以大家基本都用 LoRA 或者 QLoRA。QLoRA 通过 4bit 量化能把 7B 模型的微调显存压到 10GB 左右RTX 3090 或 4090 可以跑。CUDA 迁移指的是把在别的环境比如云服务器上训练好的代码搬到本地 WSL2 跑。这时候最容易出问题的就是 CUDA 版本差异。我的建议是代码里不要硬编码 CUDA 版本用torch.cuda.is_available()做判断让代码自适应。另外注意torch.cuda.amp混合精度训练在 WSL2 里是正常支持的能省不少显存。6. 让 WSL2 环境更顺手的几个配置6.1 开机自启和常用别名WSL2 不会开机自启每次都要手动开终端。可以在 Windows 的任务计划程序里加一个开机任务执行wsl -d Ubuntu-22.04 -u 用户名。不过说实话我后来觉得没必要因为 WSL2 启动很快几秒钟的事用到再开就行。更实用的是配别名。在.bashrc里加几个alias nvnvidia-smi alias gpuwatchwatch -n 1 nvidia-smi alias actconda activate pytorchgpuwatch这个特别有用训练时开一个终端盯着显存和利用率心里有底。6.2 数据盘和备份策略WSL2 的虚拟磁盘是动态增长的但不会自动收缩。你删了文件vhdx 文件大小不会变小。时间长了磁盘会虚胖。收缩的方法是先wsl --shutdown然后用 diskpart 工具对 vhdx 做 compact。这个操作有风险建议先备份。备份我一般用wsl --export定期导出一次存到移动硬盘。训练好的模型权重单独存到 Windows 盘别只放在 WSL2 里万一虚拟磁盘损坏就全没了。这个教训是我一个朋友的真实经历他跑了三天的模型因为 vhdx 损坏全丢了。6.3 图形界面和视频播放WSLg 让 WSL2 能跑 Linux 图形程序比如你可以装个 Linux 版的浏览器或者播放器。热词里提到的linux 播放视频在 WSL2 里用 mpv 或者 VLC 都能跑但性能一般毕竟图形是转发到 Windows 显示的。日常看视频还是用 Windows 播放器更实在WSL2 的图形界面主要用来跑一些必须图形化的开发工具比如某些可视化调试器。我个人在实际操作中的体会是WSL2 这套环境最大的价值在于降低了 AI 开发的环境门槛让你不用为了跑一个模型去折腾双系统或者买服务器。但它也不是万能的显存受限于物理显卡大模型训练还是得上服务器或者租 GPU。把 WSL2 当成日常开发和小规模实验的主力环境大规模训练再迁移到服务器这个组合是最务实的。最后分享一个小技巧装完环境后把整个配置过程写成一个 shell 脚本存起来换机器或者重装时一键复现能省下大量重复劳动。
