1. 环境准备与版本选型背后的逻辑1.1 为什么这套组合至今仍有人在用Ubuntu 18.04 搭配 CUDA 10.2、cuDNN 8 和 TensorRT 6.0这套组合放在今天看确实不算新但我在实际项目里接触到的需求一点都不少。原因很直接大量工业视觉设备、边缘推理盒子、老款计算卡比如 Tesla P4、P40、部分 Quadro 系列的官方驱动支持就停在这个区间很多厂商交付的 SDK 也是按这个版本编译的。你如果贸然升到 CUDA 11 或 12驱动、算子库、推理引擎全得跟着动牵一发动全身。所以这套环境的核心价值在于稳定复现它能让一批已经量产或正在维护的项目继续跑起来而不是追求最新特性。适合谁来参考主要是三类人一是接手了老项目的算法工程师二是需要在旧卡上做推理部署的开发者三是学生或研究者在实验室固定设备上搭环境。如果你手上是 RTX 30 系及以后的卡我建议直接上更新的版本别在这套上折腾。1.2 版本之间的依赖关系必须先理清很多人装这套环境失败根本原因不是命令敲错而是没搞懂三者之间的依赖链。我用一句话概括驱动决定 CUDA 上限CUDA 决定 cuDNN 和 TensorRT 的可用版本。具体来说CUDA 10.2 要求 NVIDIA 驱动版本不低于 440.33。cuDNN 8 是分小版本对应 CUDA 的比如 cuDNN 8.0.x 和 8.1.x 都支持 CUDA 10.2但你不能拿 cuDNN 8.5 去配 CUDA 10.2那个组合官方根本没测过。TensorRT 6.0 则更挑剔它明确要求 CUDA 10.2 加 cuDNN 7.6.5 或 8.0这里就有个坑TensorRT 6.0 官方文档写的是配 cuDNN 7.6.5但实测 cuDNN 8.0 也能跑只是个别层可能报 warning。我整理了一张对照表装机前先对一遍能省掉后面一半的排查时间组件推荐版本最低驱动要求关键约束NVIDIA 驱动440.33 及以上-决定 CUDA 上限CUDA10.2 (10.2.89)440.33需与驱动匹配cuDNN8.0.5-必须匹配 CUDA 10.2TensorRT6.0.1.5-依赖 CUDA 10.2 cuDNN提示装之前先用nvidia-smi看驱动版本再用nvcc --version看是否已有 CUDA。如果机器上已经装了别的 CUDA 版本别急着删后面我会讲多版本共存的处理方式。1.3 系统层面的前置检查Ubuntu 18.04 默认的 GCC 版本是 7.5这个版本编译 CUDA 10.2 是没问题的。但如果你之前手动升过 GCC 到 9 或更高编译时会报 unsupported GNU version 的错。我遇到过好几次都是因为系统里装了新版 GCC 但没切换回来。装之前建议做三件事第一确认内核头文件齐全sudo apt install linux-headers-$(uname -r)否则驱动装到一半会失败第二关掉 Nouveau 驱动这是 NVIDIA 开源驱动的替代品不关掉会冲突第三预留至少 15GB 磁盘空间CUDA 加 cuDNN 加 TensorRT 解压后体积不小。关 Nouveau 的方法我习惯用黑名单方式在/etc/modprobe.d/blacklist-nouveau.conf里写入两行然后sudo update-initramfs -u更新重启后lsmod | grep nouveau没有输出就说明关掉了。这一步看着简单但漏掉的话后面装驱动会直接黑屏新手很容易卡在这。2. 驱动与 CUDA 10.2 的安装实操2.1 驱动安装runfile 还是 apt驱动安装有两条路apt 源安装和官方 runfile 安装。我的经验是如果你只是要跑 CUDA用 apt 装nvidia-driver-440最省事它会自动处理依赖和内核模块编译。但如果你需要精确控制驱动版本或者 apt 源里没有你要的版本那就得用 runfile。runfile 安装的坑在于它会和 apt 的驱动管理打架。我踩过的坑是先用 apt 装了驱动又用 runfile 装了一遍结果nvidia-smi报版本不匹配。解决办法是装 runfile 前先sudo apt purge nvidia-*清干净再禁用 Nouveau然后进 tty 模式CtrlAltF3关掉图形界面再装。具体命令我列一下runfile 方式sudo apt purge nvidia-* -y sudo apt autoremove -y sudo telinit 3 chmod x NVIDIA-Linux-x86_64-440.33.01.run sudo ./NVIDIA-Linux-x86_64-440.33.01.run --no-opengl-files--no-opengl-files这个参数很关键它避免覆盖系统的 OpenGL 库否则装完可能进不了桌面。装完sudo telinit 5回到图形界面nvidia-smi能正常输出就成功了。2.2 CUDA 10.2 安装与路径配置CUDA 10.2 我推荐用 runfile 安装因为可以自定义组件不装那些用不上的东西。下载cuda_10.2.89_440.33.01_linux.run后执行sudo sh cuda_10.2.89_440.33.01_linux.run安装过程中有个关键选择Driver 那一项要取消勾选因为驱动我们已经单独装过了重复装会冲突。其他组件按需勾选如果你不做图形开发OpenGL 相关的也可以不装。装完后配置环境变量编辑~/.bashrcexport PATH/usr/local/cuda-10.2/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-10.2/lib64:$LD_LIBRARY_PATH export CUDA_HOME/usr/local/cuda-10.2这里有个细节/usr/local/cuda是个软链接指向具体版本。如果你机器上有多个 CUDA切换版本就是改这个软链接指向。我习惯在.bashrc里直接写死具体版本路径避免软链接被别的安装程序改掉。验证安装nvcc --version应该输出 10.2.89然后编译一个 samples 里的 deviceQuery 跑一下能看到显卡信息就说明 CUDA 通了。2.3 多版本 CUDA 共存的切换技巧实际项目里经常需要多个 CUDA 版本共存比如一个项目要 10.2另一个要 11.3。我的做法是每个版本装到独立目录然后写个切换脚本#!/bin/bash # switch_cuda.sh export CUDA_HOME/usr/local/cuda-$1 export PATH$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH$CUDA_HOME/lib64:$LD_LIBRARY_PATH echo Switched to CUDA $1用的时候source switch_cuda.sh 10.2就行。注意这个脚本只在当前终端生效新开终端要重新 source。如果你想让某个项目固定用某个版本可以在项目的启动脚本里 source 一次比全局改环境变量安全得多。注意切换 CUDA 版本后cuDNN 和 TensorRT 的库路径也要跟着切因为它们和 CUDA 是绑定的。我一般把 cuDNN 和 TensorRT 的库也放到对应 CUDA 版本的目录下切换时一起切。3. cuDNN 8 与 TensorRT 6.0 的部署细节3.1 cuDNN 8 的安装与验证cuDNN 的安装本质就是拷贝文件但拷贝的位置和权限有讲究。下载cudnn-10.2-linux-x64-v8.0.5.39.tgz后解压会得到cuda目录里面是include和lib64。标准做法是sudo cp cuda/include/cudnn*.h /usr/local/cuda-10.2/include sudo cp cuda/lib64/libcudnn* /usr/local/cuda-10.2/lib64 sudo chmod ar /usr/local/cuda-10.2/include/cudnn*.h sudo chmod ar /usr/local/cuda-10.2/lib64/libcudnn*验证 cuDNN 版本可以用cat /usr/local/cuda-10.2/include/cudnn_version.h | grep CUDNN_MAJOR -A 2这里有个坑cuDNN 8 之后头文件从cudnn.h变成了cudnn_version.h如果你按老教程去 grepcudnn.h会找不到。我第一次装的时候还以为装错了折腾了半天。另一个常见问题是权限。拷贝完如果没加读权限编译时链接会报 permission denied。我习惯拷贝完统一chmod ar省得后面出问题。3.2 TensorRT 6.0 的 tar 包部署TensorRT 6.0 我推荐用 tar 包安装比 deb 包灵活不污染系统库。下载TensorRT-6.0.1.5.Ubuntu-18.04.x86_64-gnu.cuda-10.2.cudnn7.6.tar.gz后解压到某个目录比如/opt/TensorRT-6.0.1.5。然后配置环境变量export LD_LIBRARY_PATH/opt/TensorRT-6.0.1.5/lib:$LD_LIBRARY_PATH export PATH/opt/TensorRT-6.0.1.5/bin:$PATHTensorRT 的 Python 接口需要单独装 whl 包在python目录下cd /opt/TensorRT-6.0.1.5/python pip install tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl注意 whl 包对应 Python 版本Ubuntu 18.04 默认 Python 3.6如果你用 conda 建了别的版本环境要选对应的 whl。我见过有人拿 cp36 的包往 Python 3.8 环境里装报错还找不到原因。验证 TensorRT 是否可用import tensorrt as trt print(trt.__version__)能打印出 6.0.1.5 就说明 Python 接口通了。C 接口的话编译时记得加-I/opt/TensorRT-6.0.1.5/include -L/opt/TensorRT-6.0.1.5/lib -lnvinfer。3.3 三者联调的验证方法装完三个组件别急着跑项目先做个联调验证。我一般写个小脚本用 TensorRT 加载一个简单的 ONNX 模型走一遍推理流程。如果 cuDNN 或 CUDA 有问题这一步就会暴露。验证顺序建议是先nvidia-smi确认驱动再nvcc --version确认 CUDA然后跑一个 cuDNN 的 sample比如mnistCUDNN最后跑 TensorRT 的 samplesample_mnist。逐层验证的好处是出问题能快速定位是哪一层的事不用大海捞针。提示TensorRT 6.0 的 sample 在samples目录下需要先make编译。编译时如果报找不到cudnn.h检查 cuDNN 头文件路径是否在 include 搜索路径里。4. 常见问题排查与避坑经验4.1 安装阶段的典型报错我把这些年遇到的报错整理成了一张速查表基本覆盖了 90% 的情况报错信息根本原因解决办法unsupported GNU versionGCC 版本过高切换 GCC 到 7.5 或加-allow-unsupported-compilernvidia-smi无输出驱动未装或 Nouveau 未关检查驱动安装禁用 Nouveaulibcudnn.so not foundLD_LIBRARY_PATH 未配添加 cuDNN 库路径到环境变量undefined reference to cudnnXXX链接时未加 cuDNN 库编译加-lcudnnTensorRT 加载模型失败版本不匹配确认模型是用对应版本工具生成的GCC 版本问题我单独说下。Ubuntu 18.04 默认 GCC 7.5但如果你装了build-essential之外的东西可能把 GCC 升上去了。查看当前版本gcc --version如果高于 8用sudo update-alternatives --config gcc切回 7。CUDA 10.2 对 GCC 8 的支持是实验性的能不用就不用。4.2 运行阶段的性能与稳定性问题装好只是第一步跑起来之后还有一堆坑。最常见的是显存不足。TensorRT 6.0 默认会占用较多显存做 workspace如果你的卡显存小比如 4GB加载大模型时可能 OOM。解决办法是在构建 engine 时限制 workspace 大小config.max_workspace_size 1 30 # 1GB另一个问题是推理结果不稳定。我遇到过同一张图两次推理结果不一致的情况排查下来是 cuDNN 的算法选择模式导致的。cuDNN 默认用CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_PRECOMP_GEMM这个算法在某些输入尺寸下会有数值差异。如果对结果一致性要求高可以固定算法或者用CUDNN_DETERMINISTIC模式。还有个隐蔽的坑是多线程推理。TensorRT 的 engine 不是线程安全的多个线程同时用一个 engine 会崩。正确做法是每个线程创建独立的 execution contextengine 本身可以共享。这个在官方文档里写得比较隐晦我是踩了坑才知道的。4.3 环境变量与库路径的排查思路环境变量问题是这套环境里最烦人的因为报错信息往往不直接指向根因。我的排查思路是从下往上查先确认库文件存在再确认路径在环境变量里最后确认程序能找到。具体命令# 查库文件是否存在 find /usr/local -name libcudnn* # 查环境变量 echo $LD_LIBRARY_PATH # 查程序实际链接的库 ldd your_program | grep cudnnldd这个命令特别好用它能告诉你程序运行时实际加载的是哪个路径的库。我遇到过系统里有两份 cuDNN程序加载了旧的那份用ldd一看就发现了。注意修改LD_LIBRARY_PATH后要重新登录或者source ~/.bashrc才生效。如果你在同一个终端里改了又跑程序记得先 source。5. 实操心得与后续扩展建议5.1 我踩过的几个印象深刻的坑第一个坑是装完 CUDA 后桌面进不去。原因是 runfile 安装时没加--no-opengl-files覆盖了系统 OpenGL 库。解决办法是进 recovery 模式重装驱动或者用--no-opengl-files重装 CUDA。这个坑我踩过一次就记住了现在每次装都先确认这个参数。第二个坑是cuDNN 版本和 TensorRT 不匹配。有次我图省事用了 cuDNN 8.1结果 TensorRT 6.0 加载模型时报CUDNN_STATUS_NOT_SUPPORTED。换回 8.0.5 就好了。所以版本对照表不是摆设该对还得对。第三个坑是Python 环境混乱。系统 Python、conda 环境、virtualenv 混着用导致 TensorRT 的 whl 包装到了 A 环境跑代码却在 B 环境。现在我习惯每个项目独立 conda 环境装之前先which python确认路径。5.2 这套环境的性能调优空间装好只是能用想用好还得调。TensorRT 6.0 支持 FP16 和 INT8 量化如果你的卡支持P4、P40 都支持 FP16开启后推理速度能提升不少。开启方式是在构建 engine 时设置config.set_flag(trt.BuilderFlag.FP16)INT8 更激进但需要校准数据集精度损失也更大适合对速度极度敏感、对精度容忍度高的场景。我一般先用 FP16不够再考虑 INT8。另外TensorRT 的 engine 是跟硬件绑定的在 A 卡上生成的 engine 不能直接拿到 B 卡上用。如果你要部署到多台设备要么每台单独生成要么用 ONNX 在目标设备上现场构建。这个特性很多人不知道跨设备部署时容易翻车。5.3 后续升级或迁移的注意事项如果哪天你要从这套环境升级到更新的版本我的建议是别在原环境上直接升而是新建一个环境并行跑一段时间。CUDA 大版本升级往往伴随 API 变化TensorRT 的 API 在 7.0 之后也有较大调整直接升容易把老项目搞崩。迁移时优先确认三件事驱动是否支持新 CUDA、cuDNN 是否有对应版本、TensorRT 的 API 改动是否影响你的代码。我一般会先在测试机上跑通再动生产环境。这套 10.2 的环境虽然老但只要硬件还支持继续用着完全没问题没必要为了新而新。最后分享一个小技巧把这套环境的安装步骤写成一个 shell 脚本下次装新机器直接跑脚本比手动敲命令快得多也不容易漏步骤。脚本里加上版本检查和错误退出能省掉大量重复劳动。
1. 环境准备与版本选型背后的逻辑1.1 为什么这套组合至今仍有人在用Ubuntu 18.04 搭配 CUDA 10.2、cuDNN 8 和 TensorRT 6.0这套组合放在今天看确实不算新但我在实际项目里接触到的需求一点都不少。原因很直接大量工业视觉设备、边缘推理盒子、老款计算卡比如 Tesla P4、P40、部分 Quadro 系列的官方驱动支持就停在这个区间很多厂商交付的 SDK 也是按这个版本编译的。你如果贸然升到 CUDA 11 或 12驱动、算子库、推理引擎全得跟着动牵一发动全身。所以这套环境的核心价值在于稳定复现它能让一批已经量产或正在维护的项目继续跑起来而不是追求最新特性。适合谁来参考主要是三类人一是接手了老项目的算法工程师二是需要在旧卡上做推理部署的开发者三是学生或研究者在实验室固定设备上搭环境。如果你手上是 RTX 30 系及以后的卡我建议直接上更新的版本别在这套上折腾。1.2 版本之间的依赖关系必须先理清很多人装这套环境失败根本原因不是命令敲错而是没搞懂三者之间的依赖链。我用一句话概括驱动决定 CUDA 上限CUDA 决定 cuDNN 和 TensorRT 的可用版本。具体来说CUDA 10.2 要求 NVIDIA 驱动版本不低于 440.33。cuDNN 8 是分小版本对应 CUDA 的比如 cuDNN 8.0.x 和 8.1.x 都支持 CUDA 10.2但你不能拿 cuDNN 8.5 去配 CUDA 10.2那个组合官方根本没测过。TensorRT 6.0 则更挑剔它明确要求 CUDA 10.2 加 cuDNN 7.6.5 或 8.0这里就有个坑TensorRT 6.0 官方文档写的是配 cuDNN 7.6.5但实测 cuDNN 8.0 也能跑只是个别层可能报 warning。我整理了一张对照表装机前先对一遍能省掉后面一半的排查时间组件推荐版本最低驱动要求关键约束NVIDIA 驱动440.33 及以上-决定 CUDA 上限CUDA10.2 (10.2.89)440.33需与驱动匹配cuDNN8.0.5-必须匹配 CUDA 10.2TensorRT6.0.1.5-依赖 CUDA 10.2 cuDNN提示装之前先用nvidia-smi看驱动版本再用nvcc --version看是否已有 CUDA。如果机器上已经装了别的 CUDA 版本别急着删后面我会讲多版本共存的处理方式。1.3 系统层面的前置检查Ubuntu 18.04 默认的 GCC 版本是 7.5这个版本编译 CUDA 10.2 是没问题的。但如果你之前手动升过 GCC 到 9 或更高编译时会报 unsupported GNU version 的错。我遇到过好几次都是因为系统里装了新版 GCC 但没切换回来。装之前建议做三件事第一确认内核头文件齐全sudo apt install linux-headers-$(uname -r)否则驱动装到一半会失败第二关掉 Nouveau 驱动这是 NVIDIA 开源驱动的替代品不关掉会冲突第三预留至少 15GB 磁盘空间CUDA 加 cuDNN 加 TensorRT 解压后体积不小。关 Nouveau 的方法我习惯用黑名单方式在/etc/modprobe.d/blacklist-nouveau.conf里写入两行然后sudo update-initramfs -u更新重启后lsmod | grep nouveau没有输出就说明关掉了。这一步看着简单但漏掉的话后面装驱动会直接黑屏新手很容易卡在这。2. 驱动与 CUDA 10.2 的安装实操2.1 驱动安装runfile 还是 apt驱动安装有两条路apt 源安装和官方 runfile 安装。我的经验是如果你只是要跑 CUDA用 apt 装nvidia-driver-440最省事它会自动处理依赖和内核模块编译。但如果你需要精确控制驱动版本或者 apt 源里没有你要的版本那就得用 runfile。runfile 安装的坑在于它会和 apt 的驱动管理打架。我踩过的坑是先用 apt 装了驱动又用 runfile 装了一遍结果nvidia-smi报版本不匹配。解决办法是装 runfile 前先sudo apt purge nvidia-*清干净再禁用 Nouveau然后进 tty 模式CtrlAltF3关掉图形界面再装。具体命令我列一下runfile 方式sudo apt purge nvidia-* -y sudo apt autoremove -y sudo telinit 3 chmod x NVIDIA-Linux-x86_64-440.33.01.run sudo ./NVIDIA-Linux-x86_64-440.33.01.run --no-opengl-files--no-opengl-files这个参数很关键它避免覆盖系统的 OpenGL 库否则装完可能进不了桌面。装完sudo telinit 5回到图形界面nvidia-smi能正常输出就成功了。2.2 CUDA 10.2 安装与路径配置CUDA 10.2 我推荐用 runfile 安装因为可以自定义组件不装那些用不上的东西。下载cuda_10.2.89_440.33.01_linux.run后执行sudo sh cuda_10.2.89_440.33.01_linux.run安装过程中有个关键选择Driver 那一项要取消勾选因为驱动我们已经单独装过了重复装会冲突。其他组件按需勾选如果你不做图形开发OpenGL 相关的也可以不装。装完后配置环境变量编辑~/.bashrcexport PATH/usr/local/cuda-10.2/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-10.2/lib64:$LD_LIBRARY_PATH export CUDA_HOME/usr/local/cuda-10.2这里有个细节/usr/local/cuda是个软链接指向具体版本。如果你机器上有多个 CUDA切换版本就是改这个软链接指向。我习惯在.bashrc里直接写死具体版本路径避免软链接被别的安装程序改掉。验证安装nvcc --version应该输出 10.2.89然后编译一个 samples 里的 deviceQuery 跑一下能看到显卡信息就说明 CUDA 通了。2.3 多版本 CUDA 共存的切换技巧实际项目里经常需要多个 CUDA 版本共存比如一个项目要 10.2另一个要 11.3。我的做法是每个版本装到独立目录然后写个切换脚本#!/bin/bash # switch_cuda.sh export CUDA_HOME/usr/local/cuda-$1 export PATH$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH$CUDA_HOME/lib64:$LD_LIBRARY_PATH echo Switched to CUDA $1用的时候source switch_cuda.sh 10.2就行。注意这个脚本只在当前终端生效新开终端要重新 source。如果你想让某个项目固定用某个版本可以在项目的启动脚本里 source 一次比全局改环境变量安全得多。注意切换 CUDA 版本后cuDNN 和 TensorRT 的库路径也要跟着切因为它们和 CUDA 是绑定的。我一般把 cuDNN 和 TensorRT 的库也放到对应 CUDA 版本的目录下切换时一起切。3. cuDNN 8 与 TensorRT 6.0 的部署细节3.1 cuDNN 8 的安装与验证cuDNN 的安装本质就是拷贝文件但拷贝的位置和权限有讲究。下载cudnn-10.2-linux-x64-v8.0.5.39.tgz后解压会得到cuda目录里面是include和lib64。标准做法是sudo cp cuda/include/cudnn*.h /usr/local/cuda-10.2/include sudo cp cuda/lib64/libcudnn* /usr/local/cuda-10.2/lib64 sudo chmod ar /usr/local/cuda-10.2/include/cudnn*.h sudo chmod ar /usr/local/cuda-10.2/lib64/libcudnn*验证 cuDNN 版本可以用cat /usr/local/cuda-10.2/include/cudnn_version.h | grep CUDNN_MAJOR -A 2这里有个坑cuDNN 8 之后头文件从cudnn.h变成了cudnn_version.h如果你按老教程去 grepcudnn.h会找不到。我第一次装的时候还以为装错了折腾了半天。另一个常见问题是权限。拷贝完如果没加读权限编译时链接会报 permission denied。我习惯拷贝完统一chmod ar省得后面出问题。3.2 TensorRT 6.0 的 tar 包部署TensorRT 6.0 我推荐用 tar 包安装比 deb 包灵活不污染系统库。下载TensorRT-6.0.1.5.Ubuntu-18.04.x86_64-gnu.cuda-10.2.cudnn7.6.tar.gz后解压到某个目录比如/opt/TensorRT-6.0.1.5。然后配置环境变量export LD_LIBRARY_PATH/opt/TensorRT-6.0.1.5/lib:$LD_LIBRARY_PATH export PATH/opt/TensorRT-6.0.1.5/bin:$PATHTensorRT 的 Python 接口需要单独装 whl 包在python目录下cd /opt/TensorRT-6.0.1.5/python pip install tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl注意 whl 包对应 Python 版本Ubuntu 18.04 默认 Python 3.6如果你用 conda 建了别的版本环境要选对应的 whl。我见过有人拿 cp36 的包往 Python 3.8 环境里装报错还找不到原因。验证 TensorRT 是否可用import tensorrt as trt print(trt.__version__)能打印出 6.0.1.5 就说明 Python 接口通了。C 接口的话编译时记得加-I/opt/TensorRT-6.0.1.5/include -L/opt/TensorRT-6.0.1.5/lib -lnvinfer。3.3 三者联调的验证方法装完三个组件别急着跑项目先做个联调验证。我一般写个小脚本用 TensorRT 加载一个简单的 ONNX 模型走一遍推理流程。如果 cuDNN 或 CUDA 有问题这一步就会暴露。验证顺序建议是先nvidia-smi确认驱动再nvcc --version确认 CUDA然后跑一个 cuDNN 的 sample比如mnistCUDNN最后跑 TensorRT 的 samplesample_mnist。逐层验证的好处是出问题能快速定位是哪一层的事不用大海捞针。提示TensorRT 6.0 的 sample 在samples目录下需要先make编译。编译时如果报找不到cudnn.h检查 cuDNN 头文件路径是否在 include 搜索路径里。4. 常见问题排查与避坑经验4.1 安装阶段的典型报错我把这些年遇到的报错整理成了一张速查表基本覆盖了 90% 的情况报错信息根本原因解决办法unsupported GNU versionGCC 版本过高切换 GCC 到 7.5 或加-allow-unsupported-compilernvidia-smi无输出驱动未装或 Nouveau 未关检查驱动安装禁用 Nouveaulibcudnn.so not foundLD_LIBRARY_PATH 未配添加 cuDNN 库路径到环境变量undefined reference to cudnnXXX链接时未加 cuDNN 库编译加-lcudnnTensorRT 加载模型失败版本不匹配确认模型是用对应版本工具生成的GCC 版本问题我单独说下。Ubuntu 18.04 默认 GCC 7.5但如果你装了build-essential之外的东西可能把 GCC 升上去了。查看当前版本gcc --version如果高于 8用sudo update-alternatives --config gcc切回 7。CUDA 10.2 对 GCC 8 的支持是实验性的能不用就不用。4.2 运行阶段的性能与稳定性问题装好只是第一步跑起来之后还有一堆坑。最常见的是显存不足。TensorRT 6.0 默认会占用较多显存做 workspace如果你的卡显存小比如 4GB加载大模型时可能 OOM。解决办法是在构建 engine 时限制 workspace 大小config.max_workspace_size 1 30 # 1GB另一个问题是推理结果不稳定。我遇到过同一张图两次推理结果不一致的情况排查下来是 cuDNN 的算法选择模式导致的。cuDNN 默认用CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_PRECOMP_GEMM这个算法在某些输入尺寸下会有数值差异。如果对结果一致性要求高可以固定算法或者用CUDNN_DETERMINISTIC模式。还有个隐蔽的坑是多线程推理。TensorRT 的 engine 不是线程安全的多个线程同时用一个 engine 会崩。正确做法是每个线程创建独立的 execution contextengine 本身可以共享。这个在官方文档里写得比较隐晦我是踩了坑才知道的。4.3 环境变量与库路径的排查思路环境变量问题是这套环境里最烦人的因为报错信息往往不直接指向根因。我的排查思路是从下往上查先确认库文件存在再确认路径在环境变量里最后确认程序能找到。具体命令# 查库文件是否存在 find /usr/local -name libcudnn* # 查环境变量 echo $LD_LIBRARY_PATH # 查程序实际链接的库 ldd your_program | grep cudnnldd这个命令特别好用它能告诉你程序运行时实际加载的是哪个路径的库。我遇到过系统里有两份 cuDNN程序加载了旧的那份用ldd一看就发现了。注意修改LD_LIBRARY_PATH后要重新登录或者source ~/.bashrc才生效。如果你在同一个终端里改了又跑程序记得先 source。5. 实操心得与后续扩展建议5.1 我踩过的几个印象深刻的坑第一个坑是装完 CUDA 后桌面进不去。原因是 runfile 安装时没加--no-opengl-files覆盖了系统 OpenGL 库。解决办法是进 recovery 模式重装驱动或者用--no-opengl-files重装 CUDA。这个坑我踩过一次就记住了现在每次装都先确认这个参数。第二个坑是cuDNN 版本和 TensorRT 不匹配。有次我图省事用了 cuDNN 8.1结果 TensorRT 6.0 加载模型时报CUDNN_STATUS_NOT_SUPPORTED。换回 8.0.5 就好了。所以版本对照表不是摆设该对还得对。第三个坑是Python 环境混乱。系统 Python、conda 环境、virtualenv 混着用导致 TensorRT 的 whl 包装到了 A 环境跑代码却在 B 环境。现在我习惯每个项目独立 conda 环境装之前先which python确认路径。5.2 这套环境的性能调优空间装好只是能用想用好还得调。TensorRT 6.0 支持 FP16 和 INT8 量化如果你的卡支持P4、P40 都支持 FP16开启后推理速度能提升不少。开启方式是在构建 engine 时设置config.set_flag(trt.BuilderFlag.FP16)INT8 更激进但需要校准数据集精度损失也更大适合对速度极度敏感、对精度容忍度高的场景。我一般先用 FP16不够再考虑 INT8。另外TensorRT 的 engine 是跟硬件绑定的在 A 卡上生成的 engine 不能直接拿到 B 卡上用。如果你要部署到多台设备要么每台单独生成要么用 ONNX 在目标设备上现场构建。这个特性很多人不知道跨设备部署时容易翻车。5.3 后续升级或迁移的注意事项如果哪天你要从这套环境升级到更新的版本我的建议是别在原环境上直接升而是新建一个环境并行跑一段时间。CUDA 大版本升级往往伴随 API 变化TensorRT 的 API 在 7.0 之后也有较大调整直接升容易把老项目搞崩。迁移时优先确认三件事驱动是否支持新 CUDA、cuDNN 是否有对应版本、TensorRT 的 API 改动是否影响你的代码。我一般会先在测试机上跑通再动生产环境。这套 10.2 的环境虽然老但只要硬件还支持继续用着完全没问题没必要为了新而新。最后分享一个小技巧把这套环境的安装步骤写成一个 shell 脚本下次装新机器直接跑脚本比手动敲命令快得多也不容易漏步骤。脚本里加上版本检查和错误退出能省掉大量重复劳动。
