相关概念GPUGPU是硬件又称独立显卡需要安装显卡驱动GPU Driver才能使用。安装显卡驱动时默认安装CUDA 驱动运行时库CUDA Driver Runtime这是供软件调用 GPU 的底层接口。CUDA并行计算架构标准定义如何用 GPU 进行通用计算。只是一个协议不是具体的软件。CUDA Toolkit实现 CUDA 架构的开发工具集合软件包。包含以下几部分编译器nvcc将CUDA代码编译为GPU可执行代码库如cuBLAScuFFT支持GPU加速的数学计算库开发工具如Nsight调试、性能分析工具CUDA Runtime核心运行依赖负责调度GPU如果只是训练、推理模型无需安装。只有在VS等平台进行CUDA编程时才需要安装。cuDNN基于CUDA的深度学习加速库。安装cuDNN之前必须先安装CUDA Toolkit且二者版本需匹配。安装显卡驱动下载显卡驱动官网下载NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIA输入电脑配置搜索并下载驱动程序按照默认设置安装完成后重启电脑。查看显卡相关信息方法1winr输入cmd打开命令窗口输入nvidia-smi。如下图所示Driver Version显卡驱动版本552.44CUDA Version该显卡驱动支持的最高CUDA版本12.4方法2打开NVIDIA控制面板—帮助—系统信息显卡驱动版本552.44该显卡驱动支持的最高CUDA版本12.4更新显卡驱动卸载原始驱动程序卸载后重建电脑否则无法安装新驱动程序方法1打开电脑的设置—应用卸载原始驱动程序。方法2打开设备管理器选中显卡右键卸载设备。下载并安装新驱动程序。安装CUDA toolkit下载并安装CUDA toolkitCUDA Toolkit Archive | NVIDIA Developer查看是否安装成功在命令行窗口输入nvcc -V如果可以显示版本信息说明安装成功。创建VS工程进行CUDA编码方法1创建新的CUDA工程编码打开Visual Studio新建项目选择下图所示的CUDA Runtime方法2已有工程支持CUDA编码选择工程生成依赖项—生成自定义勾选CUDA。对于CUDA依赖文件VS优先查找CUDA系统环境变量路径次要查找VS项目属性中配置的路径工程中加入后缀是cu的文件右键该文件选择属性—常规—项类型—CUDA C/C此时cu文件才会用CUDA的NVCC编译器编译。否则默认用VS的编译器编译会报错。注意1、经过测试VS2017可以适配cuda12.3cuda12.8。2、cuda工程目录中不能包含中文否则编译会报错3、VS与CUDA尽量不要安装太新的版本容易出现版本兼容性的问题导致编译报错4、下图中CUDA toolkit安装目录下的四个文件会自动拷贝到VS的安装目录下此时才可以在上述方法2中看到CUDA的勾选项。VS2017和VS2022存放这四个文件的路径不同如下所示Microsoft Visual Studio\2017\Professional\Common7\IDE\VC\VCTargets\BuildCustomizationsMicrosoft Visual Studio\2022\Community\MSBuild\Microsoft\VC\v170\BuildCustomizations安装cuDNN下载官网下载地址。注意根据已经安装的CUDA Toolkit 版本选择匹配的cuDNN安装包安装cuDNN安装包就是一个压缩包解压后如下图所示将以上三个文件夹里的内容分别拷贝到CUDA安装目录对应的文件夹中验证是否安装成功网上大部分人按照如下方式验证。本人亲测不安装cuDNN如下方式也能验证通过。所以如下方式不能验证cudnn是否安装成功暂时我也不知道如何验证。找到下图中的两个exe文件。先打开cmd命令窗口然后将这两个文件分别拖动到窗口内执行弹出下列对话框则说明安装成功 。如果在文件夹内直接双击运行则弹框会一闪而过查询CUDA toolkit与显卡驱动的版本对应关系CUDA 12.4 Update 1 Release Notes查询GPU算力CUDA GPUs - Compute Capability | NVIDIA Developer
相关概念GPUGPU是硬件又称独立显卡需要安装显卡驱动GPU Driver才能使用。安装显卡驱动时默认安装CUDA 驱动运行时库CUDA Driver Runtime这是供软件调用 GPU 的底层接口。CUDA并行计算架构标准定义如何用 GPU 进行通用计算。只是一个协议不是具体的软件。CUDA Toolkit实现 CUDA 架构的开发工具集合软件包。包含以下几部分编译器nvcc将CUDA代码编译为GPU可执行代码库如cuBLAScuFFT支持GPU加速的数学计算库开发工具如Nsight调试、性能分析工具CUDA Runtime核心运行依赖负责调度GPU如果只是训练、推理模型无需安装。只有在VS等平台进行CUDA编程时才需要安装。cuDNN基于CUDA的深度学习加速库。安装cuDNN之前必须先安装CUDA Toolkit且二者版本需匹配。安装显卡驱动下载显卡驱动官网下载NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIA输入电脑配置搜索并下载驱动程序按照默认设置安装完成后重启电脑。查看显卡相关信息方法1winr输入cmd打开命令窗口输入nvidia-smi。如下图所示Driver Version显卡驱动版本552.44CUDA Version该显卡驱动支持的最高CUDA版本12.4方法2打开NVIDIA控制面板—帮助—系统信息显卡驱动版本552.44该显卡驱动支持的最高CUDA版本12.4更新显卡驱动卸载原始驱动程序卸载后重建电脑否则无法安装新驱动程序方法1打开电脑的设置—应用卸载原始驱动程序。方法2打开设备管理器选中显卡右键卸载设备。下载并安装新驱动程序。安装CUDA toolkit下载并安装CUDA toolkitCUDA Toolkit Archive | NVIDIA Developer查看是否安装成功在命令行窗口输入nvcc -V如果可以显示版本信息说明安装成功。创建VS工程进行CUDA编码方法1创建新的CUDA工程编码打开Visual Studio新建项目选择下图所示的CUDA Runtime方法2已有工程支持CUDA编码选择工程生成依赖项—生成自定义勾选CUDA。对于CUDA依赖文件VS优先查找CUDA系统环境变量路径次要查找VS项目属性中配置的路径工程中加入后缀是cu的文件右键该文件选择属性—常规—项类型—CUDA C/C此时cu文件才会用CUDA的NVCC编译器编译。否则默认用VS的编译器编译会报错。注意1、经过测试VS2017可以适配cuda12.3cuda12.8。2、cuda工程目录中不能包含中文否则编译会报错3、VS与CUDA尽量不要安装太新的版本容易出现版本兼容性的问题导致编译报错4、下图中CUDA toolkit安装目录下的四个文件会自动拷贝到VS的安装目录下此时才可以在上述方法2中看到CUDA的勾选项。VS2017和VS2022存放这四个文件的路径不同如下所示Microsoft Visual Studio\2017\Professional\Common7\IDE\VC\VCTargets\BuildCustomizationsMicrosoft Visual Studio\2022\Community\MSBuild\Microsoft\VC\v170\BuildCustomizations安装cuDNN下载官网下载地址。注意根据已经安装的CUDA Toolkit 版本选择匹配的cuDNN安装包安装cuDNN安装包就是一个压缩包解压后如下图所示将以上三个文件夹里的内容分别拷贝到CUDA安装目录对应的文件夹中验证是否安装成功网上大部分人按照如下方式验证。本人亲测不安装cuDNN如下方式也能验证通过。所以如下方式不能验证cudnn是否安装成功暂时我也不知道如何验证。找到下图中的两个exe文件。先打开cmd命令窗口然后将这两个文件分别拖动到窗口内执行弹出下列对话框则说明安装成功 。如果在文件夹内直接双击运行则弹框会一闪而过查询CUDA toolkit与显卡驱动的版本对应关系CUDA 12.4 Update 1 Release Notes查询GPU算力CUDA GPUs - Compute Capability | NVIDIA Developer
