这篇教程解决一个很实在的问题很多玩材料计算的同学拿到VASP 5.4.1源码包之后卡在编译环境上网上的资料零零散散要么只讲GCC要么直接让你用Intel MPI很少有人把CentOS Intel编译器 OpenMPI FFTW这条完整链路讲透。这篇不聊物理和算法只聊怎么把VASP 5.4.1在CentOS上编译出一个能稳定并行跑起来的可执行文件。适合刚开始接触第一性原理计算、或者需要自己维护计算服务器的新手参考也适合被makefile折腾到想摔键盘的老玩家快速查错。1. 整体思路为什么是Intel编译器 OpenMPI FFTW这套组合1.1 为什么优先选择Intel编译器VASP的核心代码是Fortran写的而且极度依赖计算性能。同一台机器用GCC和Intel编译器编译出来的VASP跑同一个小体系最终单步耗时能差出百分之二三十这在高通量计算里是不可忽略的成本。Intel编译器对x86平台的内存布局、向量化指令调度、循环展开做过多轮针对性优化尤其配合Intel MKL数学库能把BLAS、LAPACK、ScaLAPACK这些基础线性代数操作压到很低的延迟。另外一个现实原因是VASP 5.4.1这个版本发布年代较早它编译时对编译器行为很敏感Intel的ifort在Fortran标准支持和ABI兼容性上更稳。VASP官方也一直把Intel编译器作为主要支持对象。所以只要不是非要追求GCC全家桶用Intel编译器是最少踩坑的路。1.2 为什么还要再单独编译一个OpenMPI很多教程一上来就推荐Intel MPI因为MKL里默认的BLACS库可以和Intel MPI无缝配合少调一个OpenMPI编译参数。但问题是不少课题组现有的管理系统、作业调度脚本、其他第三方软件都是基于OpenMPI部署的如果VASP单独用Intel MPI那环境就割裂了后面做跨软件联调很痛苦。OpenMPI开箱即用社区活跃问题排查资料也多。所以这套方案的核心设计就是用Intel编译器去编译OpenMPI再用OpenMPI的mpifort包装器去编译VASP最后链接MKL数学库和独立的FFTW库。关键点在于“用Intel编译器编译OpenMPI”这一步很多教程忽略了它直接拿系统自带的OpenMPI顶上去结果VASP编译时Fortran模块ABI对不上编译出来也能跑但容易在运行中途出现莫名奇妙的SIGSEGV。1.3 整条编译链路依赖顺序大概是这样系统基础环境 → Intel oneAPI编译器 → OpenMPI → FFTW → VASP。先装编译器再编译OpenMPI最后编VASP。这个顺序不能乱。如果先编译OpenMPI、后装Intel编译器OpenMPI里的fortran wrapper可能没有正确绑定到ifort后面VASP编译时调用mpifort却连上gfortran编译错误五花八门查起来非常头痛。2. 环境准备从裸CentOS到编译条件就绪2.1 CentOS系统基础依赖我用的是CentOS 7.9作为基准环境CentOS 8/9的流程也差不多。首先确保一些基础工具已经装好sudo yum update -y sudo yum install -y gcc gcc-c make perl wget tar gzip这里gcc不是给VASP用而是OpenMPI在configure阶段需要C编译器做检测以及后续编译一些辅助工具时会用到。还需要libevent和hwloc这是OpenMPI运行时的底层依赖sudo yum install -y libevent-devel hwloc-devel另外把堆栈限制打开VASP跑基于MPI的并行任务时默认8MB的stack经常不够用ulimit -s unlimited这个设置最好写入/etc/security/limits.conf或者当前用户的~/.bashrc里否则每次重启终端都要重新设。2.2 安装Intel oneAPI编译器与MKLIntel现在已经把编译器套件整合到oneAPI里了基础工具链可以直接从官网下载。需要安装Base Toolkit和HPC Toolkit里面包含ifort、icpc、MKL。下载完安装脚本后用命令行方式装sudo sh ./l_BaseKit_p_*.sh -a --silent --eula accept sudo sh ./l_HPCKit_p_*.sh -a --silent --eula accept装完之后环境变量默认在/opt/intel/oneapi/setvars.sh。每次编译前都要加载source /opt/intel/oneapi/setvars.sh intel64然后验证which ifort which mklvars.sh看到路径就说明环境生效了。有一点要提醒比较新的oneAPI版本里Intel已经把主推方向转移到ifx上ifort作为兼容包还会保留一段时间但VASP 5.4.1这个老代码对ifx的支持并不友好建议用ifort。如果发现自己的oneAPI里没有ifort可以直接用Intel Parallel Studio XE 2020 Update 3左右的版本它自带成熟的ifort和VASP 5.4.1磨合得比较好。2.3 用ifort编译OpenMPI这里是我踩过最多坑的一步。OpenMPI的版本不是越新越好VASP 5.4.1年代老不建议选5.x以上。经过反复测试OpenMPI 3.1.x系列是稳妥选择4.0.x也能用但5.x系列因为PMIx接口和运行时的变化容易出现编译通过但运行启动就挂的情况。下载好OpenMPI 3.1.6源码包后解压并配置tar -xzf openmpi-3.1.6.tar.gz cd openmpi-3.1.6 ./configure --prefix/opt/openmpi \ CCicc CXXicpc \ F77ifort FCifort \ --enable-mpi-fortranboth \ --disable-cuda这里重点解释几个参数CCicc CXXicpc F77ifort FCifort让OpenMPI的编译器和包装器都绑定到Intel工具链上这样后面mpifort调用时默认就是ifort。--enable-mpi-fortranboth同时生成Fortran 77和Fortran 90模块接口VASP大量使用Fortran 90如果没有这个选项后续会报找不到mpi.mod。--disable-cuda普通CPU版本不需要CUDA支持可以避免依赖检测带来的麻烦。配置完成后编译安装make -j8 sudo make install安装完成后编辑/etc/profile.d/openmpi.sh把OpenMPI加入PATH和LD_LIBRARY_PATHexport PATH/opt/openmpi/bin:$PATH export LD_LIBRARY_PATH/opt/openmpi/lib:$LD_LIBRARY_PATH export MANPATH/opt/openmpi/share/man:$MANPATH重开终端后用which mpifort确认存在再执行mpifort -show看到输出里出现了ifort而不是gfortran就说明包装器绑定正确。这一步是整个编译流程里最重要的体检指标。2.4 编译FFTW 3.3.8VASP在进行平面波变换时需要FFT库我们可以用MKL自带的FFTW3兼容接口但既然标题要求了FFTW环境那我们就用独立的FFTW库。独立FFTW的好处是路径明确、版本可控后面排查问题更直接。下载FFTW 3.3.8源码tar -xzf fftw-3.3.8.tar.gz cd fftw-3.3.8 ./configure --prefix/opt/fftw \ CCicc CFLAGS-O3 -xHost \ --enable-sse2 --enable-avx--enable-sse2和--enable-avx是让FFTW在x86平台上自动选择向量化指令集虽然VASP的核心计算不算FFTW瓶颈但这部分优化也能带来几个百分点的提升。然后make -j8 sudo make install编译后确认/opt/fftw/lib/libfftw3.a或libfftw3.so存在即可。需要注意VASP 5.4.1只需要双精度FFTW的默认版本就够了不用额外编译--enable-float除非你自己有特殊需求。3. VASP 5.4.1核心配置makefile.include拆解3.1 makefile.include机制说明VASP从5.x开始就不是标准的自动工具构建而是通过源码目录里的makefile配合makefile.include来完成配置。makefile.include本质上是一个片段里面定义编译器、预处理器、优化选项、库路径和链接库make的时候会把它include进主makefile。在VASP 5.4.1源码包里一般有一个makefile.include模板或者arch目录下带不同平台的示例。我们要做的是先备份默认文件再改成适合当前环境的配置。cd vasp.5.4.1 cp makefile.include makefile.include.bak3.2 核心配置项逐行解读下面这个配置对应Intel oneAPI OpenMPI 3.1.x 独立FFTW的环境可以直接作为蓝本使用# 预处理器 CPP gcc -E -P -C -w CPP_OPTIONS -DHOST\LinuxIFC\ -DMPI -DMPI_OPT \ -Duse_collective -DscaLAPACK \ -DCACHE_SIZE4000 -Davoidalloc # Fortran编译器 FC mpifort FCL mpifort # 编译选项 FREE -free FFLAGS -assume byterecl -w -xHost -O2 $(FREE) OFLAG -O2 OFLAG_IN -O2 # MKL数学库 BLAS -L$(MKLROOT)/lib/intel64 -lmkl_intel_lp64 \ -lmkl_sequential -lmkl_core -lpthread LAPACK -L$(MKLROOT)/lib/intel64 -lmkl_intel_lp64 \ -lmkl_sequential -lmkl_core -lpthread SCA -L$(MKLROOT)/lib/intel64 -lmkl_scalapack_lp64 \ -lmkl_blacs_openmpi_lp64 -lmkl_intel_lp64 \ -lmkl_sequential -lmkl_core -lpthread # FFTW FFTW -L/opt/fftw/lib -lfftw3 # 最终链接库顺序 LLIBS $(SCA) $(LAPACK) $(BLAS) $(FFTW)这里有几个关键的“为什么”必须说清楚FC mpifort不是直接用ifort而是通过OpenMPI的包装器调用ifort这样VASP编译时能自动找到MPI的Fortran模块和库。-lmkl_sequentialMKL内部不启用OpenMP线程模式而是用纯串行版本。因为VASP的MPI并行模式如果和MKL的OpenMP线程混在一起核多后容易出现线程过度订阅性能不升反降。-lmkl_blacs_openmpi_lp64这是ScaLAPACK与MPI实现对接的BLACS库。如果用的是Intel MPI应该写-lmkl_blacs_intelmpi_lp64我们这里用OpenMPI所以必须写成_openmpi_写错的结果是链接阶段能过但运行到K点并行时会崩溃。-DCACHE_SIZE4000这是CPU缓存大小设置单位是KB。大部分现代计算节点L3缓存都在16MB甚至更高这里写4000是为老一代Xeon优化实际可以根据机器调整例如-DCACHE_SIZE20480。-Duse_collective让MPI_Allreduce等操作使用集合通信优化版本。这个宏在不同机器上表现不太稳定如果编译完运行后速度反而变慢可以去掉再重编对比。3.3 实际编译与生成可执行文件配置写好之后进入源码目录编译source /opt/intel/oneapi/setvars.sh intel64 export PATH/opt/openmpi/bin:$PATH export LD_LIBRARY_PATH/opt/openmpi/lib:/opt/fftw/lib:$LD_LIBRARY_PATH make clean make -j8如果前面环境变量和配置没问题编译过程会顺利走完最终生成一个vasp可执行文件。这个过程第一次会比较慢大概5到15分钟取决于机器核数和磁盘速度。编译完成可以快速验证一下./vasp如果没有参数VASP会打印一段说明后退出显示类似“VASP 5.4.1”的版本号这就说明基本编译成功了。4. 常见问题与排查技巧实录4.1 mpifort包装器仍然指向gfortran如果mpifort -show的输出里看到gfortran说明OpenMPI编译时没有正确绑定ifort。最常见的根源是configure阶段没有写F77ifort FCifort或者当时的环境变量没有加载oneAPI。解决办法也不复杂重新编译OpenMPI在configure前先:source /opt/intel/oneapi/setvars.sh intel64然后重新执行configure和make install。如果不想重编也可以手动修改mpifort这个脚本找到F90和F77变量改成ifort但我不推荐这么做容易埋雷。4.2 make时报错找不到mpi模块错误类似ifort: catastrophic error: cannot open module file mpi.mod这个报错说明FC没有真正调用mpifort或者mpifort使用的编译器不对。先检查makefile.include里有没有被注释掉“FC”再看mpifort -show的输出。如果输出正确还报这个错大概率是OpenMPI没有编译Fortran 90模块接口回到2.3节的--enable-mpi-fortranboth重新编译OpenMPI。4.3 FFTW链接时报undefined reference链接VASP时出现undefined reference to fftw_execute第一个原因是链接顺序错误。GNU ld对静态库是单遍扫描的-lfftw3必须放在所有需要FFTW符号的库之后。在上面的LLIBS $(SCA) $(LAPACK) $(BLAS) $(FFTW)里FFTW放在最后这个顺序是很多教程容易忽略的细节。第二个原因是FFTW库版本不对。检查是不是编译成了单精度版本如果源码包在configure时加了--enable-float那库名会变成libfftw3f.aVASP默认链接的是fftw3。所以编译FFTW时不要乱加float选项。4.4 运行VASP时启动崩溃或CPU占用瞬间下降编译通过但mpirun -np 8 ./vasp一执行就挂掉或者刚跑起来没多久进程全退。先看有没有提示OpenMPI版本相关的“PMIx”错误。如果有直接确认OpenMPI版本VASP 5.4.1建议用3.1.x不要用5.x。如果不是版本问题就检查环境变量export LD_LIBRARY_PATH/opt/openmpi/lib:/opt/fftw/lib:$LD_LIBRARY_PATH export OMP_NUM_THREADS1OMP_NUM_THREADS1非常关键。很多OpenMPI构建会带动OpenMP运行时如果不限制线程数每个MPI进程会再去开一堆线程白白吃满内存。4.5 常见问题速查表现象大概率原因处理方向make时找不到mpifortPATH没加OpenMPI路径export PATH/opt/openmpi/bin:$PATH编译时默认连上gfortranOpenMPI未绑定ifort重新用ifort编译OpenMPI链接fftw相关报错库顺序或FFTW版本把-lfftw3放最后去掉float选项运行启动即崩OpenMPI版本过新降到OpenMPI 3.1.x大体系跑得慢且内存爆炸MKL内部线程过度订阅OMP_NUM_THREADS1并行结果有时对不上浮点非确定性FFLAGS中不要加-ffast-math类激进选项5. 性能验证与并行参数优化5.1 用一个标准算例快速验证编译成功后最好先用一个已知收敛时间的小体系做对比测试而不是直接丢上生产任务。我自己习惯准备一个4原子或者8原子的块体结构用单一Gamma点做几步电子自洽分别用4核、8核、16核跑一遍对比OUTCAR里的耗时。查看时间的方法grep LOOP: OUTCAR | tail -5输出里的每一行对应电子自洽迭代步最后一列就是该步耗时。对比不同进程数的耗时就能看出并行扩展性是否正常。如果8核比4核还慢基本就是线程绑定或者MKL线程库设置出了问题。5.2 进程绑定与运行参数运行VASP时裸的mpirun -np 8 vasp虽然也能跑但进程在节点间和核心间乱跳会导致缓存命中率下降。现代OpenMPI支持核心绑定mpirun --bind-to core --map-by core -np 8 vasp这会让每个进程绑定到一个物理核上。注意这里不要在命令行里额外写--oversubscribe那会允许进程数超过核心数反而降低效率。同时检查一下是不是超线程在干扰性能。一般来说用物理核数作为进程数比较稳妥比如单节点16个物理核就用-np 16不要直接-np 32超线程对VASP这类计算密集型任务帮助有限甚至带来负优化。5.3 是否启用OpenMP并行VASP 5.4.1本身支持-Dopenmp的OpenMP模式但和MPI混用需要非常小心尤其是配合OpenMPI MKL时线程层级过多反而难调试。我的经验是除非你是跑特别大的单K点体系并且已经仔细测过各种线程数组合的收益否则建议先用纯MPI模式也就是本教程的配置稳定第一。等把这套环境跑熟之后再考虑要不要开-Dopenmp玩OMPMPI混合并行。5.4 多节点并行时的环境注意事项如果要跨节点跑需要确保所有计算节点上的OpenMPI和VASP路径一致。最简单的方式是把OpenMPI、FFTW、VASP都装到所有节点的相同路径下然后通过调度系统去启动任务。另外LD_LIBRARY_PATH需要在作业脚本里显式设置不要依赖登录节点的.bashrc作业脚本里写清楚source /opt/intel/oneapi/setvars.sh intel64 export PATH/opt/openmpi/bin:$PATH export LD_LIBRARY_PATH/opt/openmpi/lib:/opt/fftw/lib:$LD_LIBRARY_PATH export OMP_NUM_THREADS1 mpirun --bind-to core -np 32 vasp跨节点时还可以加上--mca btl_tcp_if_include来指定高速网络接口但不同集群的网络设备差异很大需要根据实际环境调整。最后再分享一个我自己的小习惯每次编译完VASP别急着删源码目录把makefile.include、环境变量设置和编译日志都留档放在一个build_log文件夹里。之后Unity版本升级、换机器、加节点照着这个记录重新编译能省下大量排错时间。这套环境我已经在多个CentOS机器上复现过核心就是OpenMPI绑定ifort、MKL选择sequential模式、库链接顺序这三件事只要这三件不出错VASP 5.4.1的编译基本一次就能过。
这篇教程解决一个很实在的问题很多玩材料计算的同学拿到VASP 5.4.1源码包之后卡在编译环境上网上的资料零零散散要么只讲GCC要么直接让你用Intel MPI很少有人把CentOS Intel编译器 OpenMPI FFTW这条完整链路讲透。这篇不聊物理和算法只聊怎么把VASP 5.4.1在CentOS上编译出一个能稳定并行跑起来的可执行文件。适合刚开始接触第一性原理计算、或者需要自己维护计算服务器的新手参考也适合被makefile折腾到想摔键盘的老玩家快速查错。1. 整体思路为什么是Intel编译器 OpenMPI FFTW这套组合1.1 为什么优先选择Intel编译器VASP的核心代码是Fortran写的而且极度依赖计算性能。同一台机器用GCC和Intel编译器编译出来的VASP跑同一个小体系最终单步耗时能差出百分之二三十这在高通量计算里是不可忽略的成本。Intel编译器对x86平台的内存布局、向量化指令调度、循环展开做过多轮针对性优化尤其配合Intel MKL数学库能把BLAS、LAPACK、ScaLAPACK这些基础线性代数操作压到很低的延迟。另外一个现实原因是VASP 5.4.1这个版本发布年代较早它编译时对编译器行为很敏感Intel的ifort在Fortran标准支持和ABI兼容性上更稳。VASP官方也一直把Intel编译器作为主要支持对象。所以只要不是非要追求GCC全家桶用Intel编译器是最少踩坑的路。1.2 为什么还要再单独编译一个OpenMPI很多教程一上来就推荐Intel MPI因为MKL里默认的BLACS库可以和Intel MPI无缝配合少调一个OpenMPI编译参数。但问题是不少课题组现有的管理系统、作业调度脚本、其他第三方软件都是基于OpenMPI部署的如果VASP单独用Intel MPI那环境就割裂了后面做跨软件联调很痛苦。OpenMPI开箱即用社区活跃问题排查资料也多。所以这套方案的核心设计就是用Intel编译器去编译OpenMPI再用OpenMPI的mpifort包装器去编译VASP最后链接MKL数学库和独立的FFTW库。关键点在于“用Intel编译器编译OpenMPI”这一步很多教程忽略了它直接拿系统自带的OpenMPI顶上去结果VASP编译时Fortran模块ABI对不上编译出来也能跑但容易在运行中途出现莫名奇妙的SIGSEGV。1.3 整条编译链路依赖顺序大概是这样系统基础环境 → Intel oneAPI编译器 → OpenMPI → FFTW → VASP。先装编译器再编译OpenMPI最后编VASP。这个顺序不能乱。如果先编译OpenMPI、后装Intel编译器OpenMPI里的fortran wrapper可能没有正确绑定到ifort后面VASP编译时调用mpifort却连上gfortran编译错误五花八门查起来非常头痛。2. 环境准备从裸CentOS到编译条件就绪2.1 CentOS系统基础依赖我用的是CentOS 7.9作为基准环境CentOS 8/9的流程也差不多。首先确保一些基础工具已经装好sudo yum update -y sudo yum install -y gcc gcc-c make perl wget tar gzip这里gcc不是给VASP用而是OpenMPI在configure阶段需要C编译器做检测以及后续编译一些辅助工具时会用到。还需要libevent和hwloc这是OpenMPI运行时的底层依赖sudo yum install -y libevent-devel hwloc-devel另外把堆栈限制打开VASP跑基于MPI的并行任务时默认8MB的stack经常不够用ulimit -s unlimited这个设置最好写入/etc/security/limits.conf或者当前用户的~/.bashrc里否则每次重启终端都要重新设。2.2 安装Intel oneAPI编译器与MKLIntel现在已经把编译器套件整合到oneAPI里了基础工具链可以直接从官网下载。需要安装Base Toolkit和HPC Toolkit里面包含ifort、icpc、MKL。下载完安装脚本后用命令行方式装sudo sh ./l_BaseKit_p_*.sh -a --silent --eula accept sudo sh ./l_HPCKit_p_*.sh -a --silent --eula accept装完之后环境变量默认在/opt/intel/oneapi/setvars.sh。每次编译前都要加载source /opt/intel/oneapi/setvars.sh intel64然后验证which ifort which mklvars.sh看到路径就说明环境生效了。有一点要提醒比较新的oneAPI版本里Intel已经把主推方向转移到ifx上ifort作为兼容包还会保留一段时间但VASP 5.4.1这个老代码对ifx的支持并不友好建议用ifort。如果发现自己的oneAPI里没有ifort可以直接用Intel Parallel Studio XE 2020 Update 3左右的版本它自带成熟的ifort和VASP 5.4.1磨合得比较好。2.3 用ifort编译OpenMPI这里是我踩过最多坑的一步。OpenMPI的版本不是越新越好VASP 5.4.1年代老不建议选5.x以上。经过反复测试OpenMPI 3.1.x系列是稳妥选择4.0.x也能用但5.x系列因为PMIx接口和运行时的变化容易出现编译通过但运行启动就挂的情况。下载好OpenMPI 3.1.6源码包后解压并配置tar -xzf openmpi-3.1.6.tar.gz cd openmpi-3.1.6 ./configure --prefix/opt/openmpi \ CCicc CXXicpc \ F77ifort FCifort \ --enable-mpi-fortranboth \ --disable-cuda这里重点解释几个参数CCicc CXXicpc F77ifort FCifort让OpenMPI的编译器和包装器都绑定到Intel工具链上这样后面mpifort调用时默认就是ifort。--enable-mpi-fortranboth同时生成Fortran 77和Fortran 90模块接口VASP大量使用Fortran 90如果没有这个选项后续会报找不到mpi.mod。--disable-cuda普通CPU版本不需要CUDA支持可以避免依赖检测带来的麻烦。配置完成后编译安装make -j8 sudo make install安装完成后编辑/etc/profile.d/openmpi.sh把OpenMPI加入PATH和LD_LIBRARY_PATHexport PATH/opt/openmpi/bin:$PATH export LD_LIBRARY_PATH/opt/openmpi/lib:$LD_LIBRARY_PATH export MANPATH/opt/openmpi/share/man:$MANPATH重开终端后用which mpifort确认存在再执行mpifort -show看到输出里出现了ifort而不是gfortran就说明包装器绑定正确。这一步是整个编译流程里最重要的体检指标。2.4 编译FFTW 3.3.8VASP在进行平面波变换时需要FFT库我们可以用MKL自带的FFTW3兼容接口但既然标题要求了FFTW环境那我们就用独立的FFTW库。独立FFTW的好处是路径明确、版本可控后面排查问题更直接。下载FFTW 3.3.8源码tar -xzf fftw-3.3.8.tar.gz cd fftw-3.3.8 ./configure --prefix/opt/fftw \ CCicc CFLAGS-O3 -xHost \ --enable-sse2 --enable-avx--enable-sse2和--enable-avx是让FFTW在x86平台上自动选择向量化指令集虽然VASP的核心计算不算FFTW瓶颈但这部分优化也能带来几个百分点的提升。然后make -j8 sudo make install编译后确认/opt/fftw/lib/libfftw3.a或libfftw3.so存在即可。需要注意VASP 5.4.1只需要双精度FFTW的默认版本就够了不用额外编译--enable-float除非你自己有特殊需求。3. VASP 5.4.1核心配置makefile.include拆解3.1 makefile.include机制说明VASP从5.x开始就不是标准的自动工具构建而是通过源码目录里的makefile配合makefile.include来完成配置。makefile.include本质上是一个片段里面定义编译器、预处理器、优化选项、库路径和链接库make的时候会把它include进主makefile。在VASP 5.4.1源码包里一般有一个makefile.include模板或者arch目录下带不同平台的示例。我们要做的是先备份默认文件再改成适合当前环境的配置。cd vasp.5.4.1 cp makefile.include makefile.include.bak3.2 核心配置项逐行解读下面这个配置对应Intel oneAPI OpenMPI 3.1.x 独立FFTW的环境可以直接作为蓝本使用# 预处理器 CPP gcc -E -P -C -w CPP_OPTIONS -DHOST\LinuxIFC\ -DMPI -DMPI_OPT \ -Duse_collective -DscaLAPACK \ -DCACHE_SIZE4000 -Davoidalloc # Fortran编译器 FC mpifort FCL mpifort # 编译选项 FREE -free FFLAGS -assume byterecl -w -xHost -O2 $(FREE) OFLAG -O2 OFLAG_IN -O2 # MKL数学库 BLAS -L$(MKLROOT)/lib/intel64 -lmkl_intel_lp64 \ -lmkl_sequential -lmkl_core -lpthread LAPACK -L$(MKLROOT)/lib/intel64 -lmkl_intel_lp64 \ -lmkl_sequential -lmkl_core -lpthread SCA -L$(MKLROOT)/lib/intel64 -lmkl_scalapack_lp64 \ -lmkl_blacs_openmpi_lp64 -lmkl_intel_lp64 \ -lmkl_sequential -lmkl_core -lpthread # FFTW FFTW -L/opt/fftw/lib -lfftw3 # 最终链接库顺序 LLIBS $(SCA) $(LAPACK) $(BLAS) $(FFTW)这里有几个关键的“为什么”必须说清楚FC mpifort不是直接用ifort而是通过OpenMPI的包装器调用ifort这样VASP编译时能自动找到MPI的Fortran模块和库。-lmkl_sequentialMKL内部不启用OpenMP线程模式而是用纯串行版本。因为VASP的MPI并行模式如果和MKL的OpenMP线程混在一起核多后容易出现线程过度订阅性能不升反降。-lmkl_blacs_openmpi_lp64这是ScaLAPACK与MPI实现对接的BLACS库。如果用的是Intel MPI应该写-lmkl_blacs_intelmpi_lp64我们这里用OpenMPI所以必须写成_openmpi_写错的结果是链接阶段能过但运行到K点并行时会崩溃。-DCACHE_SIZE4000这是CPU缓存大小设置单位是KB。大部分现代计算节点L3缓存都在16MB甚至更高这里写4000是为老一代Xeon优化实际可以根据机器调整例如-DCACHE_SIZE20480。-Duse_collective让MPI_Allreduce等操作使用集合通信优化版本。这个宏在不同机器上表现不太稳定如果编译完运行后速度反而变慢可以去掉再重编对比。3.3 实际编译与生成可执行文件配置写好之后进入源码目录编译source /opt/intel/oneapi/setvars.sh intel64 export PATH/opt/openmpi/bin:$PATH export LD_LIBRARY_PATH/opt/openmpi/lib:/opt/fftw/lib:$LD_LIBRARY_PATH make clean make -j8如果前面环境变量和配置没问题编译过程会顺利走完最终生成一个vasp可执行文件。这个过程第一次会比较慢大概5到15分钟取决于机器核数和磁盘速度。编译完成可以快速验证一下./vasp如果没有参数VASP会打印一段说明后退出显示类似“VASP 5.4.1”的版本号这就说明基本编译成功了。4. 常见问题与排查技巧实录4.1 mpifort包装器仍然指向gfortran如果mpifort -show的输出里看到gfortran说明OpenMPI编译时没有正确绑定ifort。最常见的根源是configure阶段没有写F77ifort FCifort或者当时的环境变量没有加载oneAPI。解决办法也不复杂重新编译OpenMPI在configure前先:source /opt/intel/oneapi/setvars.sh intel64然后重新执行configure和make install。如果不想重编也可以手动修改mpifort这个脚本找到F90和F77变量改成ifort但我不推荐这么做容易埋雷。4.2 make时报错找不到mpi模块错误类似ifort: catastrophic error: cannot open module file mpi.mod这个报错说明FC没有真正调用mpifort或者mpifort使用的编译器不对。先检查makefile.include里有没有被注释掉“FC”再看mpifort -show的输出。如果输出正确还报这个错大概率是OpenMPI没有编译Fortran 90模块接口回到2.3节的--enable-mpi-fortranboth重新编译OpenMPI。4.3 FFTW链接时报undefined reference链接VASP时出现undefined reference to fftw_execute第一个原因是链接顺序错误。GNU ld对静态库是单遍扫描的-lfftw3必须放在所有需要FFTW符号的库之后。在上面的LLIBS $(SCA) $(LAPACK) $(BLAS) $(FFTW)里FFTW放在最后这个顺序是很多教程容易忽略的细节。第二个原因是FFTW库版本不对。检查是不是编译成了单精度版本如果源码包在configure时加了--enable-float那库名会变成libfftw3f.aVASP默认链接的是fftw3。所以编译FFTW时不要乱加float选项。4.4 运行VASP时启动崩溃或CPU占用瞬间下降编译通过但mpirun -np 8 ./vasp一执行就挂掉或者刚跑起来没多久进程全退。先看有没有提示OpenMPI版本相关的“PMIx”错误。如果有直接确认OpenMPI版本VASP 5.4.1建议用3.1.x不要用5.x。如果不是版本问题就检查环境变量export LD_LIBRARY_PATH/opt/openmpi/lib:/opt/fftw/lib:$LD_LIBRARY_PATH export OMP_NUM_THREADS1OMP_NUM_THREADS1非常关键。很多OpenMPI构建会带动OpenMP运行时如果不限制线程数每个MPI进程会再去开一堆线程白白吃满内存。4.5 常见问题速查表现象大概率原因处理方向make时找不到mpifortPATH没加OpenMPI路径export PATH/opt/openmpi/bin:$PATH编译时默认连上gfortranOpenMPI未绑定ifort重新用ifort编译OpenMPI链接fftw相关报错库顺序或FFTW版本把-lfftw3放最后去掉float选项运行启动即崩OpenMPI版本过新降到OpenMPI 3.1.x大体系跑得慢且内存爆炸MKL内部线程过度订阅OMP_NUM_THREADS1并行结果有时对不上浮点非确定性FFLAGS中不要加-ffast-math类激进选项5. 性能验证与并行参数优化5.1 用一个标准算例快速验证编译成功后最好先用一个已知收敛时间的小体系做对比测试而不是直接丢上生产任务。我自己习惯准备一个4原子或者8原子的块体结构用单一Gamma点做几步电子自洽分别用4核、8核、16核跑一遍对比OUTCAR里的耗时。查看时间的方法grep LOOP: OUTCAR | tail -5输出里的每一行对应电子自洽迭代步最后一列就是该步耗时。对比不同进程数的耗时就能看出并行扩展性是否正常。如果8核比4核还慢基本就是线程绑定或者MKL线程库设置出了问题。5.2 进程绑定与运行参数运行VASP时裸的mpirun -np 8 vasp虽然也能跑但进程在节点间和核心间乱跳会导致缓存命中率下降。现代OpenMPI支持核心绑定mpirun --bind-to core --map-by core -np 8 vasp这会让每个进程绑定到一个物理核上。注意这里不要在命令行里额外写--oversubscribe那会允许进程数超过核心数反而降低效率。同时检查一下是不是超线程在干扰性能。一般来说用物理核数作为进程数比较稳妥比如单节点16个物理核就用-np 16不要直接-np 32超线程对VASP这类计算密集型任务帮助有限甚至带来负优化。5.3 是否启用OpenMP并行VASP 5.4.1本身支持-Dopenmp的OpenMP模式但和MPI混用需要非常小心尤其是配合OpenMPI MKL时线程层级过多反而难调试。我的经验是除非你是跑特别大的单K点体系并且已经仔细测过各种线程数组合的收益否则建议先用纯MPI模式也就是本教程的配置稳定第一。等把这套环境跑熟之后再考虑要不要开-Dopenmp玩OMPMPI混合并行。5.4 多节点并行时的环境注意事项如果要跨节点跑需要确保所有计算节点上的OpenMPI和VASP路径一致。最简单的方式是把OpenMPI、FFTW、VASP都装到所有节点的相同路径下然后通过调度系统去启动任务。另外LD_LIBRARY_PATH需要在作业脚本里显式设置不要依赖登录节点的.bashrc作业脚本里写清楚source /opt/intel/oneapi/setvars.sh intel64 export PATH/opt/openmpi/bin:$PATH export LD_LIBRARY_PATH/opt/openmpi/lib:/opt/fftw/lib:$LD_LIBRARY_PATH export OMP_NUM_THREADS1 mpirun --bind-to core -np 32 vasp跨节点时还可以加上--mca btl_tcp_if_include来指定高速网络接口但不同集群的网络设备差异很大需要根据实际环境调整。最后再分享一个我自己的小习惯每次编译完VASP别急着删源码目录把makefile.include、环境变量设置和编译日志都留档放在一个build_log文件夹里。之后Unity版本升级、换机器、加节点照着这个记录重新编译能省下大量排错时间。这套环境我已经在多个CentOS机器上复现过核心就是OpenMPI绑定ifort、MKL选择sequential模式、库链接顺序这三件事只要这三件不出错VASP 5.4.1的编译基本一次就能过。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
