1. 为什么Python多环境管理是AI编程的第一道坎搞AI编程的人十个里有八个被Python环境坑过。你兴冲冲地从某个开源仓库clone了一份代码README上写着pip install -r requirements.txt你照做了结果跑起来直接报错——要么是numpy版本不对要么是torch跟cuda对不上要么是某个包依赖的Python版本跟你系统自带的完全冲突。更惨的是你为了修A项目把环境改了结果B项目又跑不起来了。这不是你技术不行这是Python生态的天然缺陷。Python不像Java有Maven那样的隔离机制也不像Node.js有node_modules这种局部依赖的天然设计。Python默认是全局安装包所有项目共享一套site-packages这就导致了一个经典困境项目A需要numpy 1.21项目B需要numpy 1.26而你只有一台机器。Anaconda就是来解决这个问题的。它本质上是一个Python发行版加环境管理器核心能力是让你在同一台机器上创建多个互相隔离的Python环境每个环境有自己独立的Python解释器版本、独立的包目录、独立的依赖树。你可以给项目A建一个Python 3.9 torch 1.13的环境给项目B建一个Python 3.11 torch 2.1的环境两者互不干扰切换只需要一行命令。这篇文章适合谁看如果你是刚接触AI编程的新手被环境问题折磨得想砸键盘那这篇就是写给你的。如果你已经用了一段时间Python但还在用全局环境硬扛那你也该看看。如果你已经在用conda但只用过最基础的create和activate那这篇文章里关于环境导出、channel优先级、pip与conda混用的坑应该也能帮你省下不少时间。我自己的经历是早期做深度学习项目时因为没管好环境曾经花了一整个下午排查一个ImportError: cannot import name xxx的问题最后发现是全局环境里装了两个版本的同一个包pip装的和conda装的打架了。从那以后我就彻底转向了conda多环境管理再也没回过全局安装的老路。2. Anaconda、Miniconda与conda的关系梳理很多人对这三个概念是模糊的觉得Anaconda就是condaconda就是Anaconda。实际上它们的关系需要理清楚因为这直接影响你该装哪个、怎么装。2.1 三者的准确定位conda是一个包管理器和环境管理器它是一个命令行工具。你可以把它理解成pip virtualenv的合体加强版但能力远不止于此。conda不仅能管理Python包还能管理非Python的二进制依赖比如CUDA库、MKL数学库、编译器工具链等。这是它跟pip最本质的区别——pip只管Python包conda管的是整个软件栈。Anaconda是一个完整的Python发行版它包含了conda、Python解释器、以及预装好的几百个科学计算和数据分析相关的包numpy、scipy、pandas、jupyter、matplotlib等等。装完Anaconda你基本可以直接开始做数据科学了不需要再单独装什么。代价是它很大完整安装大概3到5个GB。Miniconda是Anaconda的精简版它只包含conda、Python和一个极少数的基础包pip、zlib等。装完之后你需要什么自己conda install。它的安装包只有几十MB装完也就几百MB。2.2 该选哪个我的实际建议这里给一个直接的判断标准你的情况推荐选择理由刚入门不确定要装什么包Anaconda预装包覆盖大部分常见需求省去逐个安装的麻烦有明确项目需求知道要装什么Miniconda干净轻量按需安装环境更可控磁盘空间紧张Miniconda节省几个GB的空间需要频繁创建新环境Miniconda基础环境小创建新环境更快教学或团队统一环境Anaconda预装包一致减少我这里能跑你那里不能跑的问题我个人的选择是Miniconda。原因很简单Anaconda预装的几百个包我实际用到的可能就二三十个剩下的全是冗余。而且预装包多了之后有时候反而会造成依赖冲突——你想装一个新包conda发现它跟某个预装包版本不兼容就得花大量时间做依赖求解。Miniconda从零开始你装什么就是什么依赖树干净得多。注意不管你选Anaconda还是Miniconda不要同时装两个。它们会往同一个路径写配置导致conda命令行为异常。如果已经装了想换先把旧的彻底卸载干净再装新的。2.3 安装时的关键选项安装过程中有一个步骤很多人会忽略就是Add Anaconda to my PATH environment variable这个选项。Windows上默认是不勾选的安装程序会建议你用Anaconda Prompt来操作。我的建议是勾选它。不勾选的话你在普通的cmd或PowerShell里敲conda命令会提示找不到。虽然用Anaconda Prompt也能操作但多一层壳总归不方便尤其是你需要在VS Code的终端里直接用conda的时候。如果你已经装了但没勾选也不用重装手动把conda的安装路径加到系统环境变量Path里就行。具体路径一般是C:\Users\你的用户名\miniconda3\Scripts和C:\Users\你的用户名\miniconda3\condabin这两个。3. 环境创建的核心参数与实操细节搞清楚装什么之后接下来就是实际创建环境了。这一步看起来简单但参数选不对后面会埋很多雷。3.1 Python版本怎么选创建环境的第一件事是确定Python版本。这里有一个常见的误区很多人觉得版本越新越好直接上最新的Python 3.12或3.13。但实际上AI领域的很多库对Python版本是有硬性要求的。截至我写这篇文章时的经验比较稳妥的选择是Python 3.10兼容性最好的版本几乎所有主流AI框架都支持包括PyTorch、TensorFlow、JAX等。如果你不确定选什么选3.10基本不会错。Python 3.11性能比3.10有明显提升官方说快10%到60%主流框架也都跟上了。可以作为3.10的替代。Python 3.9一些老项目还在用如果你需要复现一两年前的代码可能需要这个版本。Python 3.12新特性多但部分库的wheel可能还没跟上容易出现找不到预编译包需要从源码编译的情况编译又可能因为缺少C编译器而失败。创建环境的命令是conda create -n myenv python3.10这里的-n后面跟的是环境名python3.10指定了Python版本。conda会自动解析这个版本对应的最新小版本号比如3.10.13。实操心得环境名不要用中文、不要用空格、不要用特殊字符。用英文小写加下划线或连字符比如ai_project、torch-env。中文环境名在某些终端下会乱码空格会导致命令解析出错。3.2 创建时直接指定包你也可以在创建环境的同时把需要的包一起装上conda create -n myenv python3.10 numpy pandas matplotlib jupyter这样conda会在创建环境的过程中一次性解决所有依赖比先创建再逐个安装要快而且依赖求解的结果更优——因为conda能看到全部需求统一做规划。但这里有个坑如果你要装的包很多依赖求解可能会非常慢甚至进入Solving environment的无限循环。这时候可以试试加上--no-deps参数跳过依赖检查或者用mamba替代conda后面会讲。3.3 指定channel的技巧conda从channel频道下载包。默认的channel是defaults但很多AI相关的包在conda-forge这个社区频道上更新更快、版本更全。你可以在创建时指定channelconda create -n myenv python3.10 -c conda-forge-c参数指定channel多个channel可以写多个-cconda会按顺序查找。但更推荐的做法是配置channel优先级写到.condarc文件里。这个文件一般在用户目录下Windows是C:\Users\你的用户名\.condarcLinux/Mac是~/.condarc。内容示例channels: - conda-forge - defaults channel_priority: strictchannel_priority: strict表示严格按顺序查找一旦在conda-forge找到了就不再往defaults找。这能避免同一个包从不同channel装了不同版本导致的冲突。注意不要盲目添加大量第三方channel。channel越多依赖求解越慢而且不同channel的包可能有ABI不兼容的问题。conda-forge加defaults基本够用了。4. 环境激活、切换与日常操作环境建好了接下来就是日常使用。这部分操作不难但有几个细节值得说清楚。4.1 激活与退出的正确姿势激活环境的命令conda activate myenv激活后你的终端提示符前面会出现(myenv)的标记表示当前在这个环境里。这时候你敲python、pip、conda install操作的都是这个环境不会影响其他环境。退出环境conda deactivate退回base环境。这里有一个新手常犯的错误在base环境里直接pip install。base环境是conda自己的基础环境往里装东西容易把conda本身搞坏。正确的做法是永远在专门创建的环境里操作base环境保持干净。如果你发现base环境已经被污染了可以这样恢复conda install -n base --revision 0这会把base环境回滚到初始状态。但更稳妥的做法是重装Miniconda。4.2 查看所有环境conda env list或者简写conda info --envs输出会列出所有环境及其路径当前激活的环境前面有个星号。4.3 删除环境conda remove -n myenv --all这个命令会删除整个环境及其所有包。删除前确认你不需要里面的东西了因为删了就找不回来了。如果只是想删除环境里的某个包conda remove -n myenv numpy4.4 重命名环境conda没有直接的rename命令需要两步走conda create -n newname --clone oldname conda remove -n oldname --all先克隆一份新的再删掉旧的。克隆过程会完整复制环境里的所有包所以如果环境很大这一步会比较慢。实操心得给环境起名时带上用途和Python版本比如nlp_py310、cv_torch21。这样过几个月回头看你一眼就知道这个环境是干什么的不用逐个激活去检查。5. 包安装conda与pip的混用策略这是整个多环境管理里最容易出问题的环节。conda和pip是两个独立的包管理器它们各自维护自己的依赖记录混用不当就会导致依赖冲突。5.1 优先用condaconda没有再用pip基本原则是能用conda装的就用conda装conda找不到的再用pip。为什么因为conda在安装时会做全局依赖求解确保所有包的依赖关系一致。而pip是逐个安装装A的时候不管B装完可能发现A和B依赖了不同版本的C。# 优先 conda install numpy pandas # conda找不到的包再用pip pip install some_special_package5.2 混用时的顺序问题如果你确实需要混用先conda装完所有能装的最后再用pip装剩下的。不要交替进行。原因在于conda在求解依赖时会考虑环境里已有的所有包包括pip装的。但pip在安装时不会考虑conda的依赖约束。如果你先用pip装了一个包再用conda装另一个包conda可能会把pip装的包的依赖升级或降级导致pip装的包坏掉。5.3 pip在conda环境里的正确使用在conda环境里用pip要确保你用的是这个环境自己的pip而不是系统全局的pip。激活环境后用python -m pip install xxx而不是直接pip install xxx。python -m pip能保证pip是当前Python解释器对应的那个避免装错地方。你可以用这个命令确认which pip # Linux/Mac where pip # Windows输出的路径应该在你当前环境的目录下。5.4 依赖冲突的排查方法如果装完包之后运行报错提示某个模块找不到或者版本不对可以这样排查conda list # 列出当前环境所有conda安装的包 pip list # 列出当前环境所有pip安装的包对比两个列表看看有没有同一个包出现两次、版本不同的情况。如果有就是混用导致的冲突。解决办法是确定你需要哪个版本然后统一用一种方式重装。比如确定要numpy 1.24那就conda remove numpy pip uninstall numpy conda install numpy1.24先两边都卸干净再用一种方式装。注意有些包在conda-forge上的版本比PyPI上的旧很多。如果你需要最新版本可能只能用pip装。这种情况下建议把整个环境的依赖都用pip管理而不是conda和pip混着来。但这样你就失去了conda管理二进制依赖的优势需要自己确保CUDA等系统依赖正确安装。6. 环境导出与跨机器复现你在一台机器上配好了环境代码跑通了现在要换一台机器或者要分享给同事。怎么保证对方能复现出一模一样的环境这就需要环境导出。6.1 导出environment.ymlconda env export environment.yml这个命令会导出当前环境的所有包及其精确版本号包括conda装的和pip装的。生成的yml文件大概长这样name: myenv channels: - conda-forge - defaults dependencies: - python3.10.13 - numpy1.24.3 - pandas2.0.3 - pip: - some_package1.2.3对方拿到这个文件后用conda env create -f environment.yml就能创建一个一模一样的环境。6.2 导出时的常见问题问题一导出的文件包含了本地路径。有时候yml里会出现- file:///home/user/...这样的本地路径对方拿到后无法安装。解决办法是导出时加上--no-builds参数conda env export --no-builds environment.yml这会去掉build string只保留版本号兼容性更好。问题二pip装的包没有版本号。如果pip装的包没写版本号对方装的时候会装最新版可能跟你当时的不一样。解决办法是手动编辑yml给pip的包加上版本号。问题三跨平台不兼容。你在Linux上导出的环境拿到Windows上可能装不了因为有些包的build是针对特定平台的。这种情况下建议只导出顶层依赖你直接安装的那些让conda在目标平台上自己求解底层依赖conda env export --from-history environment.yml--from-history只导出你显式安装的包不导出自动安装的依赖。这样跨平台兼容性更好但复现的精确度会降低。6.3 用conda-pack打包整个环境如果你需要把一个环境完整地搬到另一台没有网络的机器上可以用conda-packconda install -c conda-forge conda-pack conda pack -n myenv -o myenv.tar.gz打包出来的tar.gz可以在目标机器上解压然后直接激活使用不需要重新下载任何包。这在离线环境下特别有用。实操心得environment.yml建议跟代码一起提交到git仓库。但要注意如果你用的是conda env export导出的完整版每次装新包后都要重新导出否则yml会过时。我习惯在项目根目录放一个environment.yml并在README里写明如果环境有问题用这个文件重建。7. 常见问题与排查技巧实录这一节整理我在实际使用中遇到的高频问题以及对应的排查思路。7.1 conda activate报错CommandNotFoundError这个错误通常出现在Windows上原因是shell没有正确初始化conda。解决办法conda init然后重启终端。如果用的是PowerShell可能需要conda init powershell如果还是不行检查你的shell配置文件.bashrc、.zshrc或PowerShell的profile里有没有conda的初始化脚本。7.2 依赖求解特别慢卡在Solving environment这是conda最被诟病的问题。原因是conda的依赖求解器是SAT求解器包多了之后复杂度指数级上升。解决办法有几个换用mamba。mamba是用C重写的conda替代品依赖求解速度快几十倍。安装conda install -n base -c conda-forge mamba之后把conda命令替换成mamba即可用法完全一样mamba create -n myenv python3.10 numpy pandas减少channel数量。channel越多求解空间越大。只保留conda-forge和defaults。指定精确版本。不要写numpy写numpy1.24缩小求解范围。7.3 装了包但import报ModuleNotFoundError最常见的原因是装到了别的环境。检查conda activate myenv python -c import sys; print(sys.executable)输出的路径应该是你当前环境的python。如果不是说明你的终端没有正确激活环境或者PATH里有别的python优先级更高。另一个原因是Jupyter Notebook用的kernel不对。你在终端里激活了环境但Jupyter用的是另一个kernel。解决办法是给环境注册kernelconda activate myenv pip install ipykernel python -m ipykernel install --user --namemyenv --display-namePython (myenv)然后在Jupyter里选择对应的kernel。7.4 CUDA版本与PyTorch不匹配这是AI编程里最经典的问题之一。报错通常是RuntimeError: CUDA error: no kernel image is available for execution on the device或者ImportError: libcudart.so.11.0: cannot open shared object file原因是PyTorch编译时用的CUDA版本跟你系统装的CUDA版本不一致。排查步骤确认系统CUDA版本nvcc --version或nvidia-smi确认PyTorch期望的CUDA版本python -c import torch; print(torch.version.cuda)两者要匹配。如果不匹配重装对应版本的PyTorch。PyTorch官网提供了不同CUDA版本对应的安装命令比如# CUDA 11.8 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # CUDA 12.1 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121注意nvidia-smi显示的CUDA版本是驱动支持的最高版本不是你实际安装的CUDA版本。实际版本用nvcc --version看。如果nvcc找不到说明你没装CUDA Toolkit只装了驱动。这种情况下PyTorch可以用自带的CUDA runtime不需要系统装CUDA Toolkit。7.5 环境占用磁盘空间太大conda环境多了之后磁盘占用会快速增长。每个环境都有一份独立的Python解释器和包副本几个环境加起来可能几十GB。清理方法conda clean --all这会清理conda的缓存、未使用的包、tar包等。但注意这不会删除已创建环境里的包只清理缓存。如果你想看每个环境占了多少空间conda env list # 然后对每个环境 du -sh /path/to/envWindows上可以用conda list看包数量或者直接用文件管理器看文件夹大小。7.6 常见问题速查表问题现象可能原因解决方法conda activate报CommandNotFoundshell未初始化执行conda init后重启终端Solving environment卡住依赖求解复杂换mamba减少channel指定版本import报ModuleNotFound装错环境或kernel不对检查sys.executable注册ipykernelCUDA errorCUDA版本不匹配确认nvcc和torch.version.cuda重装对应版本磁盘占用大环境多、缓存多conda clean --all删除不用的环境pip和conda装的包冲突混用导致统一用一种方式重装环境导出后对方装不上包含本地路径或平台不兼容用--no-builds或--from-history导出8. 进阶技巧让环境管理更省心前面讲的都是基础操作这一节分享几个我实际用下来觉得能显著提升效率的技巧。8.1 用condarc配置默认行为.condarc文件除了配置channel还能配置很多默认行为。我的配置channels: - conda-forge - defaults channel_priority: strict auto_activate_base: false env_prompt: ({name}) auto_activate_base: false让终端启动时不自动激活base环境。base环境激活着其实没什么用反而容易误操作。关掉之后终端启动是干净的需要哪个环境手动activate。env_prompt自定义提示符格式默认是(环境名)你可以改成别的比如加上emoji或者颜色但终端要支持。8.2 用conda-lock锁定精确版本conda env export导出的yml在不同平台上重建时可能得到不同的结果因为conda会重新求解依赖。如果你需要跨平台精确复现可以用conda-lockconda install -c conda-forge conda-lock conda-lock -f environment.yml -p linux-64 -p osx-64 -p win-64这会为每个平台生成一个lock文件里面是精确到build string的包列表。对方用lock文件安装能得到完全一致的环境。8.3 在VS Code里管理conda环境VS Code对conda的支持很好。按CtrlShiftP打开命令面板输入Python: Select Interpreter会列出所有conda环境选一个即可。VS Code会自动用那个环境的Python来运行和调试代码。如果你在VS Code的集成终端里发现conda activate不生效检查一下VS Code的终端设置。有时候需要把默认shell改成bash或PowerShell并确保conda init已经执行过。8.4 用environment.yml管理项目依赖我习惯在每个项目根目录放一个environment.yml内容只包含顶层依赖name: project_name channels: - conda-forge dependencies: - python3.10 - numpy - pandas - matplotlib - jupyter - pip: - some-pip-only-package这样做的目的是新人拿到项目后一条命令就能建好环境不需要看README里一长串安装说明。而且顶层依赖不写死版本号conda会自动选兼容的版本跨平台兼容性更好。如果项目对某些包的版本有严格要求再在yml里写死版本号。8.5 定期清理不用的环境我每隔一两个月会检查一次环境列表把不再用的环境删掉。判断标准很简单如果这个环境对应的项目已经结束了或者我已经几个月没碰过了就删。conda env list conda remove -n old_env --all删之前可以先用conda env export导出一份yml存着万一以后需要还能重建。实操心得不要怕删环境。环境是可以重建的只要你保留了environment.yml。真正宝贵的是你的代码和数据环境只是运行代码的工具。保持环境列表精简能减少很多这个环境是干什么的的困惑。9. 我踩过的几个典型坑最后分享几个我实际踩过的坑都是文档里不会写、但实际用起来很容易遇到的问题。第一个坑在base环境里装包。刚用conda的时候不懂直接在base里pip install了一堆东西。后来发现conda自己更新时跟这些包冲突把conda搞坏了最后只能重装。教训是base环境保持干净所有项目用独立环境。第二个坑环境名用了中文。有一次图方便建了个叫深度学习的环境。在Windows的cmd里激活没问题但在Git Bash里就乱码了命令解析出错。后来全部改成英文。第三个坑pip和conda混着装同一个包。有一次conda装了numpy后来用pip又装了一遍结果环境里有两个numpyimport的时候随机加载其中一个导致行为不一致。排查了半天才发现。教训是装包前先conda list看看有没有有的话就别用pip再装。第四个坑导出环境时没加--no-builds。导出的yml里带了build string同事在另一台机器上装的时候因为平台不同找不到对应的build装不上。后来改成--no-builds就好了。第五个坑Jupyter kernel没注册。在终端里激活了环境pip install了包但在Jupyter里import还是报找不到。原因是Jupyter用的还是默认的kernel。注册一下ipykernel就解决了。这些坑说起来都不复杂但没踩过就是不知道。希望看到这里的你能少走点弯路。环境管理这件事说到底就是一句话每个项目一个独立环境base保持干净conda优先pip补充导出yml方便复现。把这几点做到基本就不会再被版本兼容问题折磨了。
1. 为什么Python多环境管理是AI编程的第一道坎搞AI编程的人十个里有八个被Python环境坑过。你兴冲冲地从某个开源仓库clone了一份代码README上写着pip install -r requirements.txt你照做了结果跑起来直接报错——要么是numpy版本不对要么是torch跟cuda对不上要么是某个包依赖的Python版本跟你系统自带的完全冲突。更惨的是你为了修A项目把环境改了结果B项目又跑不起来了。这不是你技术不行这是Python生态的天然缺陷。Python不像Java有Maven那样的隔离机制也不像Node.js有node_modules这种局部依赖的天然设计。Python默认是全局安装包所有项目共享一套site-packages这就导致了一个经典困境项目A需要numpy 1.21项目B需要numpy 1.26而你只有一台机器。Anaconda就是来解决这个问题的。它本质上是一个Python发行版加环境管理器核心能力是让你在同一台机器上创建多个互相隔离的Python环境每个环境有自己独立的Python解释器版本、独立的包目录、独立的依赖树。你可以给项目A建一个Python 3.9 torch 1.13的环境给项目B建一个Python 3.11 torch 2.1的环境两者互不干扰切换只需要一行命令。这篇文章适合谁看如果你是刚接触AI编程的新手被环境问题折磨得想砸键盘那这篇就是写给你的。如果你已经用了一段时间Python但还在用全局环境硬扛那你也该看看。如果你已经在用conda但只用过最基础的create和activate那这篇文章里关于环境导出、channel优先级、pip与conda混用的坑应该也能帮你省下不少时间。我自己的经历是早期做深度学习项目时因为没管好环境曾经花了一整个下午排查一个ImportError: cannot import name xxx的问题最后发现是全局环境里装了两个版本的同一个包pip装的和conda装的打架了。从那以后我就彻底转向了conda多环境管理再也没回过全局安装的老路。2. Anaconda、Miniconda与conda的关系梳理很多人对这三个概念是模糊的觉得Anaconda就是condaconda就是Anaconda。实际上它们的关系需要理清楚因为这直接影响你该装哪个、怎么装。2.1 三者的准确定位conda是一个包管理器和环境管理器它是一个命令行工具。你可以把它理解成pip virtualenv的合体加强版但能力远不止于此。conda不仅能管理Python包还能管理非Python的二进制依赖比如CUDA库、MKL数学库、编译器工具链等。这是它跟pip最本质的区别——pip只管Python包conda管的是整个软件栈。Anaconda是一个完整的Python发行版它包含了conda、Python解释器、以及预装好的几百个科学计算和数据分析相关的包numpy、scipy、pandas、jupyter、matplotlib等等。装完Anaconda你基本可以直接开始做数据科学了不需要再单独装什么。代价是它很大完整安装大概3到5个GB。Miniconda是Anaconda的精简版它只包含conda、Python和一个极少数的基础包pip、zlib等。装完之后你需要什么自己conda install。它的安装包只有几十MB装完也就几百MB。2.2 该选哪个我的实际建议这里给一个直接的判断标准你的情况推荐选择理由刚入门不确定要装什么包Anaconda预装包覆盖大部分常见需求省去逐个安装的麻烦有明确项目需求知道要装什么Miniconda干净轻量按需安装环境更可控磁盘空间紧张Miniconda节省几个GB的空间需要频繁创建新环境Miniconda基础环境小创建新环境更快教学或团队统一环境Anaconda预装包一致减少我这里能跑你那里不能跑的问题我个人的选择是Miniconda。原因很简单Anaconda预装的几百个包我实际用到的可能就二三十个剩下的全是冗余。而且预装包多了之后有时候反而会造成依赖冲突——你想装一个新包conda发现它跟某个预装包版本不兼容就得花大量时间做依赖求解。Miniconda从零开始你装什么就是什么依赖树干净得多。注意不管你选Anaconda还是Miniconda不要同时装两个。它们会往同一个路径写配置导致conda命令行为异常。如果已经装了想换先把旧的彻底卸载干净再装新的。2.3 安装时的关键选项安装过程中有一个步骤很多人会忽略就是Add Anaconda to my PATH environment variable这个选项。Windows上默认是不勾选的安装程序会建议你用Anaconda Prompt来操作。我的建议是勾选它。不勾选的话你在普通的cmd或PowerShell里敲conda命令会提示找不到。虽然用Anaconda Prompt也能操作但多一层壳总归不方便尤其是你需要在VS Code的终端里直接用conda的时候。如果你已经装了但没勾选也不用重装手动把conda的安装路径加到系统环境变量Path里就行。具体路径一般是C:\Users\你的用户名\miniconda3\Scripts和C:\Users\你的用户名\miniconda3\condabin这两个。3. 环境创建的核心参数与实操细节搞清楚装什么之后接下来就是实际创建环境了。这一步看起来简单但参数选不对后面会埋很多雷。3.1 Python版本怎么选创建环境的第一件事是确定Python版本。这里有一个常见的误区很多人觉得版本越新越好直接上最新的Python 3.12或3.13。但实际上AI领域的很多库对Python版本是有硬性要求的。截至我写这篇文章时的经验比较稳妥的选择是Python 3.10兼容性最好的版本几乎所有主流AI框架都支持包括PyTorch、TensorFlow、JAX等。如果你不确定选什么选3.10基本不会错。Python 3.11性能比3.10有明显提升官方说快10%到60%主流框架也都跟上了。可以作为3.10的替代。Python 3.9一些老项目还在用如果你需要复现一两年前的代码可能需要这个版本。Python 3.12新特性多但部分库的wheel可能还没跟上容易出现找不到预编译包需要从源码编译的情况编译又可能因为缺少C编译器而失败。创建环境的命令是conda create -n myenv python3.10这里的-n后面跟的是环境名python3.10指定了Python版本。conda会自动解析这个版本对应的最新小版本号比如3.10.13。实操心得环境名不要用中文、不要用空格、不要用特殊字符。用英文小写加下划线或连字符比如ai_project、torch-env。中文环境名在某些终端下会乱码空格会导致命令解析出错。3.2 创建时直接指定包你也可以在创建环境的同时把需要的包一起装上conda create -n myenv python3.10 numpy pandas matplotlib jupyter这样conda会在创建环境的过程中一次性解决所有依赖比先创建再逐个安装要快而且依赖求解的结果更优——因为conda能看到全部需求统一做规划。但这里有个坑如果你要装的包很多依赖求解可能会非常慢甚至进入Solving environment的无限循环。这时候可以试试加上--no-deps参数跳过依赖检查或者用mamba替代conda后面会讲。3.3 指定channel的技巧conda从channel频道下载包。默认的channel是defaults但很多AI相关的包在conda-forge这个社区频道上更新更快、版本更全。你可以在创建时指定channelconda create -n myenv python3.10 -c conda-forge-c参数指定channel多个channel可以写多个-cconda会按顺序查找。但更推荐的做法是配置channel优先级写到.condarc文件里。这个文件一般在用户目录下Windows是C:\Users\你的用户名\.condarcLinux/Mac是~/.condarc。内容示例channels: - conda-forge - defaults channel_priority: strictchannel_priority: strict表示严格按顺序查找一旦在conda-forge找到了就不再往defaults找。这能避免同一个包从不同channel装了不同版本导致的冲突。注意不要盲目添加大量第三方channel。channel越多依赖求解越慢而且不同channel的包可能有ABI不兼容的问题。conda-forge加defaults基本够用了。4. 环境激活、切换与日常操作环境建好了接下来就是日常使用。这部分操作不难但有几个细节值得说清楚。4.1 激活与退出的正确姿势激活环境的命令conda activate myenv激活后你的终端提示符前面会出现(myenv)的标记表示当前在这个环境里。这时候你敲python、pip、conda install操作的都是这个环境不会影响其他环境。退出环境conda deactivate退回base环境。这里有一个新手常犯的错误在base环境里直接pip install。base环境是conda自己的基础环境往里装东西容易把conda本身搞坏。正确的做法是永远在专门创建的环境里操作base环境保持干净。如果你发现base环境已经被污染了可以这样恢复conda install -n base --revision 0这会把base环境回滚到初始状态。但更稳妥的做法是重装Miniconda。4.2 查看所有环境conda env list或者简写conda info --envs输出会列出所有环境及其路径当前激活的环境前面有个星号。4.3 删除环境conda remove -n myenv --all这个命令会删除整个环境及其所有包。删除前确认你不需要里面的东西了因为删了就找不回来了。如果只是想删除环境里的某个包conda remove -n myenv numpy4.4 重命名环境conda没有直接的rename命令需要两步走conda create -n newname --clone oldname conda remove -n oldname --all先克隆一份新的再删掉旧的。克隆过程会完整复制环境里的所有包所以如果环境很大这一步会比较慢。实操心得给环境起名时带上用途和Python版本比如nlp_py310、cv_torch21。这样过几个月回头看你一眼就知道这个环境是干什么的不用逐个激活去检查。5. 包安装conda与pip的混用策略这是整个多环境管理里最容易出问题的环节。conda和pip是两个独立的包管理器它们各自维护自己的依赖记录混用不当就会导致依赖冲突。5.1 优先用condaconda没有再用pip基本原则是能用conda装的就用conda装conda找不到的再用pip。为什么因为conda在安装时会做全局依赖求解确保所有包的依赖关系一致。而pip是逐个安装装A的时候不管B装完可能发现A和B依赖了不同版本的C。# 优先 conda install numpy pandas # conda找不到的包再用pip pip install some_special_package5.2 混用时的顺序问题如果你确实需要混用先conda装完所有能装的最后再用pip装剩下的。不要交替进行。原因在于conda在求解依赖时会考虑环境里已有的所有包包括pip装的。但pip在安装时不会考虑conda的依赖约束。如果你先用pip装了一个包再用conda装另一个包conda可能会把pip装的包的依赖升级或降级导致pip装的包坏掉。5.3 pip在conda环境里的正确使用在conda环境里用pip要确保你用的是这个环境自己的pip而不是系统全局的pip。激活环境后用python -m pip install xxx而不是直接pip install xxx。python -m pip能保证pip是当前Python解释器对应的那个避免装错地方。你可以用这个命令确认which pip # Linux/Mac where pip # Windows输出的路径应该在你当前环境的目录下。5.4 依赖冲突的排查方法如果装完包之后运行报错提示某个模块找不到或者版本不对可以这样排查conda list # 列出当前环境所有conda安装的包 pip list # 列出当前环境所有pip安装的包对比两个列表看看有没有同一个包出现两次、版本不同的情况。如果有就是混用导致的冲突。解决办法是确定你需要哪个版本然后统一用一种方式重装。比如确定要numpy 1.24那就conda remove numpy pip uninstall numpy conda install numpy1.24先两边都卸干净再用一种方式装。注意有些包在conda-forge上的版本比PyPI上的旧很多。如果你需要最新版本可能只能用pip装。这种情况下建议把整个环境的依赖都用pip管理而不是conda和pip混着来。但这样你就失去了conda管理二进制依赖的优势需要自己确保CUDA等系统依赖正确安装。6. 环境导出与跨机器复现你在一台机器上配好了环境代码跑通了现在要换一台机器或者要分享给同事。怎么保证对方能复现出一模一样的环境这就需要环境导出。6.1 导出environment.ymlconda env export environment.yml这个命令会导出当前环境的所有包及其精确版本号包括conda装的和pip装的。生成的yml文件大概长这样name: myenv channels: - conda-forge - defaults dependencies: - python3.10.13 - numpy1.24.3 - pandas2.0.3 - pip: - some_package1.2.3对方拿到这个文件后用conda env create -f environment.yml就能创建一个一模一样的环境。6.2 导出时的常见问题问题一导出的文件包含了本地路径。有时候yml里会出现- file:///home/user/...这样的本地路径对方拿到后无法安装。解决办法是导出时加上--no-builds参数conda env export --no-builds environment.yml这会去掉build string只保留版本号兼容性更好。问题二pip装的包没有版本号。如果pip装的包没写版本号对方装的时候会装最新版可能跟你当时的不一样。解决办法是手动编辑yml给pip的包加上版本号。问题三跨平台不兼容。你在Linux上导出的环境拿到Windows上可能装不了因为有些包的build是针对特定平台的。这种情况下建议只导出顶层依赖你直接安装的那些让conda在目标平台上自己求解底层依赖conda env export --from-history environment.yml--from-history只导出你显式安装的包不导出自动安装的依赖。这样跨平台兼容性更好但复现的精确度会降低。6.3 用conda-pack打包整个环境如果你需要把一个环境完整地搬到另一台没有网络的机器上可以用conda-packconda install -c conda-forge conda-pack conda pack -n myenv -o myenv.tar.gz打包出来的tar.gz可以在目标机器上解压然后直接激活使用不需要重新下载任何包。这在离线环境下特别有用。实操心得environment.yml建议跟代码一起提交到git仓库。但要注意如果你用的是conda env export导出的完整版每次装新包后都要重新导出否则yml会过时。我习惯在项目根目录放一个environment.yml并在README里写明如果环境有问题用这个文件重建。7. 常见问题与排查技巧实录这一节整理我在实际使用中遇到的高频问题以及对应的排查思路。7.1 conda activate报错CommandNotFoundError这个错误通常出现在Windows上原因是shell没有正确初始化conda。解决办法conda init然后重启终端。如果用的是PowerShell可能需要conda init powershell如果还是不行检查你的shell配置文件.bashrc、.zshrc或PowerShell的profile里有没有conda的初始化脚本。7.2 依赖求解特别慢卡在Solving environment这是conda最被诟病的问题。原因是conda的依赖求解器是SAT求解器包多了之后复杂度指数级上升。解决办法有几个换用mamba。mamba是用C重写的conda替代品依赖求解速度快几十倍。安装conda install -n base -c conda-forge mamba之后把conda命令替换成mamba即可用法完全一样mamba create -n myenv python3.10 numpy pandas减少channel数量。channel越多求解空间越大。只保留conda-forge和defaults。指定精确版本。不要写numpy写numpy1.24缩小求解范围。7.3 装了包但import报ModuleNotFoundError最常见的原因是装到了别的环境。检查conda activate myenv python -c import sys; print(sys.executable)输出的路径应该是你当前环境的python。如果不是说明你的终端没有正确激活环境或者PATH里有别的python优先级更高。另一个原因是Jupyter Notebook用的kernel不对。你在终端里激活了环境但Jupyter用的是另一个kernel。解决办法是给环境注册kernelconda activate myenv pip install ipykernel python -m ipykernel install --user --namemyenv --display-namePython (myenv)然后在Jupyter里选择对应的kernel。7.4 CUDA版本与PyTorch不匹配这是AI编程里最经典的问题之一。报错通常是RuntimeError: CUDA error: no kernel image is available for execution on the device或者ImportError: libcudart.so.11.0: cannot open shared object file原因是PyTorch编译时用的CUDA版本跟你系统装的CUDA版本不一致。排查步骤确认系统CUDA版本nvcc --version或nvidia-smi确认PyTorch期望的CUDA版本python -c import torch; print(torch.version.cuda)两者要匹配。如果不匹配重装对应版本的PyTorch。PyTorch官网提供了不同CUDA版本对应的安装命令比如# CUDA 11.8 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # CUDA 12.1 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121注意nvidia-smi显示的CUDA版本是驱动支持的最高版本不是你实际安装的CUDA版本。实际版本用nvcc --version看。如果nvcc找不到说明你没装CUDA Toolkit只装了驱动。这种情况下PyTorch可以用自带的CUDA runtime不需要系统装CUDA Toolkit。7.5 环境占用磁盘空间太大conda环境多了之后磁盘占用会快速增长。每个环境都有一份独立的Python解释器和包副本几个环境加起来可能几十GB。清理方法conda clean --all这会清理conda的缓存、未使用的包、tar包等。但注意这不会删除已创建环境里的包只清理缓存。如果你想看每个环境占了多少空间conda env list # 然后对每个环境 du -sh /path/to/envWindows上可以用conda list看包数量或者直接用文件管理器看文件夹大小。7.6 常见问题速查表问题现象可能原因解决方法conda activate报CommandNotFoundshell未初始化执行conda init后重启终端Solving environment卡住依赖求解复杂换mamba减少channel指定版本import报ModuleNotFound装错环境或kernel不对检查sys.executable注册ipykernelCUDA errorCUDA版本不匹配确认nvcc和torch.version.cuda重装对应版本磁盘占用大环境多、缓存多conda clean --all删除不用的环境pip和conda装的包冲突混用导致统一用一种方式重装环境导出后对方装不上包含本地路径或平台不兼容用--no-builds或--from-history导出8. 进阶技巧让环境管理更省心前面讲的都是基础操作这一节分享几个我实际用下来觉得能显著提升效率的技巧。8.1 用condarc配置默认行为.condarc文件除了配置channel还能配置很多默认行为。我的配置channels: - conda-forge - defaults channel_priority: strict auto_activate_base: false env_prompt: ({name}) auto_activate_base: false让终端启动时不自动激活base环境。base环境激活着其实没什么用反而容易误操作。关掉之后终端启动是干净的需要哪个环境手动activate。env_prompt自定义提示符格式默认是(环境名)你可以改成别的比如加上emoji或者颜色但终端要支持。8.2 用conda-lock锁定精确版本conda env export导出的yml在不同平台上重建时可能得到不同的结果因为conda会重新求解依赖。如果你需要跨平台精确复现可以用conda-lockconda install -c conda-forge conda-lock conda-lock -f environment.yml -p linux-64 -p osx-64 -p win-64这会为每个平台生成一个lock文件里面是精确到build string的包列表。对方用lock文件安装能得到完全一致的环境。8.3 在VS Code里管理conda环境VS Code对conda的支持很好。按CtrlShiftP打开命令面板输入Python: Select Interpreter会列出所有conda环境选一个即可。VS Code会自动用那个环境的Python来运行和调试代码。如果你在VS Code的集成终端里发现conda activate不生效检查一下VS Code的终端设置。有时候需要把默认shell改成bash或PowerShell并确保conda init已经执行过。8.4 用environment.yml管理项目依赖我习惯在每个项目根目录放一个environment.yml内容只包含顶层依赖name: project_name channels: - conda-forge dependencies: - python3.10 - numpy - pandas - matplotlib - jupyter - pip: - some-pip-only-package这样做的目的是新人拿到项目后一条命令就能建好环境不需要看README里一长串安装说明。而且顶层依赖不写死版本号conda会自动选兼容的版本跨平台兼容性更好。如果项目对某些包的版本有严格要求再在yml里写死版本号。8.5 定期清理不用的环境我每隔一两个月会检查一次环境列表把不再用的环境删掉。判断标准很简单如果这个环境对应的项目已经结束了或者我已经几个月没碰过了就删。conda env list conda remove -n old_env --all删之前可以先用conda env export导出一份yml存着万一以后需要还能重建。实操心得不要怕删环境。环境是可以重建的只要你保留了environment.yml。真正宝贵的是你的代码和数据环境只是运行代码的工具。保持环境列表精简能减少很多这个环境是干什么的的困惑。9. 我踩过的几个典型坑最后分享几个我实际踩过的坑都是文档里不会写、但实际用起来很容易遇到的问题。第一个坑在base环境里装包。刚用conda的时候不懂直接在base里pip install了一堆东西。后来发现conda自己更新时跟这些包冲突把conda搞坏了最后只能重装。教训是base环境保持干净所有项目用独立环境。第二个坑环境名用了中文。有一次图方便建了个叫深度学习的环境。在Windows的cmd里激活没问题但在Git Bash里就乱码了命令解析出错。后来全部改成英文。第三个坑pip和conda混着装同一个包。有一次conda装了numpy后来用pip又装了一遍结果环境里有两个numpyimport的时候随机加载其中一个导致行为不一致。排查了半天才发现。教训是装包前先conda list看看有没有有的话就别用pip再装。第四个坑导出环境时没加--no-builds。导出的yml里带了build string同事在另一台机器上装的时候因为平台不同找不到对应的build装不上。后来改成--no-builds就好了。第五个坑Jupyter kernel没注册。在终端里激活了环境pip install了包但在Jupyter里import还是报找不到。原因是Jupyter用的还是默认的kernel。注册一下ipykernel就解决了。这些坑说起来都不复杂但没踩过就是不知道。希望看到这里的你能少走点弯路。环境管理这件事说到底就是一句话每个项目一个独立环境base保持干净conda优先pip补充导出yml方便复现。把这几点做到基本就不会再被版本兼容问题折磨了。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
