很多玩 AI 修复、老照片翻新、视频放大的朋友应该都见过rea这个缩写在技术帖里出现。这不是某个神秘框架的代号绝大多数情况下它指代的是超分辨率开源项目 Real-ESRGAN。我最初也以为是哪个网名缩写直到自己动手把它跑起来才发现这玩意几乎是把模糊图片变清晰的“物理外挂”而且踩完一圈坑之后很多细节是文档里不会写明白的。这篇文章就围绕rea这个缩写展开结合我实际跑项目的过程聊聊它到底是什么、能解决哪些问题、适合谁用以及从环境搭建到批量修复的完整实操路径。如果你是第一次接触图像超分辨率或者已经在用但被各种报错卡住这篇文章应该能帮你省下不少折腾时间。1. rea 到底是什么一个被缩写掩盖的超分工具1.1 从名字说起为什么大家习惯叫它 rearea本身不是一个官方项目名更像是 Real-ESRGAN 在社区交流中的速记写法。Real-ESRGAN 是一个基于深度学习的图像超分辨率模型核心任务就是把低分辨率、模糊、带噪点的图片重建出高分辨率、边缘清晰、细节更丰富的版本。它最早脱胎于 ESRGAN也就是增强型超分辨率生成对抗网络在原始版本基础上引入了更贴近真实降质过程的模拟策略所以对“真实世界模糊图”的修复效果明显更好。我在某个摄影爱好者群里第一次看到有人发“这个老照片用 rea 跑一遍就清楚多了”当时还以为是某种相机滤镜。后来顺着搜索才发现大家说的就是用 Real-ESRGAN 对老照片做超分处理。这个缩写在中文社区尤其是视频修复、老照片翻新相关的交流里传得很开。如果你看到“rea 修复”“rea 放大”“rea 批量”这类句子基本都是在指这个工具。这里还要强调一个容易混淆的点有些朋友会把rea和REAResource-Event-Agent扯到一起后者是会计信息系统里的一种建模方法跟图像超分完全没有关系。所以当你检索信息时如果看到“REA 模型”先分辨一下语境是会计建模还是图像超分别走错方向。1.2 超分辨率的核心原理让模糊图“补细节”而不是“拉大”很多人第一反应是超分辨率就是把图片像素变多用 PS 也能做。但实际上传统插值算法比如双线性、双三次只是根据周围像素计算新像素的颜色本质上是“把原图拉伸”不会产生新的细节所以放大后看起来肉肉的、糊糊的。Real-ESRGAN 的思路完全不一样。它通过学习大量高质量图像和对应降质图像之间的映射关系让模型记住“什么样的模糊模式应该推导出什么样的清晰纹理”。在实际推理时模型会针对输入图像进行特征提取、重构补上高频细节比如头发丝、衣服纹理、砖墙缝隙、树叶脉络等。换句话说它是“凭空推理”出那些在低分辨率下已经丢失的信息再用生成对抗网络中的判别器确保生成结果看起来自然真实。这个过程有点像侦探破案低分辨率图像里虽然看不清但颜色过渡、边缘走向、纹理模式都保留了线索模型根据这些线索推断出最合理的清晰版本。这也是为什么它比传统方法效果好那么多但同时也是它偶尔会“脑补”出失真细节的原因。理解这一点你就能明白后面为什么要调 denoise、outscale 这些参数以及为什么有些图跑出来会“过于光滑”。1.3 为什么选它与传统插值和同类模型的对比我早期试过 OpenCV 的放大函数、PhotoZoom也试过其他超分模型最终长期停留在 Real-ESRGAN 上不是因为别的而是它在“效果—易用性—硬件门槛”之间取得了很平衡的位置。方法/模型细节重建能力对真实模糊图的适应性使用难度硬件要求双三次插值差无新增细节一般低无ESRGAN原版强一般对合成降质图适配更好中显卡可有可无Real-ESRGAN强强针对真实退化过程做了优化低有独显更佳SwinIR强强中高较高显存吃紧从我自己的实测感受来说在同样一张带噪点的旧照片上ESRGAN 容易把噪点强化成伪纹理而 Real-ESRGAN 会把噪点当作降质因素去抑制出来的画面更干净。SwinIR 在纯超分质量上有优势但工程化程度不如 Real-ESRGAN批处理、人脸增强这些功能需要自己额外组合。对于大多数项目或者说日常使用场景Real-ESRGAN 是“开箱即用”的典型代表。2. 把 rea 跑起来环境与模型准备2.1 环境清单显卡、Python 与基础依赖在动手之前先确认手头环境。Real-ESRGAN 本质上是 PyTorch 程序所以只要能装 PyTorch 的环境基本都能跑。我个人的建议配置是操作系统Windows 10/11、常见 Linux 发行版、macOS 均可但 macOS 上不能用 CUDA只能走 CPU速度会慢不少Python 版本3.8 到 3.11 我实测都没问题过高版本有概率遇到某个依赖编译报错显卡NVIDIA 显卡 CUDA 是首选显存 4GB 以上体验比较好2GB 显存也能跑但要把 tile 参数调小内存建议 16GB 以上处理长图或大分辨率图时内存很容易成为瓶颈硬盘模型文件大概几百 MB但批量处理中间结果很占空间预留几个 GB 比较稳妥。如果你只是偶尔跑几张图CPU 也不是不能跑。我有一次在无显卡的笔记本上用 CPU 跑一张 640×960 的老照片outscale 设成 4耗时大约两三分钟效果和显卡一致就是等得比较心焦。所以没有独显的朋友不用太担心只是批量场景下要有耐心。2.2 源码获取与依赖安装过程Real-ESRGAN 的代码托管在公开代码仓库里你可以直接搜索项目名找到仓库地址然后把它克隆到本地。这里有一个很多人忽略的步骤建议创建独立的 Python 虚拟环境不要直接往全局环境里装依赖否则容易和已有项目产生版本冲突。# 创建并激活虚拟环境Windows 用 venv\Scripts\activate python -m venv rea_env source rea_env/bin/activate # 拉取源码 git clone https://github.com/xinntao/Real-ESRGAN.git cd Real-ESRGAN # 安装基础依赖 pip install basicsr -i https://pypi.tuna.tsinghua.edu.cn/simple pip install facexlib gfpgan -i https://pypi.tuna.tsinghua.edu.cn/simple pip install -r requirements.txt pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118这里有个容易踩的坑如果你先装 torch 再装 basicsrbasicsr 可能会因为检测到已存在 torch 而跳过安装没问题但如果你顺序反了basicsr 可能会拉到一个与你显卡不匹配的 torch 版本后面跑模型就会报 CUDA 相关错误。我建议 torch 和 torchvision 单独安装并且版本对应比如 cu118 对应的 torch 版本是 2.0.0 左右不要随便搭配。装完依赖后建议先验证一下 PyTorch 能否识别 GPUimport torch print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU mode)如果输出True和显卡名说明环境没问题如果False后面推理时默认会走 CPU速度慢很多而且某些 batch 操作大概率会遇到性能问题。2.3 模型文件与目录结构别忽略预训练权重源码装好不等于能直接用还差关键的预训练模型。Real-ESRGAN 官方仓库或者 release 页面会提供几个训练好的权重文件比如RealESRGAN_x4plus.pth通用场景四倍放大模型是人像、风景、生活照片的首选RealESRGAN_x4plus_anime_6B.pth针对动漫、插画的专用模型线条和色块处理更稳realesr-general-x4v3.pth通用性更强的版本对老照片和视频帧适配更好。如果你用的是官方仓库里的inference_realesrgan.py脚本脚本会默认在指定目录查找模型。通常是把.pth文件放到weights文件夹下并在命令中通过-n参数指定模型名例如python inference_realesrgan.py -n RealESRGAN_x4plus -i ./inputs -o ./outputs模型文件的下载我建议手动下载后放进weights目录而不是完全依赖脚本自动下载。因为网络原因自动下载可能失败或者下载到一半中断留下一个残缺的 pth 文件运行时什么也不提示只报“模型加载失败”之类的错误。手动下载时留意下文件大小比如RealESRGAN_x4plus.pth大概是 64MB 左右如果只有几十 KB那肯定下载不完整。3. 从单张图片到批量修复rea 的完整实操流程3.1 单图超分基础命令与参数详解环境准备好、模型放对位置之后就可以处理第一张图了。先用最简单的方式跑一张看看效果确认流程通顺python inference_realesrgan.py -n RealESRGAN_x4plus -i ./test.jpg -o ./result.jpg -s 4 -t 512这条命令的意思是加载RealESRGAN_x4plus模型读取test.jpg输出到result.jpg放大倍数设为 4切片大小设为 512 像素。这里-s参数表示 scale也就是放大倍数-t参数是 tile表示将长图切成多个 512×512 的小块分别处理再拼回去。最开始跑可以不用-t让整图直接进模型这样能看到显存占用情况。如果显存不足再调小-t。两条路径的效果基本一致只是-t越小速度越慢。在单图上我建议打开--face_enhance试一下人像效果这个参数会结合 GFPGAN 做人脸增强对模糊人脸的恢复有奇效python inference_realesrgan.py -n RealESRGAN_x4plus -i ./portrait.jpg -o ./portrait_hd.jpg -s 4 --face_enhance第一次跑--face_enhance时程序会自动下载人脸检测模型和 GFPGAN 权重需要一点时间。跑完之后对比原图你会发现五官轮廓明显更清晰皮肤纹理也自然了。这个参数适合人像特写但风景图或者文字截图就不太建议开因为人脸检测可能会把类似人脸的纹理也强行“增强”出现轻微塑胶感。3.2 批量处理脚本化思路与文件夹遍历单张图没问题之后批量就是顺理成章的需求。官方脚本支持传入文件夹作为输入路径比如-i ./input_folder -o ./output_folder会把文件夹里所有支持的图片格式自动处理完。但是这里有两个不方便的地方一是输出文件名默认会加上_x4后缀二是遇到不可解码的图片会直接报错中断。所以我在实际批量处理时更喜欢写一个小脚本保证单张失败不中断整体任务。下面这个 Python 片段可以直接放在 Real-ESRGAN 项目目录下运行它会遍历输入文件夹里的所有图片并对每一张调用官方推理函数import os import glob from basicsr.utils import imwrite from realesrgan import RealESRGANer import cv2 def process_batch(input_dir, output_dir, model_path, scale4, tile512): os.makedirs(output_dir, exist_okTrue) img_list glob.glob(os.path.join(input_dir, *.[jp][pn]g)) img_list glob.glob(os.path.join(input_dir, *.bmp)) img_list glob.glob(os.path.join(input_dir, *.webp)) upsampler RealESRGANer( scalescale, model_pathmodel_path, tiletile, tile_pad10, pre_pad0, halfFalse ) for idx, img_path in enumerate(img_list): try: img cv2.imread(img_path, cv2.IMREAD_UNCHANGED) if img is None: print(f无法读取: {img_path}) continue output, _ upsampler.enhance(img, outscalescale) out_name os.path.splitext(os.path.basename(img_path))[0] f_x{scale}.png imwrite(output, os.path.join(output_dir, out_name)) print(f[{idx1}/{len(img_list)}] 完成: {out_name}) except Exception as e: print(f处理失败 {img_path}: {e}) if __name__ __main__: process_batch(./input_folder, ./output_folder, ./weights/RealESRGAN_x4plus.pth)这个脚本的逻辑很直观用imread读取图片逐个调用upsampler.enhance然后保存为 PNG。注意保存为 PNG 而不是 JPEG可以有效避免二次压缩带来的质量损失这在多次迭代处理时尤其重要。输出文件名我加上了_x4后缀方便一眼看出哪些是处理过的。另外如果你想在批量处理中加入人脸增强只需要在构造RealESRGANer时传入face_enhancer参数或者直接调用官方 CLI 的--face_enhance。但批量开启人脸增强会带来明显的速度下降一张人脸图可能要额外多花几秒你需要评估自己的图量和时间预算。3.3 关键参数调优按场景选择放大倍数、切片与降噪强度很多人以为超分就是把 scale 拉满比如 4 倍不够就上 8 倍、16 倍。实际上放大倍数越大模型需要脑补的细节就越多产生伪影和塑料感的概率也越高。我的经验是普通照片或截图-s 2到-s 4之间比较安全4 倍已经肉眼可见明显提升老照片修复建议先用-s 4处理一遍如果觉得还不够清晰可以基于输出再跑一次-s 2合计 8 倍效果通常比直接-s 8更好动漫图用专用模型时 4 倍没问题线条基本能保持稳定。-t切片大小直接决定显存峰值。整图进模型时一张 2000×3000 的图在 4 倍放大下中间特征图的显存占用会窜到 6GB 甚至更高。而切成 512×512 后每块最多占 1GB 左右显存小的机器也能跑。缺点是切片与切片之间会有微弱的接缝虽然程序里有tile_pad参数做边缘重叠来缓解但在有大面积渐变色的天空图上仔细看还是能发现微小痕迹。所以如果你的显卡显存够大比如 8GB 以上可以优先不切片或者把 tile 调到 1024。还有一个参数是-dn即 denoise 强度取值范围 0 到 1默认是 0.5。这个参数在通用模型realesr-general-x4v3上特别有用。我的经验是dn越低画面保留的纹理越多适合本身噪点不明显的图dn越高去噪越狠适合满是颗粒感的老照片。调到 0.5 以上时有些细小的纹理会被一并抹掉所以不要一味追求“干净”。4. 老照片修复路径rea 在人像与动漫场景的扩展玩法4.1 人像修复把面部增强和超分配合起来如果说超分辨率重建了整体轮廓那人脸增强负责的是“关键区域精修”。老照片里的人脸往往只剩一团模糊的肉色区域鼻子眼睛几乎分不清。Real-ESRGAN 的--face_enhance选项会先用一个人脸检测模型定位面部区域然后用 GFPGAN 模型对这块区域单独做修复再融合回整体结果里。融合过程会有权重控制避免修复区域和周围环境反差太大。不过这里有个细节值得注意--face_enhance对“正面清晰人脸”效果最好如果照片里是侧脸、低头、遮挡严重或者多人合影且人脸很小人脸检测可能定位不准修复效果会打折扣甚至出现轻微错位。我的处理方式是第一步先不带--face_enhance跑一遍完整超分然后单独把脸部裁剪出来用--face_enhance处理最后再用图像编辑软件把修复后的脸部贴回去。虽然麻烦一点但对极端模糊的老照片来说这是最可控的方案。顺带提一句--face_enhance并不等于“把所有人都变好看”它的核心是把五官边缘理清楚、皮肤纹理变得更真实而不是美颜磨皮。如果原图就有较大面部瑕疵超分后瑕疵也会被放大。前置去划痕、除尘点的工作尽量在超分之前做。4.2 动漫与插画场景选择合适的专用模型如果你处理的是动漫截图、线稿或者插画用通用模型往往会出现两种问题一是线条被过度平滑勾线变得绵软无力二是色块区域产生类似水彩晕染的伪纹理。Real-ESRGAN 官方提供的anime_6B模型就是为这类内容优化的。它在训练时针对动漫图像的特性做了调整结构边缘保留能力更强颜色渐变区域更干净同时参数量更小推理速度更快。我用同一张动漫截图试过通用模型跑完蝴蝶结边缘出现了明显锯齿状伪影而专用模型跑出来线条干净利落背景上色也自然。所以别嫌麻烦处理动漫内容时就多敲几个字符指定一下专用模型python inference_realesrgan.py -n RealESRGAN_x4plus_anime_6B -i ./anime.png -o ./anime_hd.png -s 4需要留意的是这个模型对“三次元”内容的表现不如通用模型。我试着用它处理一张风景照结果树叶变成了类似水墨画的感觉噪点倒是没了但也丢了真实感。所以模型选择的原则很简单内容是什么类型就选匹配的模型别混用。4.3 修复前的预处理思路去划痕、除尘与色彩校正超分模型只能放大细节不能凭空解决所有损坏类型。划痕、大面积污渍、褪色偏色这些问题超分前处理比超分后处理更容易。我自己的一般流程是先用图像编辑软件的修复画笔或者去污工具去掉明显的大划痕、折痕和灰尘点再用色阶命令调整白平衡把严重偏黄偏青的照片校正到一个接近中性的色调最后才交给 rea 做超分。原因是模型在训练时见过的降质过程更多是模糊、噪点、压缩失真对“白条划痕”“墨水渍”这类损坏没有特别强的修复能力。如果你直接把一张满是划痕的老照片丢进去输出里划痕依然存在顶多是变得更清晰、更醒目。另外如果照片有严重偏色建议在超分前先做灰平衡校正。偏色会在模型的色彩重建过程中被当作特征保持下来结果就是你超分完还要再去一遍色绕了一圈。5. 实操中常见的报错与排查实录5.1 显存不足CUDA out of memory这是新手最容易撞上的墙。报错信息一般长这样RuntimeError: CUDA out of memory. Tried to allocate 512.00 MiB解决办法很直接调小-t比如从 512 改成 256或者把half参数打开。half表示用半精度浮点数参与计算显存占用会直接砍掉一半左右。但半精度在部分老显卡上有兼容性问题如果打开后发现输出图片出现异常噪点或颜色条带就把它关掉换回全精度。另外要注意很多朋友会把输出目录和输入目录设置成同一个原图被覆盖后系统缓存和临时文件还在磁盘空间紧张也会间接导致程序无法写入。建议输入输出目录分开既安全又方便对比。5.2 输出颜色偏灰、偏暗或者整体发白我在处理一批老照片时遇到过输出颜色明显不如原图鲜艳的情况。这跟图像加载方式有关系OpenCV 的cv2.imread默认加载 BGR 格式而模型训练时用的是 RGB 格式输出保存时如果转换顺序不对就会出现偏色。官方推理脚本里已经处理了这个转换正常情况下不会出问题。但如果你自己写脚本调用模型或者用第三方程序调用就要确认数据通道顺序。判断方法很简单如果输出图的红色区域显示成蓝色那说明 BGR 和 RGB 搞反了把通道转换函数加上即可。颜色偏灰还有一种可能是-dn降噪强度太高。降噪过程本质上是在做平滑会同时降低对比度和色彩饱和度。遇到这种情况先检查 denoise 参数是否超过了 0.6如果是可以降到 0.3 再跑一遍看看。5.3 超分后图片反而更模糊有一类很隐蔽的情况输入图片本身分辨率已经较高但细节糊、涂抹感强。这种图直接送入超分模型模型会认为“当前输入就是高分辨率”于是只做了一个小倍率的内部重构细节并没有恢复反而因为生成对抗网络的自洽压力把原本的微小纹理进一步抹平了。处理办法是先对图片做一次轻度降采样比如缩小到原来的四分之一再让它超分回原来的尺寸。这样相当于人为制造了一个“低分辨率版本”模型才会真正启动重建能力。这个方法我在修复网络下载的低质量影视截图时屡试不爽。5.4 常见问题速查表现象可能原因解决方案CUDA out of memory显存不足调小 tile、开启 half、缩小输入尺寸加载模型失败权重文件损坏或不完整删掉重新下载完整 pth输出偏色BGR/RGB 通道错误检查通道转换或改用官方脚本输出模糊原图“假高分辨率”先降采样再超分动漫图线条糊误用通用模型切换到 anime 专用模型人脸重塑感强face_enhance 误识别裁剪脸部局部处理再手动融合CPU 推理极慢无可用 GPU降低 tile、使用 anime 小模型或更换机器6. 影响范围与后续扩展rea 能用到哪些真实场景6.1 印刷扫描件、视频抽帧与批量素材增强除了老照片rea在实际项目中还有几个高频应用方向。一个是印刷品质的老书、老杂志扫描件扫描出来的页面往往分辨率不够文字边缘发虚超分后虽然不一定能恢复到印刷级锐利但配合 OCR 识别时准确率会提高一个档次。另一个是监控视频或老影视素材的抽帧修复把视频导出成帧序列逐帧超分后再合成视频画质提升非常明显。这种工作耗时很长但胜在自动化程度高只要批量脚本稳定挂机跑就行。我参加过一个小型的历史影像数字化模拟项目素材是一批低分辨率的录像带转数字文件抽帧后用 rea 做四倍超分再通过视频编码合成 4K 输出。整体流程就是“抽帧 → 批量超分 → 合成”中途处理的照片大概几千张脚本稳定运行了两天。最终输出的视频在普通显示器上播放清晰度明显优于原素材那种年代感的噪点收敛了很多边缘细节更扎实。6.2 输出文件的交付规范格式、命名与归档批量处理几百张图之后你会发现最耗时的往往不是跑模型而是整理文件和核对结果。我现在的规范是输出统一为 PNG 格式避免 JPEG 二次压缩命名规则保留原始文件名并追加_x4、_x2后缀绝不覆盖原图按照“原图目录 → 修复中间结果目录 → 最终成片目录”三级结构管理中间结果不删方便返工每批处理完成后随机抽检 5% 的图片重点看人脸区域和边缘区域有没有明显伪影。这套规范看起来简单但在多人协作或项目交接时非常省事。曾经有位协助者把所有输出全堆在一个目录里文件名还是默认的output_001这类编号结果后期根本分不清哪张对哪张返工时几乎重跑一遍。命名规范本质上是给自己留退路。6.3 进一步扩展的方向图形界面封装与批处理工具如果你熟悉 Python可以基于 PyQt 或者 Tkinter 给 rea 套一个简易图形界面把模型选择、放大倍数、降噪强度、人脸增强这些参数做成下拉框和滑块。这样不仅自己操作方便非技术背景的同事也能直接用。我给某工作室封装过一个内部小工具界面就三个选项输入目录、输出目录、处理档位标准四倍、高清四倍、动漫四倍使用的人只需要点开始其它交给脚本。这个方向还能继续扩展成定时任务比如每天凌晨自动扫描某个文件夹里的新图片自动超分输出到指定目录。在处理视频帧时尤其有价值因为你不用一直盯着进度条。不过要注意的是批量挂机对稳定性要求高建议在脚本外层加一个失败重试机制并且记录每张图的处理日志方便长时间运行后回溯问题。最后再分享一个小技巧处理超分图时不要只看放大后的整体效果要把图像缩放到 100% 再仔细观察局部。我见过不少人被大图缩略显示“惊艳”到结果一放大人脸边缘全是锯齿状伪影。真实项目交付时验收标准永远是 100% 视图下的细节表现。还有一点如果遇到一些文字、图表类的截图超分之后再用一次轻度的锐化滤镜阅读体验会更好。这个操作可以用图像处理库一行代码搞定但前提是超分本身已经完成不要拿锐化去试图掩盖超分不足那样只会让噪点更明显。
很多玩 AI 修复、老照片翻新、视频放大的朋友应该都见过rea这个缩写在技术帖里出现。这不是某个神秘框架的代号绝大多数情况下它指代的是超分辨率开源项目 Real-ESRGAN。我最初也以为是哪个网名缩写直到自己动手把它跑起来才发现这玩意几乎是把模糊图片变清晰的“物理外挂”而且踩完一圈坑之后很多细节是文档里不会写明白的。这篇文章就围绕rea这个缩写展开结合我实际跑项目的过程聊聊它到底是什么、能解决哪些问题、适合谁用以及从环境搭建到批量修复的完整实操路径。如果你是第一次接触图像超分辨率或者已经在用但被各种报错卡住这篇文章应该能帮你省下不少折腾时间。1. rea 到底是什么一个被缩写掩盖的超分工具1.1 从名字说起为什么大家习惯叫它 rearea本身不是一个官方项目名更像是 Real-ESRGAN 在社区交流中的速记写法。Real-ESRGAN 是一个基于深度学习的图像超分辨率模型核心任务就是把低分辨率、模糊、带噪点的图片重建出高分辨率、边缘清晰、细节更丰富的版本。它最早脱胎于 ESRGAN也就是增强型超分辨率生成对抗网络在原始版本基础上引入了更贴近真实降质过程的模拟策略所以对“真实世界模糊图”的修复效果明显更好。我在某个摄影爱好者群里第一次看到有人发“这个老照片用 rea 跑一遍就清楚多了”当时还以为是某种相机滤镜。后来顺着搜索才发现大家说的就是用 Real-ESRGAN 对老照片做超分处理。这个缩写在中文社区尤其是视频修复、老照片翻新相关的交流里传得很开。如果你看到“rea 修复”“rea 放大”“rea 批量”这类句子基本都是在指这个工具。这里还要强调一个容易混淆的点有些朋友会把rea和REAResource-Event-Agent扯到一起后者是会计信息系统里的一种建模方法跟图像超分完全没有关系。所以当你检索信息时如果看到“REA 模型”先分辨一下语境是会计建模还是图像超分别走错方向。1.2 超分辨率的核心原理让模糊图“补细节”而不是“拉大”很多人第一反应是超分辨率就是把图片像素变多用 PS 也能做。但实际上传统插值算法比如双线性、双三次只是根据周围像素计算新像素的颜色本质上是“把原图拉伸”不会产生新的细节所以放大后看起来肉肉的、糊糊的。Real-ESRGAN 的思路完全不一样。它通过学习大量高质量图像和对应降质图像之间的映射关系让模型记住“什么样的模糊模式应该推导出什么样的清晰纹理”。在实际推理时模型会针对输入图像进行特征提取、重构补上高频细节比如头发丝、衣服纹理、砖墙缝隙、树叶脉络等。换句话说它是“凭空推理”出那些在低分辨率下已经丢失的信息再用生成对抗网络中的判别器确保生成结果看起来自然真实。这个过程有点像侦探破案低分辨率图像里虽然看不清但颜色过渡、边缘走向、纹理模式都保留了线索模型根据这些线索推断出最合理的清晰版本。这也是为什么它比传统方法效果好那么多但同时也是它偶尔会“脑补”出失真细节的原因。理解这一点你就能明白后面为什么要调 denoise、outscale 这些参数以及为什么有些图跑出来会“过于光滑”。1.3 为什么选它与传统插值和同类模型的对比我早期试过 OpenCV 的放大函数、PhotoZoom也试过其他超分模型最终长期停留在 Real-ESRGAN 上不是因为别的而是它在“效果—易用性—硬件门槛”之间取得了很平衡的位置。方法/模型细节重建能力对真实模糊图的适应性使用难度硬件要求双三次插值差无新增细节一般低无ESRGAN原版强一般对合成降质图适配更好中显卡可有可无Real-ESRGAN强强针对真实退化过程做了优化低有独显更佳SwinIR强强中高较高显存吃紧从我自己的实测感受来说在同样一张带噪点的旧照片上ESRGAN 容易把噪点强化成伪纹理而 Real-ESRGAN 会把噪点当作降质因素去抑制出来的画面更干净。SwinIR 在纯超分质量上有优势但工程化程度不如 Real-ESRGAN批处理、人脸增强这些功能需要自己额外组合。对于大多数项目或者说日常使用场景Real-ESRGAN 是“开箱即用”的典型代表。2. 把 rea 跑起来环境与模型准备2.1 环境清单显卡、Python 与基础依赖在动手之前先确认手头环境。Real-ESRGAN 本质上是 PyTorch 程序所以只要能装 PyTorch 的环境基本都能跑。我个人的建议配置是操作系统Windows 10/11、常见 Linux 发行版、macOS 均可但 macOS 上不能用 CUDA只能走 CPU速度会慢不少Python 版本3.8 到 3.11 我实测都没问题过高版本有概率遇到某个依赖编译报错显卡NVIDIA 显卡 CUDA 是首选显存 4GB 以上体验比较好2GB 显存也能跑但要把 tile 参数调小内存建议 16GB 以上处理长图或大分辨率图时内存很容易成为瓶颈硬盘模型文件大概几百 MB但批量处理中间结果很占空间预留几个 GB 比较稳妥。如果你只是偶尔跑几张图CPU 也不是不能跑。我有一次在无显卡的笔记本上用 CPU 跑一张 640×960 的老照片outscale 设成 4耗时大约两三分钟效果和显卡一致就是等得比较心焦。所以没有独显的朋友不用太担心只是批量场景下要有耐心。2.2 源码获取与依赖安装过程Real-ESRGAN 的代码托管在公开代码仓库里你可以直接搜索项目名找到仓库地址然后把它克隆到本地。这里有一个很多人忽略的步骤建议创建独立的 Python 虚拟环境不要直接往全局环境里装依赖否则容易和已有项目产生版本冲突。# 创建并激活虚拟环境Windows 用 venv\Scripts\activate python -m venv rea_env source rea_env/bin/activate # 拉取源码 git clone https://github.com/xinntao/Real-ESRGAN.git cd Real-ESRGAN # 安装基础依赖 pip install basicsr -i https://pypi.tuna.tsinghua.edu.cn/simple pip install facexlib gfpgan -i https://pypi.tuna.tsinghua.edu.cn/simple pip install -r requirements.txt pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118这里有个容易踩的坑如果你先装 torch 再装 basicsrbasicsr 可能会因为检测到已存在 torch 而跳过安装没问题但如果你顺序反了basicsr 可能会拉到一个与你显卡不匹配的 torch 版本后面跑模型就会报 CUDA 相关错误。我建议 torch 和 torchvision 单独安装并且版本对应比如 cu118 对应的 torch 版本是 2.0.0 左右不要随便搭配。装完依赖后建议先验证一下 PyTorch 能否识别 GPUimport torch print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU mode)如果输出True和显卡名说明环境没问题如果False后面推理时默认会走 CPU速度慢很多而且某些 batch 操作大概率会遇到性能问题。2.3 模型文件与目录结构别忽略预训练权重源码装好不等于能直接用还差关键的预训练模型。Real-ESRGAN 官方仓库或者 release 页面会提供几个训练好的权重文件比如RealESRGAN_x4plus.pth通用场景四倍放大模型是人像、风景、生活照片的首选RealESRGAN_x4plus_anime_6B.pth针对动漫、插画的专用模型线条和色块处理更稳realesr-general-x4v3.pth通用性更强的版本对老照片和视频帧适配更好。如果你用的是官方仓库里的inference_realesrgan.py脚本脚本会默认在指定目录查找模型。通常是把.pth文件放到weights文件夹下并在命令中通过-n参数指定模型名例如python inference_realesrgan.py -n RealESRGAN_x4plus -i ./inputs -o ./outputs模型文件的下载我建议手动下载后放进weights目录而不是完全依赖脚本自动下载。因为网络原因自动下载可能失败或者下载到一半中断留下一个残缺的 pth 文件运行时什么也不提示只报“模型加载失败”之类的错误。手动下载时留意下文件大小比如RealESRGAN_x4plus.pth大概是 64MB 左右如果只有几十 KB那肯定下载不完整。3. 从单张图片到批量修复rea 的完整实操流程3.1 单图超分基础命令与参数详解环境准备好、模型放对位置之后就可以处理第一张图了。先用最简单的方式跑一张看看效果确认流程通顺python inference_realesrgan.py -n RealESRGAN_x4plus -i ./test.jpg -o ./result.jpg -s 4 -t 512这条命令的意思是加载RealESRGAN_x4plus模型读取test.jpg输出到result.jpg放大倍数设为 4切片大小设为 512 像素。这里-s参数表示 scale也就是放大倍数-t参数是 tile表示将长图切成多个 512×512 的小块分别处理再拼回去。最开始跑可以不用-t让整图直接进模型这样能看到显存占用情况。如果显存不足再调小-t。两条路径的效果基本一致只是-t越小速度越慢。在单图上我建议打开--face_enhance试一下人像效果这个参数会结合 GFPGAN 做人脸增强对模糊人脸的恢复有奇效python inference_realesrgan.py -n RealESRGAN_x4plus -i ./portrait.jpg -o ./portrait_hd.jpg -s 4 --face_enhance第一次跑--face_enhance时程序会自动下载人脸检测模型和 GFPGAN 权重需要一点时间。跑完之后对比原图你会发现五官轮廓明显更清晰皮肤纹理也自然了。这个参数适合人像特写但风景图或者文字截图就不太建议开因为人脸检测可能会把类似人脸的纹理也强行“增强”出现轻微塑胶感。3.2 批量处理脚本化思路与文件夹遍历单张图没问题之后批量就是顺理成章的需求。官方脚本支持传入文件夹作为输入路径比如-i ./input_folder -o ./output_folder会把文件夹里所有支持的图片格式自动处理完。但是这里有两个不方便的地方一是输出文件名默认会加上_x4后缀二是遇到不可解码的图片会直接报错中断。所以我在实际批量处理时更喜欢写一个小脚本保证单张失败不中断整体任务。下面这个 Python 片段可以直接放在 Real-ESRGAN 项目目录下运行它会遍历输入文件夹里的所有图片并对每一张调用官方推理函数import os import glob from basicsr.utils import imwrite from realesrgan import RealESRGANer import cv2 def process_batch(input_dir, output_dir, model_path, scale4, tile512): os.makedirs(output_dir, exist_okTrue) img_list glob.glob(os.path.join(input_dir, *.[jp][pn]g)) img_list glob.glob(os.path.join(input_dir, *.bmp)) img_list glob.glob(os.path.join(input_dir, *.webp)) upsampler RealESRGANer( scalescale, model_pathmodel_path, tiletile, tile_pad10, pre_pad0, halfFalse ) for idx, img_path in enumerate(img_list): try: img cv2.imread(img_path, cv2.IMREAD_UNCHANGED) if img is None: print(f无法读取: {img_path}) continue output, _ upsampler.enhance(img, outscalescale) out_name os.path.splitext(os.path.basename(img_path))[0] f_x{scale}.png imwrite(output, os.path.join(output_dir, out_name)) print(f[{idx1}/{len(img_list)}] 完成: {out_name}) except Exception as e: print(f处理失败 {img_path}: {e}) if __name__ __main__: process_batch(./input_folder, ./output_folder, ./weights/RealESRGAN_x4plus.pth)这个脚本的逻辑很直观用imread读取图片逐个调用upsampler.enhance然后保存为 PNG。注意保存为 PNG 而不是 JPEG可以有效避免二次压缩带来的质量损失这在多次迭代处理时尤其重要。输出文件名我加上了_x4后缀方便一眼看出哪些是处理过的。另外如果你想在批量处理中加入人脸增强只需要在构造RealESRGANer时传入face_enhancer参数或者直接调用官方 CLI 的--face_enhance。但批量开启人脸增强会带来明显的速度下降一张人脸图可能要额外多花几秒你需要评估自己的图量和时间预算。3.3 关键参数调优按场景选择放大倍数、切片与降噪强度很多人以为超分就是把 scale 拉满比如 4 倍不够就上 8 倍、16 倍。实际上放大倍数越大模型需要脑补的细节就越多产生伪影和塑料感的概率也越高。我的经验是普通照片或截图-s 2到-s 4之间比较安全4 倍已经肉眼可见明显提升老照片修复建议先用-s 4处理一遍如果觉得还不够清晰可以基于输出再跑一次-s 2合计 8 倍效果通常比直接-s 8更好动漫图用专用模型时 4 倍没问题线条基本能保持稳定。-t切片大小直接决定显存峰值。整图进模型时一张 2000×3000 的图在 4 倍放大下中间特征图的显存占用会窜到 6GB 甚至更高。而切成 512×512 后每块最多占 1GB 左右显存小的机器也能跑。缺点是切片与切片之间会有微弱的接缝虽然程序里有tile_pad参数做边缘重叠来缓解但在有大面积渐变色的天空图上仔细看还是能发现微小痕迹。所以如果你的显卡显存够大比如 8GB 以上可以优先不切片或者把 tile 调到 1024。还有一个参数是-dn即 denoise 强度取值范围 0 到 1默认是 0.5。这个参数在通用模型realesr-general-x4v3上特别有用。我的经验是dn越低画面保留的纹理越多适合本身噪点不明显的图dn越高去噪越狠适合满是颗粒感的老照片。调到 0.5 以上时有些细小的纹理会被一并抹掉所以不要一味追求“干净”。4. 老照片修复路径rea 在人像与动漫场景的扩展玩法4.1 人像修复把面部增强和超分配合起来如果说超分辨率重建了整体轮廓那人脸增强负责的是“关键区域精修”。老照片里的人脸往往只剩一团模糊的肉色区域鼻子眼睛几乎分不清。Real-ESRGAN 的--face_enhance选项会先用一个人脸检测模型定位面部区域然后用 GFPGAN 模型对这块区域单独做修复再融合回整体结果里。融合过程会有权重控制避免修复区域和周围环境反差太大。不过这里有个细节值得注意--face_enhance对“正面清晰人脸”效果最好如果照片里是侧脸、低头、遮挡严重或者多人合影且人脸很小人脸检测可能定位不准修复效果会打折扣甚至出现轻微错位。我的处理方式是第一步先不带--face_enhance跑一遍完整超分然后单独把脸部裁剪出来用--face_enhance处理最后再用图像编辑软件把修复后的脸部贴回去。虽然麻烦一点但对极端模糊的老照片来说这是最可控的方案。顺带提一句--face_enhance并不等于“把所有人都变好看”它的核心是把五官边缘理清楚、皮肤纹理变得更真实而不是美颜磨皮。如果原图就有较大面部瑕疵超分后瑕疵也会被放大。前置去划痕、除尘点的工作尽量在超分之前做。4.2 动漫与插画场景选择合适的专用模型如果你处理的是动漫截图、线稿或者插画用通用模型往往会出现两种问题一是线条被过度平滑勾线变得绵软无力二是色块区域产生类似水彩晕染的伪纹理。Real-ESRGAN 官方提供的anime_6B模型就是为这类内容优化的。它在训练时针对动漫图像的特性做了调整结构边缘保留能力更强颜色渐变区域更干净同时参数量更小推理速度更快。我用同一张动漫截图试过通用模型跑完蝴蝶结边缘出现了明显锯齿状伪影而专用模型跑出来线条干净利落背景上色也自然。所以别嫌麻烦处理动漫内容时就多敲几个字符指定一下专用模型python inference_realesrgan.py -n RealESRGAN_x4plus_anime_6B -i ./anime.png -o ./anime_hd.png -s 4需要留意的是这个模型对“三次元”内容的表现不如通用模型。我试着用它处理一张风景照结果树叶变成了类似水墨画的感觉噪点倒是没了但也丢了真实感。所以模型选择的原则很简单内容是什么类型就选匹配的模型别混用。4.3 修复前的预处理思路去划痕、除尘与色彩校正超分模型只能放大细节不能凭空解决所有损坏类型。划痕、大面积污渍、褪色偏色这些问题超分前处理比超分后处理更容易。我自己的一般流程是先用图像编辑软件的修复画笔或者去污工具去掉明显的大划痕、折痕和灰尘点再用色阶命令调整白平衡把严重偏黄偏青的照片校正到一个接近中性的色调最后才交给 rea 做超分。原因是模型在训练时见过的降质过程更多是模糊、噪点、压缩失真对“白条划痕”“墨水渍”这类损坏没有特别强的修复能力。如果你直接把一张满是划痕的老照片丢进去输出里划痕依然存在顶多是变得更清晰、更醒目。另外如果照片有严重偏色建议在超分前先做灰平衡校正。偏色会在模型的色彩重建过程中被当作特征保持下来结果就是你超分完还要再去一遍色绕了一圈。5. 实操中常见的报错与排查实录5.1 显存不足CUDA out of memory这是新手最容易撞上的墙。报错信息一般长这样RuntimeError: CUDA out of memory. Tried to allocate 512.00 MiB解决办法很直接调小-t比如从 512 改成 256或者把half参数打开。half表示用半精度浮点数参与计算显存占用会直接砍掉一半左右。但半精度在部分老显卡上有兼容性问题如果打开后发现输出图片出现异常噪点或颜色条带就把它关掉换回全精度。另外要注意很多朋友会把输出目录和输入目录设置成同一个原图被覆盖后系统缓存和临时文件还在磁盘空间紧张也会间接导致程序无法写入。建议输入输出目录分开既安全又方便对比。5.2 输出颜色偏灰、偏暗或者整体发白我在处理一批老照片时遇到过输出颜色明显不如原图鲜艳的情况。这跟图像加载方式有关系OpenCV 的cv2.imread默认加载 BGR 格式而模型训练时用的是 RGB 格式输出保存时如果转换顺序不对就会出现偏色。官方推理脚本里已经处理了这个转换正常情况下不会出问题。但如果你自己写脚本调用模型或者用第三方程序调用就要确认数据通道顺序。判断方法很简单如果输出图的红色区域显示成蓝色那说明 BGR 和 RGB 搞反了把通道转换函数加上即可。颜色偏灰还有一种可能是-dn降噪强度太高。降噪过程本质上是在做平滑会同时降低对比度和色彩饱和度。遇到这种情况先检查 denoise 参数是否超过了 0.6如果是可以降到 0.3 再跑一遍看看。5.3 超分后图片反而更模糊有一类很隐蔽的情况输入图片本身分辨率已经较高但细节糊、涂抹感强。这种图直接送入超分模型模型会认为“当前输入就是高分辨率”于是只做了一个小倍率的内部重构细节并没有恢复反而因为生成对抗网络的自洽压力把原本的微小纹理进一步抹平了。处理办法是先对图片做一次轻度降采样比如缩小到原来的四分之一再让它超分回原来的尺寸。这样相当于人为制造了一个“低分辨率版本”模型才会真正启动重建能力。这个方法我在修复网络下载的低质量影视截图时屡试不爽。5.4 常见问题速查表现象可能原因解决方案CUDA out of memory显存不足调小 tile、开启 half、缩小输入尺寸加载模型失败权重文件损坏或不完整删掉重新下载完整 pth输出偏色BGR/RGB 通道错误检查通道转换或改用官方脚本输出模糊原图“假高分辨率”先降采样再超分动漫图线条糊误用通用模型切换到 anime 专用模型人脸重塑感强face_enhance 误识别裁剪脸部局部处理再手动融合CPU 推理极慢无可用 GPU降低 tile、使用 anime 小模型或更换机器6. 影响范围与后续扩展rea 能用到哪些真实场景6.1 印刷扫描件、视频抽帧与批量素材增强除了老照片rea在实际项目中还有几个高频应用方向。一个是印刷品质的老书、老杂志扫描件扫描出来的页面往往分辨率不够文字边缘发虚超分后虽然不一定能恢复到印刷级锐利但配合 OCR 识别时准确率会提高一个档次。另一个是监控视频或老影视素材的抽帧修复把视频导出成帧序列逐帧超分后再合成视频画质提升非常明显。这种工作耗时很长但胜在自动化程度高只要批量脚本稳定挂机跑就行。我参加过一个小型的历史影像数字化模拟项目素材是一批低分辨率的录像带转数字文件抽帧后用 rea 做四倍超分再通过视频编码合成 4K 输出。整体流程就是“抽帧 → 批量超分 → 合成”中途处理的照片大概几千张脚本稳定运行了两天。最终输出的视频在普通显示器上播放清晰度明显优于原素材那种年代感的噪点收敛了很多边缘细节更扎实。6.2 输出文件的交付规范格式、命名与归档批量处理几百张图之后你会发现最耗时的往往不是跑模型而是整理文件和核对结果。我现在的规范是输出统一为 PNG 格式避免 JPEG 二次压缩命名规则保留原始文件名并追加_x4、_x2后缀绝不覆盖原图按照“原图目录 → 修复中间结果目录 → 最终成片目录”三级结构管理中间结果不删方便返工每批处理完成后随机抽检 5% 的图片重点看人脸区域和边缘区域有没有明显伪影。这套规范看起来简单但在多人协作或项目交接时非常省事。曾经有位协助者把所有输出全堆在一个目录里文件名还是默认的output_001这类编号结果后期根本分不清哪张对哪张返工时几乎重跑一遍。命名规范本质上是给自己留退路。6.3 进一步扩展的方向图形界面封装与批处理工具如果你熟悉 Python可以基于 PyQt 或者 Tkinter 给 rea 套一个简易图形界面把模型选择、放大倍数、降噪强度、人脸增强这些参数做成下拉框和滑块。这样不仅自己操作方便非技术背景的同事也能直接用。我给某工作室封装过一个内部小工具界面就三个选项输入目录、输出目录、处理档位标准四倍、高清四倍、动漫四倍使用的人只需要点开始其它交给脚本。这个方向还能继续扩展成定时任务比如每天凌晨自动扫描某个文件夹里的新图片自动超分输出到指定目录。在处理视频帧时尤其有价值因为你不用一直盯着进度条。不过要注意的是批量挂机对稳定性要求高建议在脚本外层加一个失败重试机制并且记录每张图的处理日志方便长时间运行后回溯问题。最后再分享一个小技巧处理超分图时不要只看放大后的整体效果要把图像缩放到 100% 再仔细观察局部。我见过不少人被大图缩略显示“惊艳”到结果一放大人脸边缘全是锯齿状伪影。真实项目交付时验收标准永远是 100% 视图下的细节表现。还有一点如果遇到一些文字、图表类的截图超分之后再用一次轻度的锐化滤镜阅读体验会更好。这个操作可以用图像处理库一行代码搞定但前提是超分本身已经完成不要拿锐化去试图掩盖超分不足那样只会让噪点更明显。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
