1. 项目背景与需求解析在日常文档管理和技术写作中我们经常遇到需要批量修改大量Markdown文件内容的情况。比如公司文档迁移时需要替换旧域名、技术文档更新时需要统一修改API接口地址或者像520这种特殊日期需要批量更新文档中的日期标记。手动逐个文件修改不仅效率低下而且容易遗漏。这个脚本工具正是为解决这类痛点而生它能实现递归扫描指定目录及其子目录下的所有.md文件同时替换多个不同的文本内容保留原始文件格式和目录结构支持正则表达式等高级匹配模式2. 技术方案设计2.1 核心功能拆解要实现这个批量替换工具我们需要解决以下几个关键技术点文件遍历模块实现目录递归扫描过滤非md文件处理文件系统权限问题内容替换引擎支持多组替换规则保持换行符和缩进不变处理不同编码格式用户交互界面替换规则配置文件执行进度显示错误处理和日志记录2.2 技术选型对比方案优点缺点适用场景Python脚本跨平台、库丰富需要Python环境技术人员使用Bash脚本无需额外环境Windows兼容性差Linux服务器环境Node.js异步IO性能好内存占用高大型项目集成Go语言编译成二进制学习曲线陡需要分发的工具基于通用性和开发效率考虑我们选择Python作为实现语言主要依赖以下库pathlib处理文件路径re正则表达式替换chardet检测文件编码3. 完整实现代码#!/usr/bin/env python3 import os import re from pathlib import Path import chardet def detect_encoding(filepath): with open(filepath, rb) as f: rawdata f.read(1024) return chardet.detect(rawdata)[encoding] def replace_in_file(filepath, replace_rules): encoding detect_encoding(filepath) try: with open(filepath, r, encodingencoding) as f: content f.read() modified False for pattern, replacement in replace_rules.items(): new_content, count re.subn(pattern, replacement, content) if count 0: modified True content new_content if modified: with open(filepath, w, encodingencoding) as f: f.write(content) return True except Exception as e: print(fError processing {filepath}: {str(e)}) return False def batch_replace(root_dir, replace_rules): root_path Path(root_dir) if not root_path.is_dir(): print(fError: {root_dir} is not a valid directory) return processed_files 0 for filepath in root_path.rglob(*.md): if replace_in_file(filepath, replace_rules): processed_files 1 print(fProcess completed. {processed_files} files modified.) if __name__ __main__: # 示例替换规则旧内容-新内容 replace_rules { r旧公司名: 新公司名, rhttp://old\.domain: https://new.domain, r\d{4}-\d{2}-\d{2}: 2023-05-20 } target_dir input(请输入要处理的目录路径: ) batch_replace(target_dir, replace_rules)4. 关键功能实现详解4.1 递归文件遍历实现我们使用pathlib.Path.rglob()方法实现子目录穿透相比传统的os.walk()有这些优势路径处理更安全支持链式调用返回的是Path对象而非字符串for filepath in Path(root_dir).rglob(*.md): # 处理每个md文件4.2 多内容替换引擎替换核心使用re.subn()方法相比普通替换返回替换次数统计支持正则表达式可以保留原始格式# 同时替换多个不同内容 for pattern, replacement in replace_rules.items(): content, count re.subn(pattern, replacement, content)4.3 编码自动检测通过chardet库解决中文编码问题先读取文件前1KB内容检测可能的编码格式用检测到的编码重新打开文件def detect_encoding(filepath): with open(filepath, rb) as f: return chardet.detect(f.read(1024))[encoding]5. 高级使用技巧5.1 正则表达式替换示例需求场景正则模式替换示例替换日期格式\d{4}-\d{2}-\d{2}2023-05-20 → 2023-12-31移除HTML标签[^]btext/b→ text统一图片路径!\[.*?\]\(\./images/ as f: replace_rules json.load(f)6. 常见问题排查6.1 编码问题解决方案症状替换后文件乱码解决方法确保检测到正确编码统一使用UTF-8保存添加编码声明with open(filepath, w, encodingutf-8-sig) as f: f.write(content)6.2 性能优化技巧当处理数千个文件时先统计文件数量显示进度条多线程处理注意文件锁缓存已检测的编码from tqdm import tqdm files list(root_path.rglob(*.md)) for filepath in tqdm(files, descProcessing): replace_in_file(filepath, rules)6.3 安全注意事项操作前备份重要文件先在少量文件上测试使用--dry-run参数预览修改if --dry-run in sys.argv: print(f[Dry Run] Would replace in {filepath}) continue7. 实际应用案例7.1 公司文档迁移某次公司品牌升级需要替换所有文档中的旧logo路径更新公司名称修改版权年份使用脚本批量处理了1200个文档耗时仅3分钟。7.2 技术文档更新API接口从v1升级到v2replace_rules { /api/v1/: /api/v2/, X-API-KEY: Authorization }7.3 个人知识库维护定期清理临时标记{ !-- TEMP --: , \[临时\]: }8. 扩展功能建议版本控制集成在执行替换前自动git commit备份功能自动创建带时间戳的备份交互式预览显示替换前后的diff对比文件过滤按大小/修改时间过滤文件# 示例只处理最近修改的文件 if filepath.stat().st_mtime cutoff_time: continue这个脚本我已经在实际工作中使用了3年多处理过各种文档批量修改需求。建议初次使用时先在小范围测试熟悉正则表达式的使用后再进行大规模替换。对于特别重要的文档记得提前做好备份。
1. 项目背景与需求解析在日常文档管理和技术写作中我们经常遇到需要批量修改大量Markdown文件内容的情况。比如公司文档迁移时需要替换旧域名、技术文档更新时需要统一修改API接口地址或者像520这种特殊日期需要批量更新文档中的日期标记。手动逐个文件修改不仅效率低下而且容易遗漏。这个脚本工具正是为解决这类痛点而生它能实现递归扫描指定目录及其子目录下的所有.md文件同时替换多个不同的文本内容保留原始文件格式和目录结构支持正则表达式等高级匹配模式2. 技术方案设计2.1 核心功能拆解要实现这个批量替换工具我们需要解决以下几个关键技术点文件遍历模块实现目录递归扫描过滤非md文件处理文件系统权限问题内容替换引擎支持多组替换规则保持换行符和缩进不变处理不同编码格式用户交互界面替换规则配置文件执行进度显示错误处理和日志记录2.2 技术选型对比方案优点缺点适用场景Python脚本跨平台、库丰富需要Python环境技术人员使用Bash脚本无需额外环境Windows兼容性差Linux服务器环境Node.js异步IO性能好内存占用高大型项目集成Go语言编译成二进制学习曲线陡需要分发的工具基于通用性和开发效率考虑我们选择Python作为实现语言主要依赖以下库pathlib处理文件路径re正则表达式替换chardet检测文件编码3. 完整实现代码#!/usr/bin/env python3 import os import re from pathlib import Path import chardet def detect_encoding(filepath): with open(filepath, rb) as f: rawdata f.read(1024) return chardet.detect(rawdata)[encoding] def replace_in_file(filepath, replace_rules): encoding detect_encoding(filepath) try: with open(filepath, r, encodingencoding) as f: content f.read() modified False for pattern, replacement in replace_rules.items(): new_content, count re.subn(pattern, replacement, content) if count 0: modified True content new_content if modified: with open(filepath, w, encodingencoding) as f: f.write(content) return True except Exception as e: print(fError processing {filepath}: {str(e)}) return False def batch_replace(root_dir, replace_rules): root_path Path(root_dir) if not root_path.is_dir(): print(fError: {root_dir} is not a valid directory) return processed_files 0 for filepath in root_path.rglob(*.md): if replace_in_file(filepath, replace_rules): processed_files 1 print(fProcess completed. {processed_files} files modified.) if __name__ __main__: # 示例替换规则旧内容-新内容 replace_rules { r旧公司名: 新公司名, rhttp://old\.domain: https://new.domain, r\d{4}-\d{2}-\d{2}: 2023-05-20 } target_dir input(请输入要处理的目录路径: ) batch_replace(target_dir, replace_rules)4. 关键功能实现详解4.1 递归文件遍历实现我们使用pathlib.Path.rglob()方法实现子目录穿透相比传统的os.walk()有这些优势路径处理更安全支持链式调用返回的是Path对象而非字符串for filepath in Path(root_dir).rglob(*.md): # 处理每个md文件4.2 多内容替换引擎替换核心使用re.subn()方法相比普通替换返回替换次数统计支持正则表达式可以保留原始格式# 同时替换多个不同内容 for pattern, replacement in replace_rules.items(): content, count re.subn(pattern, replacement, content)4.3 编码自动检测通过chardet库解决中文编码问题先读取文件前1KB内容检测可能的编码格式用检测到的编码重新打开文件def detect_encoding(filepath): with open(filepath, rb) as f: return chardet.detect(f.read(1024))[encoding]5. 高级使用技巧5.1 正则表达式替换示例需求场景正则模式替换示例替换日期格式\d{4}-\d{2}-\d{2}2023-05-20 → 2023-12-31移除HTML标签[^]btext/b→ text统一图片路径!\[.*?\]\(\./images/ as f: replace_rules json.load(f)6. 常见问题排查6.1 编码问题解决方案症状替换后文件乱码解决方法确保检测到正确编码统一使用UTF-8保存添加编码声明with open(filepath, w, encodingutf-8-sig) as f: f.write(content)6.2 性能优化技巧当处理数千个文件时先统计文件数量显示进度条多线程处理注意文件锁缓存已检测的编码from tqdm import tqdm files list(root_path.rglob(*.md)) for filepath in tqdm(files, descProcessing): replace_in_file(filepath, rules)6.3 安全注意事项操作前备份重要文件先在少量文件上测试使用--dry-run参数预览修改if --dry-run in sys.argv: print(f[Dry Run] Would replace in {filepath}) continue7. 实际应用案例7.1 公司文档迁移某次公司品牌升级需要替换所有文档中的旧logo路径更新公司名称修改版权年份使用脚本批量处理了1200个文档耗时仅3分钟。7.2 技术文档更新API接口从v1升级到v2replace_rules { /api/v1/: /api/v2/, X-API-KEY: Authorization }7.3 个人知识库维护定期清理临时标记{ !-- TEMP --: , \[临时\]: }8. 扩展功能建议版本控制集成在执行替换前自动git commit备份功能自动创建带时间戳的备份交互式预览显示替换前后的diff对比文件过滤按大小/修改时间过滤文件# 示例只处理最近修改的文件 if filepath.stat().st_mtime cutoff_time: continue这个脚本我已经在实际工作中使用了3年多处理过各种文档批量修改需求。建议初次使用时先在小范围测试熟悉正则表达式的使用后再进行大规模替换。对于特别重要的文档记得提前做好备份。
