项目文件说明核心文件主脚本process_papers.py- 主执行脚本用于处理PDF论文并生成Dify知识库数据测试文件test_processor.py- 单元测试脚本验证各个模块功能源码目录 (src/pdf_processor/)config.py- 配置文件包含chunk设置、章节识别规则等pdf_extractor.py- PDF文本提取器使用PyMuPDF提取和清洗文本chunker.py- 语义感知的文本分割器基于论文章节结构metadata_manager.py- 元数据管理器提取和增强论文元数据output_manager.py- 输出管理器生成CSV/JSON格式数据processor.py- 主处理器整合所有模块__init__.py- 模块初始化文件文档README_PDF_PROCESSOR.md- 完整使用文档QUICKSTART.md- 快速开始指南PROJECT_SUMMARY.md- 本文件requirements.txt- Python依赖包列表测试数据test_papers/- 测试用论文数据目录test_output/- 测试输出目录输出文件处理完成后会在输出目录生成主数据文件CSV格式cyber_security_papers_[时间戳].csv包含3列content, metadata, source统计文件JSON格式cyber_security_papers_statistics_[时间戳].json包含详细的统计信息关键特性✅ 智能章节识别 ✅ 语义感知分割 ✅ 元数据自动提取 ✅ Dify兼容格式 ✅ 灵活配置选项 ✅ 完整测试覆盖使用流程准备PDF → 组织目录 → 运行脚本 → 导出CSV → 导入Dify → 构建知识库
项目文件说明核心文件主脚本process_papers.py- 主执行脚本用于处理PDF论文并生成Dify知识库数据测试文件test_processor.py- 单元测试脚本验证各个模块功能源码目录 (src/pdf_processor/)config.py- 配置文件包含chunk设置、章节识别规则等pdf_extractor.py- PDF文本提取器使用PyMuPDF提取和清洗文本chunker.py- 语义感知的文本分割器基于论文章节结构metadata_manager.py- 元数据管理器提取和增强论文元数据output_manager.py- 输出管理器生成CSV/JSON格式数据processor.py- 主处理器整合所有模块__init__.py- 模块初始化文件文档README_PDF_PROCESSOR.md- 完整使用文档QUICKSTART.md- 快速开始指南PROJECT_SUMMARY.md- 本文件requirements.txt- Python依赖包列表测试数据test_papers/- 测试用论文数据目录test_output/- 测试输出目录输出文件处理完成后会在输出目录生成主数据文件CSV格式cyber_security_papers_[时间戳].csv包含3列content, metadata, source统计文件JSON格式cyber_security_papers_statistics_[时间戳].json包含详细的统计信息关键特性✅ 智能章节识别 ✅ 语义感知分割 ✅ 元数据自动提取 ✅ Dify兼容格式 ✅ 灵活配置选项 ✅ 完整测试覆盖使用流程准备PDF → 组织目录 → 运行脚本 → 导出CSV → 导入Dify → 构建知识库
