markitdown 图像处理指南OCR 元数据 AI 描述两条路径一次讲透【免费下载链接】markitdownPython tool for converting files and office documents to Markdown.项目地址: https://gitcode.com/GitHub_Trending/ma/markitdown归档一份 PDF 技术文档时架构图和截图全变成空白占位里面的文字信息彻底丢失。markitdown 图像处理链路正好解决这个问题一条路径做 OCR 识别读出图片文件里藏的元数据另一条做 AI 描述生成让多模态模型把画面说出来。两条路径并行跑完再合并图片就变成了可检索的 Markdown 文本。能力速览一张图到 Markdown 的两条路径链路很直接图片进入 ImageConverter 后同一个文件流被两条路径并行消费一边把流交给 ExifTool一个能读取图片里隐藏标签信息的命令行工具子进程一边把字节流做 base64 编码把二进制数据变成文本的编码方式后交给多模态大模型能看懂图片的大语言模型。两份结果按顺序拼接进 Markdown。实现都在图像转换器源码 markitdown/converters/完整参数清单可查官方文档入口 docs/official.md。格式扩展名转换时的行为JPEG.jpg、.jpeg提取 ExifTool 元数据 LLM 描述PNG.png提取 ExifTool 元数据 LLM 描述其他图片gif、webp 等—内置转换器不接管需用插件扩展ExifTool 元数据字段速查原理、常用字段与配置原理不复杂图片文件本身藏着大量标签信息EXIF/IPTCmarkitdown 把文件流直接通过 stdin 喂给 exiftool命令返回一份 JSON 格式的完整元数据。运行前还会用-ver检查版本不低于 12.24避开已知漏洞。# 版本必须 12.24更旧的版本有已知安全漏洞 ver subprocess.run([tool, -ver], textTrue, checkTrue).stdout.strip() if tuple(map(int, ver.split(.))) (12, 24): raise RuntimeError(exiftool version too old) # 走 stdin 管道而不是落临时文件避免污染磁盘 raw subprocess.run([tool, -json, -], inputdata, capture_outputTrue).stdout return json.loads(raw.decode(utf-8))[0]返回的元数据里最常用的 5 个字段ImageSize图片的实际像素尺寸Title/Caption嵌入在图片里的标题Keywords关键词标签Author拍摄者署名DateTimeOriginal原始拍摄时间这些字段在输出中逐行出现只写入存在的项不会留空占位。配置上最常用的方式是构造函数直接传exiftool_path/usr/bin/exiftool不传时它会回退到 EXIFTOOL_PATH 环境变量再自动探测系统常见路径。多模态提示词怎么调从 base64 到结构化描述拿到 llm_client 和 llm_model 之后markitdown 会把图片字节流读出来做 base64 编码。MIME 类型从流信息里取取不到就按扩展名猜再拼成 data URI一种能把图片数据直接嵌进链接的 URI 格式。提示词和 data URI 一起塞进一条多模态消息模型返回的描述写在# Description:标题下。pos stream.tell() # 读完必须把流位置挪回去否则后续元数据路径会读到空文件 b64 base64.b64encode(stream.read()).decode() stream.seek(pos) # 模型识别不了格式会直接拒收MIME 类型必须给准 mime stream_info.mimetype or application/octet-stream data_uri fdata:{mime};base64,{b64} message { role: user, content: [ {type: text, text: prompt}, {type: image_url, image_url: {url: data_uri}}, ], } reply client.chat.completions.create(modelmodel, messages[message]) return reply.choices[0].message.content提示词的调整核心是收窄任务范围默认提示词比较泛模型会写不少氛围描写给了明确输出格式后拿到的才是能进管线的结构化文本。默认Write a detailed caption for this image.自定义请逐字提取图中所有文字用中文输出并在末尾附一句总结。上面这张就是项目自带的测试图按上面的路径喂给模型产出的描述就是 AI 描述路径的标准效果。跑通最小示例一段 15 行脚本装好 openai 客户端把 exiftool_path 指到本机路径就能直接跑。from openai import OpenAI from markitdown import MarkItDown # 不传 llm_client 时只产出元数据可以省下 API 调用 client OpenAI() # 需要设置 OPENAI_API_KEY 环境变量 md MarkItDown( llm_clientclient, llm_modelgpt-4o, exiftool_path/usr/bin/exiftool, ) result md.convert(packages/markitdown/tests/test_files/test.jpg) print(result.text_content)这里转换的输入是项目自带的测试图片典型的输出长这样ImageSize: 1615x1967 Title: test DateTimeOriginal: 2024:05:16 10:30:22 Keywords: sample, photoDescription:图中是一张白色底色的测试图片包含若干中文字符版式清晰内容可读。批量处理省 Token 的 4 个实操建议AI 描述是整条图像处理链路里最贵的一环成本控制的重心也在这里。流式处理把打开的文件句柄直接传给 convertmarkitdown 会在读写前后保存流位置seek大图不需要整份驻留内存别自己先把文件读成字符串。批量预筛选先跑一遍 ExifTool 元数据或按文件大小把重复帧、装饰性图标这类不需要 AI 描述的图片过滤掉剩下的才进 LLM。结果缓存用文件路径 修改时间做缓存键重跑流水线时图片没变就直接读缓存不再触发 API 调用。API 重试给 convert 包一层指数退避重试3 次左右足够遇到 429 就拉长等待间隔持续失败时降级为只输出元数据保证管线不中断。踩坑排查3 个高频问题下面三个问题基本覆盖了批量跑图时的大多数失败场景。元数据缺失症状转换结果里没有元数据段只有 AI 描述。原因机器上没装 exiftool或路径没配到、自动探测也失败。解法sudo apt-get install libimage-exiftool-perl限流报错症状批量处理中间夹杂 429 限流异常。原因并发调用超过了 API 的 QPS 配额。解法retry(stopstop_after_attempt(3), waitwait_exponential(min4, max10))大图超时症状个别大图标转换超时或被 API 拒收。原因base64 后的请求体过大超出模型单次请求的尺寸上限。解法im Image.open(path); im.thumbnail((2048, 2048)); im.save(small.jpg)markitdown 图像处理的取舍在于把搜不到的图片变成可索引的文本两条路径各管一段。往后最值得关注的演进方向是元数据路径从读标签走向对图像像素做真正的 OCR 识别。【免费下载链接】markitdownPython tool for converting files and office documents to Markdown.项目地址: https://gitcode.com/GitHub_Trending/ma/markitdown创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
markitdown 图像处理指南OCR 元数据 AI 描述两条路径一次讲透【免费下载链接】markitdownPython tool for converting files and office documents to Markdown.项目地址: https://gitcode.com/GitHub_Trending/ma/markitdown归档一份 PDF 技术文档时架构图和截图全变成空白占位里面的文字信息彻底丢失。markitdown 图像处理链路正好解决这个问题一条路径做 OCR 识别读出图片文件里藏的元数据另一条做 AI 描述生成让多模态模型把画面说出来。两条路径并行跑完再合并图片就变成了可检索的 Markdown 文本。能力速览一张图到 Markdown 的两条路径链路很直接图片进入 ImageConverter 后同一个文件流被两条路径并行消费一边把流交给 ExifTool一个能读取图片里隐藏标签信息的命令行工具子进程一边把字节流做 base64 编码把二进制数据变成文本的编码方式后交给多模态大模型能看懂图片的大语言模型。两份结果按顺序拼接进 Markdown。实现都在图像转换器源码 markitdown/converters/完整参数清单可查官方文档入口 docs/official.md。格式扩展名转换时的行为JPEG.jpg、.jpeg提取 ExifTool 元数据 LLM 描述PNG.png提取 ExifTool 元数据 LLM 描述其他图片gif、webp 等—内置转换器不接管需用插件扩展ExifTool 元数据字段速查原理、常用字段与配置原理不复杂图片文件本身藏着大量标签信息EXIF/IPTCmarkitdown 把文件流直接通过 stdin 喂给 exiftool命令返回一份 JSON 格式的完整元数据。运行前还会用-ver检查版本不低于 12.24避开已知漏洞。# 版本必须 12.24更旧的版本有已知安全漏洞 ver subprocess.run([tool, -ver], textTrue, checkTrue).stdout.strip() if tuple(map(int, ver.split(.))) (12, 24): raise RuntimeError(exiftool version too old) # 走 stdin 管道而不是落临时文件避免污染磁盘 raw subprocess.run([tool, -json, -], inputdata, capture_outputTrue).stdout return json.loads(raw.decode(utf-8))[0]返回的元数据里最常用的 5 个字段ImageSize图片的实际像素尺寸Title/Caption嵌入在图片里的标题Keywords关键词标签Author拍摄者署名DateTimeOriginal原始拍摄时间这些字段在输出中逐行出现只写入存在的项不会留空占位。配置上最常用的方式是构造函数直接传exiftool_path/usr/bin/exiftool不传时它会回退到 EXIFTOOL_PATH 环境变量再自动探测系统常见路径。多模态提示词怎么调从 base64 到结构化描述拿到 llm_client 和 llm_model 之后markitdown 会把图片字节流读出来做 base64 编码。MIME 类型从流信息里取取不到就按扩展名猜再拼成 data URI一种能把图片数据直接嵌进链接的 URI 格式。提示词和 data URI 一起塞进一条多模态消息模型返回的描述写在# Description:标题下。pos stream.tell() # 读完必须把流位置挪回去否则后续元数据路径会读到空文件 b64 base64.b64encode(stream.read()).decode() stream.seek(pos) # 模型识别不了格式会直接拒收MIME 类型必须给准 mime stream_info.mimetype or application/octet-stream data_uri fdata:{mime};base64,{b64} message { role: user, content: [ {type: text, text: prompt}, {type: image_url, image_url: {url: data_uri}}, ], } reply client.chat.completions.create(modelmodel, messages[message]) return reply.choices[0].message.content提示词的调整核心是收窄任务范围默认提示词比较泛模型会写不少氛围描写给了明确输出格式后拿到的才是能进管线的结构化文本。默认Write a detailed caption for this image.自定义请逐字提取图中所有文字用中文输出并在末尾附一句总结。上面这张就是项目自带的测试图按上面的路径喂给模型产出的描述就是 AI 描述路径的标准效果。跑通最小示例一段 15 行脚本装好 openai 客户端把 exiftool_path 指到本机路径就能直接跑。from openai import OpenAI from markitdown import MarkItDown # 不传 llm_client 时只产出元数据可以省下 API 调用 client OpenAI() # 需要设置 OPENAI_API_KEY 环境变量 md MarkItDown( llm_clientclient, llm_modelgpt-4o, exiftool_path/usr/bin/exiftool, ) result md.convert(packages/markitdown/tests/test_files/test.jpg) print(result.text_content)这里转换的输入是项目自带的测试图片典型的输出长这样ImageSize: 1615x1967 Title: test DateTimeOriginal: 2024:05:16 10:30:22 Keywords: sample, photoDescription:图中是一张白色底色的测试图片包含若干中文字符版式清晰内容可读。批量处理省 Token 的 4 个实操建议AI 描述是整条图像处理链路里最贵的一环成本控制的重心也在这里。流式处理把打开的文件句柄直接传给 convertmarkitdown 会在读写前后保存流位置seek大图不需要整份驻留内存别自己先把文件读成字符串。批量预筛选先跑一遍 ExifTool 元数据或按文件大小把重复帧、装饰性图标这类不需要 AI 描述的图片过滤掉剩下的才进 LLM。结果缓存用文件路径 修改时间做缓存键重跑流水线时图片没变就直接读缓存不再触发 API 调用。API 重试给 convert 包一层指数退避重试3 次左右足够遇到 429 就拉长等待间隔持续失败时降级为只输出元数据保证管线不中断。踩坑排查3 个高频问题下面三个问题基本覆盖了批量跑图时的大多数失败场景。元数据缺失症状转换结果里没有元数据段只有 AI 描述。原因机器上没装 exiftool或路径没配到、自动探测也失败。解法sudo apt-get install libimage-exiftool-perl限流报错症状批量处理中间夹杂 429 限流异常。原因并发调用超过了 API 的 QPS 配额。解法retry(stopstop_after_attempt(3), waitwait_exponential(min4, max10))大图超时症状个别大图标转换超时或被 API 拒收。原因base64 后的请求体过大超出模型单次请求的尺寸上限。解法im Image.open(path); im.thumbnail((2048, 2048)); im.save(small.jpg)markitdown 图像处理的取舍在于把搜不到的图片变成可索引的文本两条路径各管一段。往后最值得关注的演进方向是元数据路径从读标签走向对图像像素做真正的 OCR 识别。【免费下载链接】markitdownPython tool for converting files and office documents to Markdown.项目地址: https://gitcode.com/GitHub_Trending/ma/markitdown创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
