AI文件类型检测完整指南Magika 三步识别 200 种文件【免费下载链接】magikaFast and accurate AI powered file content types detection项目地址: https://gitcode.com/GitHub_Trending/ma/magika写上传校验或安全扫描逻辑时靠文件后缀并不可靠——一个叫 .txt 的文件可能根本不是文本。Magika 是一个开源的 AI 文件类型检测工具用毫秒级的深度学习模型识别 200 多种内容类型精确率和召回率都在 99% 以上并自带 Python、Rust 等语言的现成命令与 API。装好后两条命令就能批量识别整个目录。快速上手三步让文件类型检测跑起来第一步环境准备多数人只需要 Python官方支持 3.8 到 3.12pip 安装即可同时拿到命令行和 Python API。如果你打算从源码构建 Rust 命令行再额外装好 Rust 工具链。第二步安装构建pip install magika只想用命令行时也可以用pipx install magika。想从源码构建先克隆仓库git clone https://gitcode.com/GitHub_Trending/ma/magika再在根目录执行cargo install --locked --pathrust/cli。仓库根目录还有一个现成 Dockerfiledocker build -t magika .即可得到内置模型的容器。第三步运行验证magika -r tests_data/basic看到类似python/code.py: Python source (code)的输出即代表可用。仓库自带 tests_data 目录覆盖图片、文档、代码、压缩包等样例文件直接拿它试手最方便。上图是递归扫描样例目录的真实效果每个文件一行内容类型后面括号里是它所属的大类比如 code、image、document。原理拆解Magika 如何在毫秒内识别文件内容特征提取只读少量字节Magika 不会读整个文件。Python 包里的 identify_path 用 seek 在文件的关键位置取特征实现见 python/src/magika/seekable.py所以 10KB 和 10GB 的文件推理耗时几乎一样。小于 16 字节的极小文件会跳过模型避免产生噪声结果。模型推理几 MB 的 ONNX 模型核心是一个定制优化过的深度学习模型打包成几 MB 的 ONNX 文件放在 assets/models/ 目录下当前有 standard_v2_1200 内容类型、更新的 standard_v3_0 和更小的 fast_v2_1 可选。单 CPU 上每文件推理约 5ms。模型还配有按内容类型划分的置信度阈值分数不够高时它返回Generic text document这类泛化标签而不是硬猜一个具体类型。多语言绑定Python、Rust、JS、Go同一套模型可以从多个语言调用Python 包在 python/src/magika/Rust 命令行与库在 rust/cli/ 和 rust/lib/JS 用 TFJS 版本js/src/每文件 100ms适合浏览器场景Go 则通过 cgo 封装 ONNX Runtimego/。各绑定关系见 docs/bindings.md。典型用法三个直接能上手的场景搭安全扫描流水线Magika 解决的是把文件路由到对的扫描器这一步Google 内部就大规模用它给 Gmail、Drive、Safe Browsing 的文件分派内容策略扫描器。起步方式用--jsonl输出取每行的output.label决定调用哪个下游扫描器不要去解析给人看的描述文本。批量盘点一个目录一条magika -r 目录一次传入几千个文件也没问题——模型只加载一次内部走 batching每文件约 5ms。配合-s输出置信度分数方便把低置信样本筛出来人工复核。在服务里校验上传内容Python 里m.identify_bytes(...)直接识别内存中的字节不落地写盘大文件用identify_path不会把内容全读进内存。这张 PNG 就是 tests_data 里的样例之一扫描后会给出 image 类的内容类型验证流程时可以直接拿它做冒烟测试。进阶参数与性能调优选项组合速查表参数作用什么时候用-r/--recursive递归识别目录下每个文件批量盘点-s/--output-score附带输出置信度分数过滤低置信结果-l/--label输出稳定短标签自动化流水线-i/--mime-type输出 MIME 类型对接 HTTP 服务--jsonl每文件一行 JSON下游程序解析-标准输入识别流内容cat 文件 \| magika -、curl管道两个调优点预测提供 high-confidence、medium-confidence、best-guess 三档模式拿不准时先开-s看分数再决定是否换模式扫大目录时把所有文件一次性传给同一进程让模型只加载一次。另外--format支持 %p路径、%l标签、%s分数等占位符输出可以按你的需求定制。常见坑排查手册首次执行要几百毫秒Python CLI 启动解释器和加载模型有一次性开销多个文件一次性传入复用模型或换用 Rust CLI。输出Generic text document或Unknown binary data模型置信度低于该类型阈值换 best-guess 模式就能看到模型原本的猜测。JSON 里 dl.label 是 undefined文件不足 16 字节没有走模型流水线里按特例处理即可。升级后脚本因描述文本变化而报错verbose 描述和 MIME 类型都不保证向后兼容改用--label或output.label这种稳定标签。JS 版本每文件 100ms 以上TFJS 的 Web 推理本来就慢模型加载一次后复用到多次推理别每个请求都重新加载。生态、扩展与贡献仓库的 tests_data/ 是一套完整的样例文件语料其中 current_missdetections 专门记录已知误报方便复现和修复问题。新内容类型、误报或功能需求都欢迎提 issue但注意别提交包含个人信息的文件因为报告会附带文件内容的一部分。项目采用 Apache 2.0 许可相关研究论文已被 ICSE 2025 接收。Magika 把文件类型检测做成了毫秒级的 AI 推理99% 以上的精确率和召回率在百万文件规模的评测中已经过验证。随着支持 200 内容类型的新模型和 Rust 命令行逐步落地更多语言的绑定也在推进中。【免费下载链接】magikaFast and accurate AI powered file content types detection项目地址: https://gitcode.com/GitHub_Trending/ma/magika创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
AI文件类型检测完整指南Magika 三步识别 200 种文件【免费下载链接】magikaFast and accurate AI powered file content types detection项目地址: https://gitcode.com/GitHub_Trending/ma/magika写上传校验或安全扫描逻辑时靠文件后缀并不可靠——一个叫 .txt 的文件可能根本不是文本。Magika 是一个开源的 AI 文件类型检测工具用毫秒级的深度学习模型识别 200 多种内容类型精确率和召回率都在 99% 以上并自带 Python、Rust 等语言的现成命令与 API。装好后两条命令就能批量识别整个目录。快速上手三步让文件类型检测跑起来第一步环境准备多数人只需要 Python官方支持 3.8 到 3.12pip 安装即可同时拿到命令行和 Python API。如果你打算从源码构建 Rust 命令行再额外装好 Rust 工具链。第二步安装构建pip install magika只想用命令行时也可以用pipx install magika。想从源码构建先克隆仓库git clone https://gitcode.com/GitHub_Trending/ma/magika再在根目录执行cargo install --locked --pathrust/cli。仓库根目录还有一个现成 Dockerfiledocker build -t magika .即可得到内置模型的容器。第三步运行验证magika -r tests_data/basic看到类似python/code.py: Python source (code)的输出即代表可用。仓库自带 tests_data 目录覆盖图片、文档、代码、压缩包等样例文件直接拿它试手最方便。上图是递归扫描样例目录的真实效果每个文件一行内容类型后面括号里是它所属的大类比如 code、image、document。原理拆解Magika 如何在毫秒内识别文件内容特征提取只读少量字节Magika 不会读整个文件。Python 包里的 identify_path 用 seek 在文件的关键位置取特征实现见 python/src/magika/seekable.py所以 10KB 和 10GB 的文件推理耗时几乎一样。小于 16 字节的极小文件会跳过模型避免产生噪声结果。模型推理几 MB 的 ONNX 模型核心是一个定制优化过的深度学习模型打包成几 MB 的 ONNX 文件放在 assets/models/ 目录下当前有 standard_v2_1200 内容类型、更新的 standard_v3_0 和更小的 fast_v2_1 可选。单 CPU 上每文件推理约 5ms。模型还配有按内容类型划分的置信度阈值分数不够高时它返回Generic text document这类泛化标签而不是硬猜一个具体类型。多语言绑定Python、Rust、JS、Go同一套模型可以从多个语言调用Python 包在 python/src/magika/Rust 命令行与库在 rust/cli/ 和 rust/lib/JS 用 TFJS 版本js/src/每文件 100ms适合浏览器场景Go 则通过 cgo 封装 ONNX Runtimego/。各绑定关系见 docs/bindings.md。典型用法三个直接能上手的场景搭安全扫描流水线Magika 解决的是把文件路由到对的扫描器这一步Google 内部就大规模用它给 Gmail、Drive、Safe Browsing 的文件分派内容策略扫描器。起步方式用--jsonl输出取每行的output.label决定调用哪个下游扫描器不要去解析给人看的描述文本。批量盘点一个目录一条magika -r 目录一次传入几千个文件也没问题——模型只加载一次内部走 batching每文件约 5ms。配合-s输出置信度分数方便把低置信样本筛出来人工复核。在服务里校验上传内容Python 里m.identify_bytes(...)直接识别内存中的字节不落地写盘大文件用identify_path不会把内容全读进内存。这张 PNG 就是 tests_data 里的样例之一扫描后会给出 image 类的内容类型验证流程时可以直接拿它做冒烟测试。进阶参数与性能调优选项组合速查表参数作用什么时候用-r/--recursive递归识别目录下每个文件批量盘点-s/--output-score附带输出置信度分数过滤低置信结果-l/--label输出稳定短标签自动化流水线-i/--mime-type输出 MIME 类型对接 HTTP 服务--jsonl每文件一行 JSON下游程序解析-标准输入识别流内容cat 文件 \| magika -、curl管道两个调优点预测提供 high-confidence、medium-confidence、best-guess 三档模式拿不准时先开-s看分数再决定是否换模式扫大目录时把所有文件一次性传给同一进程让模型只加载一次。另外--format支持 %p路径、%l标签、%s分数等占位符输出可以按你的需求定制。常见坑排查手册首次执行要几百毫秒Python CLI 启动解释器和加载模型有一次性开销多个文件一次性传入复用模型或换用 Rust CLI。输出Generic text document或Unknown binary data模型置信度低于该类型阈值换 best-guess 模式就能看到模型原本的猜测。JSON 里 dl.label 是 undefined文件不足 16 字节没有走模型流水线里按特例处理即可。升级后脚本因描述文本变化而报错verbose 描述和 MIME 类型都不保证向后兼容改用--label或output.label这种稳定标签。JS 版本每文件 100ms 以上TFJS 的 Web 推理本来就慢模型加载一次后复用到多次推理别每个请求都重新加载。生态、扩展与贡献仓库的 tests_data/ 是一套完整的样例文件语料其中 current_missdetections 专门记录已知误报方便复现和修复问题。新内容类型、误报或功能需求都欢迎提 issue但注意别提交包含个人信息的文件因为报告会附带文件内容的一部分。项目采用 Apache 2.0 许可相关研究论文已被 ICSE 2025 接收。Magika 把文件类型检测做成了毫秒级的 AI 推理99% 以上的精确率和召回率在百万文件规模的评测中已经过验证。随着支持 200 内容类型的新模型和 Rust 命令行逐步落地更多语言的绑定也在推进中。【免费下载链接】magikaFast and accurate AI powered file content types detection项目地址: https://gitcode.com/GitHub_Trending/ma/magika创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
