video-analyzer：AI视频分析，把视频转成可编辑的文字说明

video-analyzerAI视频分析把视频转成可编辑的文字说明【免费下载链接】video-analyzerAnalyze videos using LLMs, Computer Vision and Automatic Speech Recognition项目地址: https://gitcode.com/gh_mirrors/vi/video-analyzervideo-analyzer 是一款 AI 视频分析工具你输入视频它用视觉模型理解画面、用 Whisper 转写音频最后输出一份按时间顺序组织的文字描述。结果保存在 JSON 文件里可直接复制、改写或存档。支持完全本地运行也可接入云端模型。先跑什么任务会议记录输入会议录像输出会议内容概述适合需要整理纪要的团队。课程教程整理输入讲课视频输出按时间推进的画面与讲解描述适合学生和内容编辑。素材摘要输入大量剪辑素材输出每段视频里发生了什么适合快速筛片的人。从 0 到第一次出结果依赖两项Python 3.11 和 FFmpeg用于提取音频。sudo apt install ffmpeg # macOS 用 brew install ffmpeg git clone https://gitcode.com/gh_mirrors/vi/video-analyzer cd video-analyzer python3 -m venv .venv source .venv/bin/activate pip install .本地跑需要 Ollama安装后执行ollama pull llama3.2-vision拉取视觉模型走云端则不需要 Ollama命令行多传一个模型名即可。最小运行命令video-analyzer demo.mp4默认走 Ollama 本地模型结果写入output/目录。你会拿到什么结果运行完成后output/目录下output/ ├── analysis.json # 主报告元数据、转录、逐帧描述、整体摘要 ├── audio.wav # 从视频提取的音轨中间产物 └── frames/ # 关键帧默认运行后清理analysis.json是核心产出包含四个部分本次分析用的模型和帧数metadata、带时间戳的音频转录transcript、每个关键帧的文字描述frame_analyses、把全部内容串成时间线的视频总述video_description。逐帧描述还带时间戳方便你定位到具体画面。想看完整结构可对照示例报告。按视频长度调整帧参数帧即从视频中挑出的代表画面。帧多细节全但慢帧少出结果快但容易漏掉关键动作。命令行上主要用--max-frames总帧数上限按整段视频均匀抽样和--duration只处理前 N 秒更细的帧密度frames.per_minute在config/config.json里调。任务场景建议优先调的参数关注结果常见代价几分钟的短视频--max-frames调大动作细节是否完整本地模型上更慢几十分钟的会议--max-frames限总量--duration只处理重点时段完整跑完、转录连贯未处理时段无描述长讲座、长片降低每分钟帧数配合--max-frames整体脉络是否对画面细节会丢本地与云端的取舍本地默认客户端就是 Ollama无需 API 密钥数据不出机器适合涉及保密材料的场景。代价是机器要求较高README 建议至少 16GB 内存本地跑视觉模型建议 12GB 显存的 GPU 或 32GB 内存的 Apple M 系列。云端通过--client openai_api接入任意 OpenAI 兼容接口通常精度和速度更好适合对外交付或批量处理video-analyzer demo.mp4 \ --client openai_api \ --api-key $API_KEY \ --api-url https://openrouter.ai/api/v1 \ --model gpt-4o其中$API_KEY只是占位符换成你从服务商拿到的真实密钥。结果不满意时先查这里视频和音频质量画面模糊、音轨太弱或有明显噪音都会影响结果转录不可靠时工具会跳过音频只做画面分析日志里有提示。帧密度关键动作被漏掉时加大--max-frames或调高frames.per_minute。模型选择本地模型描述含糊时换能力更强的云端视觉模型对比一次。提示词侧重用--prompt说明关注点例如重点描述人物之间的互动语言不明确时可用--language固定转录语言。继续深入全部命令行参数和配置项docs/USAGES.md三阶段设计的详细说明docs/DESIGN.md一份真实的输出报告docs/sample_analysis.json默认配置video_analyzer/config/default_config.json核心源码video_analyzer/提示词自动调优子项目video-analyzer-tune/建议先用一段 3 分钟左右的视频按默认设置跑一遍确认输出结构符合预期后再回头调--max-frames和提示词。【免费下载链接】video-analyzerAnalyze videos using LLMs, Computer Vision and Automatic Speech Recognition项目地址: https://gitcode.com/gh_mirrors/vi/video-analyzer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考