如何让Claude“看懂“视频:claude-video与Claude Code技能系统的深度集成原理

发布时间:2026/10/30 17:47:42

如何让Claude“看懂“视频:claude-video与Claude Code技能系统的深度集成原理 如何让Claude看懂视频claude-video与Claude Code技能系统的深度集成原理【免费下载链接】claude-videoGive Claude the ability to watch any video. /watch downloads, extracts frames, transcribes, hands it all to Claude.项目地址: https://gitcode.com/GitHub_Trending/cl/claude-videoclaude-video/watch是一款为 Claude Code 赋予看视频能力的技能插件粘贴一个视频链接或本地文件路径它会自动下载视频、抽取关键帧、提取字幕文本最终让 Claude 基于亲眼所见的画面回答你的问题。本文从 Claude Code 技能系统的工作机制出发带你拆解这套集成背后的完整原理无需编程基础也能看懂。先看结果一个命令的完整旅程 整个体验浓缩成一行命令/watch https://youtu.be/xxxxx 这个视频在第30秒发生了什么Claude 收到指令后背后实际发生了一串接力动作这也是理解集成原理的最佳切入点阶段执行者做了什么对应模块① 命令解析Claude Code 框架把/watch识别为斜杠命令并转发参数commands/watch.md② 环境预检预检脚本毫秒级检查依赖是否齐全scripts/setup.py③ 下载视频yt-dlp抓取视频 原生字幕scripts/download.py④ 抽帧ffmpeg按时长自适应速率导出 JPEG 帧scripts/frames.py⑤ 转录字幕/Whisper API优先用免费字幕无字幕时调 Whisperscripts/transcribe.py、scripts/whisper.py⑥ 看图作答Claude 的 Read 工具并行读取所有帧图片 对照字幕作答无Claude 原生能力关键洞察claude-video 本身并不看视频。它只负责把视频拆解成 Claude 能处理的两种形态——图片帧和带时间戳的文字——然后交给 Claude 的多模态 Read 工具完成真正的观看。这正是它作为技能系统的精妙之处。技能系统三要素claude-video 如何用文件教ClaudeClaude Code 技能系统的核心思想是用一组约定好的文件向 AI 描述一项新能力。claude-video 的目录结构恰好是这套思想的教科书式示范claude-video/ ├── SKILL.md # 技能契约告诉 Claude 何时、如何执行 ├── commands/ # 斜杠命令入口/watch 的来源 ├── scripts/ # 6 个 Python 脚本真正的体力活 └── hooks/ # 会话启动钩子环境状态提示1. SKILL.md —— 写给 AI 的操作手册SKILL.md 是整个技能的灵魂。它由两部分组成YAML 元信息frontmatter技能的身份证框架据此加载技能。Markdown 正文写给 Claude 的步骤指南包括何时使用、如何调用脚本、遇到失败怎么办、如何节省 token 等。frontmatter 中的几个字段各司其职见 SKILL.md#L1-L11字段作用对集成的意义name: watch技能名称安装后以watch标识注册description能力描述Claude 据此判断该不该用这个技能argument-hint参数提示用户输入时给出格式提示allowed-tools: Bash, Read, AskUserQuestion工具白名单明确技能被允许动用的能力边界user-invocable: true用户可手动调用用户可直接敲/watch触发2. commands/watch.md —— 斜杠命令的接线员commands/watch.md 文件很短却解决了一个关键问题让技能暴露成斜杠命令。它把用户输入的$ARGUMENTS原样转发给 SKILL.md 定义的完整流水线预检 → 下载 → 抽帧 → 转录 → 读帧 → 作答。没有它插件即使安装成功/watch也无法被调用——这正是 CHANGELOG.md 中 0.1.1 版本修复的问题。3. hooks/ —— 会话启动时的哨兵hooks/hooks.json 注册了一个SessionStart钩子每次 Claude Code 会话开始时自动运行 hooks/scripts/check-setup.sh静默检查 ffmpeg、yt-dlp 和 API 密钥状态。设计很克制——一切就绪时保持沉默不刷屏只有缺依赖时才输出一行提示告诉用户运行安装器。集成桥梁环境变量如何让文档层驱动脚本层SKILL.md 是纯文本如何驱动 scripts/ 里的 Python 代码桥梁是框架注入的环境变量CLAUDE_SKILL_DIR/CLAUDE_PLUGIN_ROOT指向技能自身目录。SKILL.md 中的命令写作python3 ${CLAUDE_SKILL_DIR}/scripts/watch.py见 SKILL.md#L74-L76这样技能无论被安装到哪个用户目录都能找到自己的脚本钩子脚本中同样用${CLAUDE_PLUGIN_ROOT}定位安装器见 hooks/hooks.json#L9。这套机制形成了一个清晰的分层架构契约层SKILL.md commands/—— 定义做什么、何时做被框架和 AI 共同消费执行层scripts/—— 干脏活累活对 AI 而言只是一条 Bash 命令钩子层hooks/—— 在会话生命周期节点自动运行提供环境保障。AI 负责决策解析用户问题、选择参数、读取结果脚本负责执行下载、抽帧、转录。双方通过stdout 文本报告交换信息入口脚本 scripts/watch.py 结束时会打印一份 Markdown 报告列出所有帧文件路径带tMM:SS时间戳标记和完整字幕文本见 watch.py#L185-L224——Claude 读到的就是这份报告再据此并行 Read 每帧图片。一次调用的编排细节 以入口脚本 scripts/watch.py 为主线看技能系统如何被编排起来建工作目录默认在系统临时目录创建watch-xxxx所有产物集中于此用完即删下载scripts/download.py 封装 yt-dlp本地文件则跳过下载直接探测0.1.3 版本还加固了防参数注入见 CHANGELOG.md#L11-L12抽帧scripts/frames.py 用 ffprobe 探测时长后按帧预算而非固定帧率抽帧——短视频更密集长视频封顶 100 帧、2 fps硬上限核心逻辑在auto_fps函数frames.py#L21-L24。用户用--start/--end聚焦片段时切换为更密集的聚焦模式预算转录scripts/transcribe.py 优先解析 yt-dlp 抓到的原生字幕免费、零成本失败时才由 scripts/whisper.py 调用 Groq首选或 OpenAI 的 Whisper API 兜底汇报打印帧路径列表 带时间戳字幕等待 Claude 接管。Token 经济学图片帧是 token 消耗大头约 50-80k 图像 token / 80 帧 512px字幕则很便宜。所以技能内置按时长自适应抽帧 聚焦模式 追问不重跑三重省 token 设计这些策略都写在 SKILL.md 的正文里由 Claude 自觉遵守。首次运行向导让技能自我安装技能系统的另一个亮点是零配置启动首次调用/watch时SKILL.md 的 Step 0 会静默运行预检setup.py 的--check模式按退出码分派修复动作退出码含义自动动作0一切就绪静默继续不打扰用户2缺 ffmpeg / yt-dlpmacOS 自动brew installLinux/Windows 打印精确命令3缺 Whisper API 密钥生成~/.config/watch/.env模板询问用户密钥4两者皆缺先装依赖再问密钥安装器是幂等的——可安全重复运行且绝不在未征得用户同意时写入任何密钥见 setup.py#L9-L18 的设计注释。密钥文件以0600权限存放于~/.config/watch/.env会话钩子还会定期检查权限是否过松。多端集成同一套文件三种装法 由于能力全部沉淀在SKILL.md 脚本这一套文件里claude-video 能同时适配多个宿主差异仅在加载方式宿主集成方式说明Claude Code插件市场安装/plugin命令完整体验技能 斜杠命令 SessionStart 钩子claude.ai 网页版上传打包后的watch.skill文件打包脚本会剥离hooks/、commands/等非网页端组件Codex / 通用技能目录克隆到~/.codex/skills/watch仅依赖 SKILL.md 契约 脚本手动/开发克隆到~/.claude/skills/watch开发者调试用这种一份契约、多端加载的能力正是 Claude Code 技能系统设计上的通用性红利SKILL.md 的 frontmatter 是标准格式脚本是平台无关的 Python因此换个宿主只需换外壳。给技能开发者的 5 个可复用模式 claude-video 值得作为 Claude Code 技能系统的参考实现它示范了 5 个最佳实践契约与执行分离SKILL.md 只写流程决策重活全部交给 scripts/保持契约文件可读、可移植静默成功原则预检就绪时零输出避免每轮对话刷屏setup complete这类噪音结构化状态输出setup.py --json提供{status, first_run, ...}机器可读状态让 AI 能精确分支决策见 SKILL.md#L47失败模式显式化SKILL.md 专设 Failure modes and handling 一节把每种失败路径的应对方式写成表格AI 照表处理不会瞎试安全边界声明明确列出技能做什么 / 不做什么——只上传提取的音频而非视频本体、不登录任何平台、密钥不出对应域名见 SKILL.md#L154-L169。总结技能系统集成的本质回头看claude-video 与 Claude Code 技能系统的集成原理可以浓缩为一句话用 SKILL.md 这份AI 可读的操作手册声明能力用 commands/ 把它接上斜杠命令入口用 scripts/ 承载具体执行用 hooks/ 守护会话环境——四个文件目录协作就把看视频变成了一项 Claude 的一等能力。对普通用户你只需要一条/watch命令对开发者这个项目则是理解 Claude Code 技能机制frontmatter 契约、斜杠命令注册、SessionStart 钩子、环境变量定位、多端打包的最佳入门样本。想深入了解某一步的实现建议从 SKILL.md 读起再顺藤摸瓜到 scripts/watch.py 的编排逻辑——整条链路只有几百行代码全部可读懂。更多版本演进细节可查看 CHANGELOG.md完整功能说明见 README.md。【免费下载链接】claude-videoGive Claude the ability to watch any video. /watch downloads, extracts frames, transcribes, hands it all to Claude.项目地址: https://gitcode.com/GitHub_Trending/cl/claude-video创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/10/27 17:13:27

前端面试八股文精华:JS核心、浏览器机制与框架原理全解析

前端面试这几年有个很有意思的现象:越是喊着“八股文没用”的人,面试时越容易栽在八股文上。我做了这么多年前端,也当过面试官,说句实话,“前端面试高频题”和“八股文精华”这两个词,本身不应该是贬义。真…

2026/10/30 17:46:02

地铁BAS PLC为何必须用STEP7 V5.5?兼容性与现场准入硬约束

简介:本资源是一套完整的地铁环境监控系统(BAS)PLC控制程序工程包,面向自动化、轨道交通及工业控制领域的工程师、高校师生与PLC初学者,聚焦西门子S7系列PLC在真实地铁场景中的工程化应用。资源基于STEP7 V5.5开发&…

2026/10/30 17:41:01

不同CORS服务会影响RTK固定速度和稳定性吗

有人问:"都是差分解算,为什么有的服务固定快、有的慢?“答案藏在解算方式里。VRS、FKP、MAC 是三种主流的网络 RTK 差分解算技术,它们对固定速度和稳定性的影响是真实存在的–虽然市面上大多数终端和服务已经把这层差异磨平,但了解原理能帮你理解"为什么换个服务体验…

2026/10/30 17:36:00

DooTask轻量化AI协作工具的技术实现与效能提升

1. 项目概述:DooTask如何重塑开发团队协作模式在2026年的开工季,开发团队面临的协作复杂度正以每年37%的速度递增(数据来源:2025年全球开发者生态报告)。传统项目管理工具往往陷入"功能臃肿却解决不了实际问题&qu…

2026/10/30 17:36:00

副队长JavaScript教程(65)-详解JSON:轻量级数据交换格式

点此查看 所有教程、项目、源码导航 文章目录1. 背景2. JSON 的历史与发展过程2.1 诞生之前:XML 一统江湖2.2 JSON 的诞生3. 常见数据格式简单对比:JSON、XML、YAML3.1 XML3.2 YAML3.3 JSON4. JSON 基础语法与规范4.1 JSON 支持的数据类型4.2 强制语法规…

2026/10/30 17:36:00

副队长JavaScript教程(66)-本地存储实战:待办事项网页的开发

点此查看 所有教程、项目、源码导航 文章目录1. 需求说明2. 实现思路3. 分步讲解3.1 HTML 结构、CSS样式3.2 获取页面元素3.3 读取本地存储里面的待办数据3.4 封装渲染函数3.5 新增待办逻辑4. 完整可运行代码5. 重点复盘1. 需求说明 我们来实现一个极简的待办事项,…

2026/10/29 17:05:52

全国计算机二级C语言真题PDF高效刷题指南

简介:这份PDF是全国计算机二级C语言考试的试题与答案解析,专为备考二级C语言的考生准备。内容涵盖C语言特点与设计理念、程序基本组成单位、main函数执行流程、函数嵌套调用规则、标识符命名规范、整型实型字符型数据类型、八进制十六进制数合法形式、运…

2026/10/29 17:06:02

requests+BeautifulSoup:爬虫抓取h1标题的入门实战指南

简介:一份以实战为导向的Python爬虫入门资源,面向具备基本编程基础、希望快速掌握网络数据抓取的初学者,可解决从零编写简单爬虫的常见困惑。实例以requests库发送HTTP请求、BeautifulSoup解析HTML文档,完整演示从网页中提取 标题…

2026/10/29 17:06:13

递推最小二乘参数辨识MATLAB编程:二阶系统与渐消记忆实现

简介:这是一篇面向控制系统、信号处理与机器学习等领域学习者的最小二乘参数辨识程序说明文档。资源共包含一个docx格式文档,压缩包大小七十八KB,内容围绕递推最小二乘算法和渐消记忆最小二乘算法展开:先构造一个极点位于单位圆内…

2026/10/30 0:00:46

NCP1342高频准谐振反激控制器:从设计约束到验收的完整方案

简介:NCP1342 高频准谐振反激控制器应用介绍译文文档,面向电源设计工程师、硬件研发人员及开关电源学习者,帮助读者跨越英文原版资料的语言门槛,系统理解这款高集成度 QR Flyback 控制器的设计要点。文档围绕芯片核心特性展开&…

2026/10/30 0:00:46

NCP1342准谐振反激电源设计:从选型到验收的全流程解析

简介:这份文档面向电源设计工程师与开关电源学习者,系统梳理NCP1342高频准谐振反激控制器的应用要点,帮助读者快速理解这款高集成度离线电源变换器控制芯片的工作机制与设计方法。内容涵盖芯片核心特性、引脚功能定义、电气特性参数表、最大额…

2026/10/30 0:00:46

Web系统自动登出机制设计与实现全解析

1. 系统自动登出机制的设计初衷在各类Web应用和后台管理系统中,自动登出功能早已成为标配。这个看似简单的功能背后,实际上涉及用户安全、资源管理和体验优化的多重考量。作为从业十多年的老开发,我见过太多因为登出逻辑设计不当导致的安全事…

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑