如何用 scan_method: local_parser 把自己的抓取脚本接入 career-ops,让 scan.mjs 零 token 抓取公司招聘页

发布时间:2026/9/10 12:32:38

如何用 scan_method: local_parser 把自己的抓取脚本接入 career-ops,让 scan.mjs 零 token 抓取公司招聘页 如何用 scan_method: local_parser 把自己的抓取脚本接入 career-ops让 scan.mjs 零 token 抓取公司招聘页【免费下载链接】career-opsOpen-source AI job search: scan job portals, evaluate listings into a structured A-H report with a global 1-5 score, tailor your CV, track applications — runs locally in your AI coding CLI (Claude Code, Codex, OpenCode, Antigravity…)项目地址: https://gitcode.com/GitHub_Trending/ca/career-opscareer-ops 的scan.mjs默认用 Playwright 或 WebSearch 这类会消耗 LLM token 的方式发现职位。如果你的目标公司招聘页是 SSR/静态 HTML、有稳定的结构或文档化的接口可以自己写一个本地抓取脚本通过scan_method: local_parser接入扫描流程解析器作为本地命令运行把规范化后的职位 JSON 打到 stdoutscan.mjs的发现阶段就0 LLM tokens消耗只有规范化后的职位行进入后续 title 过滤、去重和 pipeline 输出流程。完整机制见 docs/local-parser-cookbook.md 和 providers/local-parser.mjs。什么情况下该用 local_parser按 docs/local-parser-cookbook.md 的说明满足以下条件时适合公司招聘页有稳定 HTML、SSR 渲染或有文档化的 endpoint本地解析比 Playwright 更容易脚本语言不限——JavaScript、Python、shell、Go 或机器上任何可执行运行时都行career-ops不自带公司专属解析脚本脚本由你提供portals.yml指向它。一个重要的边界如果某公司已经能被scan.mjs自动识别出 Greenhouse、Ashby 或 Lever 的公开 API通常不需要写解析器而 local parser 失败时scan.mjs会记录失败并对该公司回退到 API 路径而不是直接丢弃。准备条件已装好 career-ops 项目并能运行node scan.mjs脚本走npm run scan等价。按 templates/portals.example.yml 顶部说明先把该模板复制为项目根目录的portals.yml再编辑其中的title_filter和tracked_companies。你的抓取脚本必须放在项目目录内相对路径会相对项目根解析providers/local-parser.mjs 会拒绝解析到项目根之外的路径。第一步写一个满足 stdout 契约的抓取脚本解析器必须把下列三种 JSON 形状之一打印到 stdout文档示例来自 docs/local-parser-cookbook.md[ { title: Senior AI Engineer, url: https://example.com/jobs/123, location: Remote } ]{ jobs: [ { title: Senior AI Engineer, url: https://example.com/jobs/123, location: Remote } ] }{ results: [ { title: Senior AI Engineer, url: https://example.com/jobs/123, location: Remote } ] }字段要求title和url必填company可选缺省时扫描器使用tracked_companies条目的name相对 URL 会按careers_url解析成绝对地址。仓库里 tests/providers/_fixture-local-parser.mjs 是一个可直接参考的示例脚本它按参数打印上面契约的不同形状包括{ jobs: [...] }包裹和缺title/url会被丢弃的行。一个满足契约的最小脚本形态输出为文档示例数据真实脚本需要自己请求目标公司页面并解析// scripts/parsers/example-company-jobs.js console.log(JSON.stringify([ { title: Senior AI Engineer, url: https://example.com/jobs/123, location: Remote } ]));运行时还有几条硬约束来自 providers/local-parser.mjsparser.command必须是白名单解释器之一python3、python、node、deno、bun、sh、bash或者是项目内的一个文件不允许任意二进制。使用白名单解释器时脚本必须是解释器的第一个参数node --eval、python -c这类内联代码标志会被拒绝。脚本以项目根为 cwd 执行且不经过 shell 展开execFile所以args里的{careers_url}和{company}由scan.mjs在执行前做占位符替换careers_url必须是 http(s)公司名不能以-开头。默认超时 20 秒、stdout 缓冲上限 2 MB可用parser.timeout_ms和parser.max_buffer_bytes覆盖。stdout 不是合法 JSON 时抛错local parser returned invalid JSON。args是可选的公司专属脚本通常把源 URL、选择器、分页规则直接写死在脚本里用不到args只有想让一个脚本复用到多家公司时才通过args传{careers_url}/{company}之类的参数。第二步在 portals.yml 中注册解析器在portals.yml的tracked_companies:下为该公司添加一条目下面为文档示例值name、careers_url、脚本路径需替换成你自己的公司- name: Example Company careers_url: https://example.com/careers scan_method: local_parser parser: command: node script: scripts/parsers/example-company-jobs.js format: jobs-json-v1 enabled: truePython 脚本则把command换成python3、script换成.py路径见 templates/portals.example.yml 中注释掉的 JS/Python 示例。路由规则parser.commandparser.script都设置时local-parser优先于其他 provider 运行即先本地解析再谈 ATS API 回退。第三步用 validate:portals 离线校验配置先跑离线校验器再跑扫描。它不请求任何职位板只检查 YAML 形状、未知 provider、URL 格式和 local parser 块是否合法见 docs/SCRIPTS.md 的validate:portals一节npm run validate:portals退出码0表示没有错误允许有 warning1表示发现错误。如果配置有问题应在这一步就被拦下来而不是等到扫描时才报 parser 错误。第四步运行扫描并核对结果npm run scan # 等价于 node scan.mjsscan.mjs读取portals.yml中的目标公司把命中的职位输出到 stdout并可选追加到data/pipeline.md见 docs/SCRIPTS.md 的scan一节。退出码0扫描完成1配置错误或找不到portals.yml。判断接入是否成功按顺序看三点validate:portals退出码为0scan.mjs退出码为0且 stdout 出现目标公司的职位行运行汇总会统计本地解析器覆盖的公司数scan.mjs汇总中的N local parser有职位行且计数大于 0说明该公司走的是本地脚本而不是 Playwright/API 通道。如果解析器同时会写完整 JSON 快照用于调试或审计放到data/parser-output/{company}/下并把生成的 JSON 排除在 git 之外.gitkeep占位文件是唯一允许提交的例外。失败与回退行为本地 parser 失败若该公司同时存在可探测的 Greenhouse、Ashby 或 Lever API 源scan.mjs记录解析器失败后回退到 API 路径公司不会从扫描中消失此时运行信息里会带local parser failed, used API fallback说明。脚本路径或命令不安全detect()阶段解析不了调用未知命令、脚本不在项目内、缺失脚本、内联代码标志时该条目直接跳过报错信息如local-parser: path escapes the project root、local-parser: the parser script must be the interpreters first argument。在 agent 扫描模式下按 modes/scan.md 的规则Level 0local parser成功的公司进入local_parser_ok集合后agent 必须跳过该公司的 PlaywrightLevel 1和 APILevel 2Level 3 的 WebSearch 通用查询仍保留但过滤掉该公司命中也不应为已有 local parser 的公司另建专用search_queries。这就是 local_parser 省 token 的实际效果——防止模型重复抓取同一公司。脚本写好后接入就是一条固定链路脚本进项目目录 →portals.yml挂parser块 →validate:portals通过 →npm run scan以 0 token 完成该公司的发现。后续公司招聘页结构变化时只需改脚本本身portals.yml与扫描流程不用动。【免费下载链接】career-opsOpen-source AI job search: scan job portals, evaluate listings into a structured A-H report with a global 1-5 score, tailor your CV, track applications — runs locally in your AI coding CLI (Claude Code, Codex, OpenCode, Antigravity…)项目地址: https://gitcode.com/GitHub_Trending/ca/career-ops创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/9/10 12:27:38

yuzu Switch模拟器:3步跑起来,附分档配置与排错速查

yuzu Switch模拟器:3步跑起来,附分档配置与排错速查 【免费下载链接】yuzu 任天堂 Switch 模拟器 项目地址: https://gitcode.com/GitHub_Trending/yu/yuzu 如果你手上已经有Switch游戏,只是想在更大屏幕、更顺手的外设上玩&#xff0…

2026/9/10 13:27:47

SEO内容优化与关键词研究实战指南

1. 内容优化与SEO效果提升的核心逻辑内容优化是SEO工作中最具长期价值的环节。我从业八年发现一个规律:那些靠技术手段快速提升排名的网站,往往在算法更新后迅速跌落;而持续产出优质内容的站点,排名却能稳定上升。这背后的本质是搜…

2026/9/10 13:27:47

海面石油泄漏检测:1800张双格式小目标数据集实战指南

简介:本资源是面向计算机视觉初学者与环境监测领域研究者的海面石油泄漏目标检测专用数据集,聚焦于海上溢油事故的自动化识别任务,可支撑YOLO、Faster R-CNN等主流检测模型的训练与验证。压缩包共2000个文件,含1817张JPG图像、181…

2026/9/10 13:22:46

Flink Agents架构解析:流处理与分布式代理的深度结合

1. Flink Agents 核心架构全景解析第一次看到Flink Agents这个项目名称时,我下意识以为这又是一个基于Flink的AI代理框架。但当我真正开始阅读源码后,才发现这是一个将Flink流处理能力与分布式代理模式深度结合的创新架构。这种架构设计在实时数据处理领…

2026/9/9 13:11:35

超人会飞不算本事:系统稳定依赖清晰规则与边界设计

开头先不绕弯子。“#斯坦李吐槽dc 所以超人是无缘无故会飞的嘛哈哈哈哈哈哈哈锤哥真是技术人才啊!#雷神 #复联”这类调侃式短标题,第一波冲击力在于它把两个宇宙的角色塞进同一个吐槽箱里,但细想一下就能发现,它真正碰到的根本不是…

2026/9/10 11:16:38

超人VS蜘蛛侠:拆解超级IP的影响力与传播方法论

把“蜘蛛侠 vs 超人”放在 CSDN 上聊,可能很多人第一反应是走错片场了。但如果把这两个角色看成“两个持续运营了 80 多年的文化产品”,你会发现,这场比较本质上是两个不同 IP 策略的长期结果对比:超人赢在定义了整个超级英雄题材…

2026/9/9 16:31:09

基于CNN的调制信号识别:MATLAB实现时频图分类实战

简介:本资源是一套面向通信工程与信号处理方向学习者、研究者的深度学习实践方案,聚焦调制信号自动检测与识别这一典型无线通信任务,解决传统方法依赖人工特征、低信噪比下性能下降等痛点。压缩包共12个文件(10.73MB)&…

2026/9/10 0:00:55

目录对比去重实战:用哈希算法精准清理重复文件

我电脑里现在还有一块换了三次机的“数据墓地”硬盘,里面存着2016年以前所有旧笔记本的完整备份。平时不觉得有什么,直到前阵子想把它整理归档,发现同一个安装包、同一批照片、同一份论文草稿,在几个不同的备份目录里反复出现。更…

2026/9/10 0:00:55

Leaflet离线地图完整Demo合集:内网部署与坐标纠偏实战

简介:这是一份面向Web GIS开发者的LeafLet离线地图示例合集,帮助开发者快速掌握离线地图从搭建到交互的完整流程。压缩包共723个文件,大小14.06MB,以319个js脚本、175个html页面和29个css样式文件为主体,配合png/svg图…

2026/9/10 0:00:55

MATLAB读取Rinex 3.02观测文件:多系统GNSS数据解析实战

简介:基于MATLAB开发的Rinex3.02版观测文件(o文件)读取代码包,面向卫星定位导航方向的学习者与研究人员,用于解决新版观测文件的数据解析、历元提取与时间转换问题。压缩包共4个文件,包含两个m脚本、一个19…

2026/9/10 12:32:02

USB Type-C PCB布局分区设计:电源、高速信号与PD协议全攻略

做硬件这行,Type-C接口算是典型的“看着简单,做起来全坑”的东西。光引脚就24个,高低速信号、电源、控制线全部塞在一个小小的连接器里,如果PCB布局不做规划,打样回来基本就是“插上没反应”、“高速掉线”、“静电一打…

2026/9/7 22:46:00

系统编程学习原型如何补齐稳定性边界

系统编程学习原型如何补齐稳定性边界预算有限时&#xff0c;我先优化明显多余的复制&#xff0c;而不是猜测性地换容器。用借用传递只读数据通常就能减少分配&#xff1a; fn parse(line: &str) -> Result<Item, Error> { /* ... */ }用基准确认热点确实在分配&am…

2026/9/9 10:21:54

雨花区哪家财务公司代理记账比较好?

在雨花区&#xff0c;企业处理财税事务常常面临诸多挑战&#xff0c;选择一家靠谱的财务公司至关重要。湖南巨勤财务管理咨询有限公司就是本地正规实体财税服务机构&#xff0c;深耕本地工商财税行业多年&#xff0c;熟悉当地工商局、税务局最新政策与申报流程。主营公司注册、…

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
咨询二维码