如何用 scan_method: local_parser 把自己的抓取脚本接入 career-ops,让 scan.mjs 零 token 抓取公司招聘页

发布时间:2026/10/31 13:21:08

如何用 scan_method: local_parser 把自己的抓取脚本接入 career-ops,让 scan.mjs 零 token 抓取公司招聘页 如何用 scan_method: local_parser 把自己的抓取脚本接入 career-ops让 scan.mjs 零 token 抓取公司招聘页【免费下载链接】career-opsOpen-source AI job search: scan job portals, evaluate listings into a structured A-H report with a global 1-5 score, tailor your CV, track applications — runs locally in your AI coding CLI (Claude Code, Codex, OpenCode, Antigravity…)项目地址: https://gitcode.com/GitHub_Trending/ca/career-opscareer-ops 的scan.mjs默认用 Playwright 或 WebSearch 这类会消耗 LLM token 的方式发现职位。如果你的目标公司招聘页是 SSR/静态 HTML、有稳定的结构或文档化的接口可以自己写一个本地抓取脚本通过scan_method: local_parser接入扫描流程解析器作为本地命令运行把规范化后的职位 JSON 打到 stdoutscan.mjs的发现阶段就0 LLM tokens消耗只有规范化后的职位行进入后续 title 过滤、去重和 pipeline 输出流程。完整机制见 docs/local-parser-cookbook.md 和 providers/local-parser.mjs。什么情况下该用 local_parser按 docs/local-parser-cookbook.md 的说明满足以下条件时适合公司招聘页有稳定 HTML、SSR 渲染或有文档化的 endpoint本地解析比 Playwright 更容易脚本语言不限——JavaScript、Python、shell、Go 或机器上任何可执行运行时都行career-ops不自带公司专属解析脚本脚本由你提供portals.yml指向它。一个重要的边界如果某公司已经能被scan.mjs自动识别出 Greenhouse、Ashby 或 Lever 的公开 API通常不需要写解析器而 local parser 失败时scan.mjs会记录失败并对该公司回退到 API 路径而不是直接丢弃。准备条件已装好 career-ops 项目并能运行node scan.mjs脚本走npm run scan等价。按 templates/portals.example.yml 顶部说明先把该模板复制为项目根目录的portals.yml再编辑其中的title_filter和tracked_companies。你的抓取脚本必须放在项目目录内相对路径会相对项目根解析providers/local-parser.mjs 会拒绝解析到项目根之外的路径。第一步写一个满足 stdout 契约的抓取脚本解析器必须把下列三种 JSON 形状之一打印到 stdout文档示例来自 docs/local-parser-cookbook.md[ { title: Senior AI Engineer, url: https://example.com/jobs/123, location: Remote } ]{ jobs: [ { title: Senior AI Engineer, url: https://example.com/jobs/123, location: Remote } ] }{ results: [ { title: Senior AI Engineer, url: https://example.com/jobs/123, location: Remote } ] }字段要求title和url必填company可选缺省时扫描器使用tracked_companies条目的name相对 URL 会按careers_url解析成绝对地址。仓库里 tests/providers/_fixture-local-parser.mjs 是一个可直接参考的示例脚本它按参数打印上面契约的不同形状包括{ jobs: [...] }包裹和缺title/url会被丢弃的行。一个满足契约的最小脚本形态输出为文档示例数据真实脚本需要自己请求目标公司页面并解析// scripts/parsers/example-company-jobs.js console.log(JSON.stringify([ { title: Senior AI Engineer, url: https://example.com/jobs/123, location: Remote } ]));运行时还有几条硬约束来自 providers/local-parser.mjsparser.command必须是白名单解释器之一python3、python、node、deno、bun、sh、bash或者是项目内的一个文件不允许任意二进制。使用白名单解释器时脚本必须是解释器的第一个参数node --eval、python -c这类内联代码标志会被拒绝。脚本以项目根为 cwd 执行且不经过 shell 展开execFile所以args里的{careers_url}和{company}由scan.mjs在执行前做占位符替换careers_url必须是 http(s)公司名不能以-开头。默认超时 20 秒、stdout 缓冲上限 2 MB可用parser.timeout_ms和parser.max_buffer_bytes覆盖。stdout 不是合法 JSON 时抛错local parser returned invalid JSON。args是可选的公司专属脚本通常把源 URL、选择器、分页规则直接写死在脚本里用不到args只有想让一个脚本复用到多家公司时才通过args传{careers_url}/{company}之类的参数。第二步在 portals.yml 中注册解析器在portals.yml的tracked_companies:下为该公司添加一条目下面为文档示例值name、careers_url、脚本路径需替换成你自己的公司- name: Example Company careers_url: https://example.com/careers scan_method: local_parser parser: command: node script: scripts/parsers/example-company-jobs.js format: jobs-json-v1 enabled: truePython 脚本则把command换成python3、script换成.py路径见 templates/portals.example.yml 中注释掉的 JS/Python 示例。路由规则parser.commandparser.script都设置时local-parser优先于其他 provider 运行即先本地解析再谈 ATS API 回退。第三步用 validate:portals 离线校验配置先跑离线校验器再跑扫描。它不请求任何职位板只检查 YAML 形状、未知 provider、URL 格式和 local parser 块是否合法见 docs/SCRIPTS.md 的validate:portals一节npm run validate:portals退出码0表示没有错误允许有 warning1表示发现错误。如果配置有问题应在这一步就被拦下来而不是等到扫描时才报 parser 错误。第四步运行扫描并核对结果npm run scan # 等价于 node scan.mjsscan.mjs读取portals.yml中的目标公司把命中的职位输出到 stdout并可选追加到data/pipeline.md见 docs/SCRIPTS.md 的scan一节。退出码0扫描完成1配置错误或找不到portals.yml。判断接入是否成功按顺序看三点validate:portals退出码为0scan.mjs退出码为0且 stdout 出现目标公司的职位行运行汇总会统计本地解析器覆盖的公司数scan.mjs汇总中的N local parser有职位行且计数大于 0说明该公司走的是本地脚本而不是 Playwright/API 通道。如果解析器同时会写完整 JSON 快照用于调试或审计放到data/parser-output/{company}/下并把生成的 JSON 排除在 git 之外.gitkeep占位文件是唯一允许提交的例外。失败与回退行为本地 parser 失败若该公司同时存在可探测的 Greenhouse、Ashby 或 Lever API 源scan.mjs记录解析器失败后回退到 API 路径公司不会从扫描中消失此时运行信息里会带local parser failed, used API fallback说明。脚本路径或命令不安全detect()阶段解析不了调用未知命令、脚本不在项目内、缺失脚本、内联代码标志时该条目直接跳过报错信息如local-parser: path escapes the project root、local-parser: the parser script must be the interpreters first argument。在 agent 扫描模式下按 modes/scan.md 的规则Level 0local parser成功的公司进入local_parser_ok集合后agent 必须跳过该公司的 PlaywrightLevel 1和 APILevel 2Level 3 的 WebSearch 通用查询仍保留但过滤掉该公司命中也不应为已有 local parser 的公司另建专用search_queries。这就是 local_parser 省 token 的实际效果——防止模型重复抓取同一公司。脚本写好后接入就是一条固定链路脚本进项目目录 →portals.yml挂parser块 →validate:portals通过 →npm run scan以 0 token 完成该公司的发现。后续公司招聘页结构变化时只需改脚本本身portals.yml与扫描流程不用动。【免费下载链接】career-opsOpen-source AI job search: scan job portals, evaluate listings into a structured A-H report with a global 1-5 score, tailor your CV, track applications — runs locally in your AI coding CLI (Claude Code, Codex, OpenCode, Antigravity…)项目地址: https://gitcode.com/GitHub_Trending/ca/career-ops创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/10/30 17:12:27

yuzu Switch模拟器:3步跑起来,附分档配置与排错速查

yuzu Switch模拟器:3步跑起来,附分档配置与排错速查 【免费下载链接】yuzu 任天堂 Switch 模拟器 项目地址: https://gitcode.com/GitHub_Trending/yu/yuzu 如果你手上已经有Switch游戏,只是想在更大屏幕、更顺手的外设上玩&#xff0…

2026/10/31 13:19:14

2025届毕业生如何掌握AI技能提升就业竞争力

1. 2025届毕业生面临的就业挑战与AI机遇 2025年全国高校应届毕业生人数预计将达到1222万,创下历史新高。这个数字背后是前所未有的就业竞争压力,传统行业的岗位增长已无法消化如此庞大的人才供给。与此同时,AI技术正在重塑几乎所有行业的就业…

2026/10/31 13:19:14

OpenCode:面向LLM原生开发的TypeScript+monorepo协作操作系统

1. OpenCode不是IDE,也不是代码编辑器——它是一套面向LLM原生开发的协作操作系统OpenCode这个词最近在开发者社区里频繁出现,但很多人第一次看到时会下意识把它和VS Code、JetBrains系列或者Cursor这类AI增强型编辑器划等号。我去年底开始接触OpenCode&…

2026/10/31 13:19:14

OpenRig:基于Node.js+tmux的本地Codex协议代理架构

1. OpenRig 是什么:一个被误读的开源项目名与真实技术图谱 “OpenRig”这个词在当前技术社区中正经历一场典型的语义漂移——它既不是某个广为人知的成熟开源项目,也不是官方发布的框架或工具套件,而更像一个在开发者私有工作流、实验性集成…

2026/10/31 13:19:14

LR-TB5000 TOF激光测距传感器调试与精度验证指南

简介:《基恩士激光测距操作手册》以PDF形式系统整理了LR-TB5000系列放大器内置型TOF激光传感器的官方使用说明,面向自动化产线的设备调试、电气维护人员及传感器初学者,用于解决激光测距仪在安全合规、安装配线与参数设定中的实操疑问。压缩包…

2026/10/31 13:19:14

OpenShell不是软件,而是跨平台Shell操作方法论

1. OpenShell 是什么?它不是 Shell,也不是“开源 Shell”的简称OpenShell 这个名字在当前技术社区里存在显著的语义混淆——它既不是 Linux/macOS 原生 shell(如 bash、zsh、fish)的开源实现,也不是一个统一跨平台的终…

2026/10/31 13:14:13

SAP按单生产委外加工:两层与三层BOM库存账务全链路

简介:围绕SAP按单生产(MTO)委外加工整理的实操总结文档,面向已具备MM/PP基础、需要处理外协采购与库存移动的顾问及企业关键用户,重点解答自供材料如何发往供应商库存、成品如何按销售订单入库等常见难题。文档以两个典…

2026/10/30 20:55:10

全国计算机二级C语言真题PDF高效刷题指南

简介:这份PDF是全国计算机二级C语言考试的试题与答案解析,专为备考二级C语言的考生准备。内容涵盖C语言特点与设计理念、程序基本组成单位、main函数执行流程、函数嵌套调用规则、标识符命名规范、整型实型字符型数据类型、八进制十六进制数合法形式、运…

2026/10/30 20:55:10

requests+BeautifulSoup:爬虫抓取h1标题的入门实战指南

简介:一份以实战为导向的Python爬虫入门资源,面向具备基本编程基础、希望快速掌握网络数据抓取的初学者,可解决从零编写简单爬虫的常见困惑。实例以requests库发送HTTP请求、BeautifulSoup解析HTML文档,完整演示从网页中提取 标题…

2026/10/30 20:55:09

递推最小二乘参数辨识MATLAB编程:二阶系统与渐消记忆实现

简介:这是一篇面向控制系统、信号处理与机器学习等领域学习者的最小二乘参数辨识程序说明文档。资源共包含一个docx格式文档,压缩包大小七十八KB,内容围绕递推最小二乘算法和渐消记忆最小二乘算法展开:先构造一个极点位于单位圆内…

2026/10/31 0:02:41

猫狗目标检测数据集:VOC/COCO/YOLO三格式一体化实战包

简介:本资源是一套面向计算机视觉初学者与YOLO目标检测实践者的猫狗图像数据集及配套开发工具包,专为快速上手目标检测模型训练而设计。资源包含1000张真实场景高清猫狗图片,标注质量高,同时提供VOC(XML)、…

2026/10/31 0:02:41

HDU2017多校标程复现:算法竞赛工程化真题沙盒

简介:本资源为2017年HDU多校联合训练第一场官方配套资料,面向ACM程序设计竞赛备赛学生、算法爱好者及高校编程集训队成员,旨在提供权威解题参考与完整测试验证环境。压缩包共40个文件,含15份C标程(覆盖全部赛题&#x…

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑