Crawl4AI 实战：网页转 LLM 就绪 Markdown 的 4 个关键操作

Crawl4AI 实战网页转 LLM 就绪 Markdown 的 4 个关键操作【免费下载链接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN项目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai当你要把一个 200 页的 API 文档站喂给 LLM 时手动复制再剥离 HTML 标签显然不可行而用 requests 直接抓回来的又是一整面 JS 模板。Crawl4AI 是一个开源的 LLM 友好网页爬虫它驱动无头浏览器完成渲染与等待把页面自动转换成干净的 Markdown并内置多种结构化提取策略。下面从安装到批量运行走一遍它的 4 个关键操作。它是什么为谁解决什么问题与围绕 HTTP 请求组织流程的 Scrapy 类框架不同Crawl4AI 的基本单元是真实浏览器每个页面都会经过渲染、等待和 JavaScript 执行默认产物是带标题层级、表格和代码块结构的 Markdown而不是裸 HTML。它面向的典型用户是搭 RAG 管道的开发者、给 Agent 建数据管道的工程师以及任何需要把网页内容喂给 LLM 的团队。相对自己为每个站点写选择器清洗Crawl4AI 用默认的剪枝参数就能处理大多数常规页面不生效时再逐条调整。第一次运行你打开终端粘贴这行安装命令等十几秒再依次跑完两条后处理命令。crawl4ai-setup会下载 Chromium 并初始化依赖crawl4ai-doctor用来逐项检查环境是否就绪。pip install -U crawl4ai crawl4ai-setup crawl4ai-doctor环境确认后把这段脚本存成first_crawl.py并运行它会启动一个无头 Chromium抓取 example.com 并打印前 300 个字符。import asyncio from crawl4ai import AsyncWebCrawler async def main(): async with AsyncWebCrawler() as crawler: result await crawler.arun(urlhttps://example.com) print(result.markdown[:300]) asyncio.run(main())首次运行会多花几秒拉起浏览器进程之后输出是一小段带标题的 Markdown段落、链接都保留原结构。如果不想写代码也可以用内置 CLI 快速验证crwl https://example.com -o markdown输出内容与脚本一致。核心能力与适用边界内容剪枝过滤默认的PruningContentFilter按词密度给块级节点打分阈值设为 0.48 时会移除导航、页脚、侧栏这类低密度节点剪掉的部分保存在fit_markdown里原文在raw_markdown里两者可随时对比。剪枝策略实现中threshold_type可设为fixed或dynamic。适合信息流、博客、维基类页面局限是剪枝基于词密度估算正文本身很短的单栏页面可能被误删此时应调低阈值或退回raw_markdown。from crawl4ai.markdown_generation_strategy import DefaultMarkdownGenerator from crawl4ai.content_filter_strategy import PruningContentFilter config CrawlerRunConfig( excluded_tags[nav, footer, aside], markdown_generatorDefaultMarkdownGenerator( content_filterPruningContentFilter(threshold0.48, threshold_typefixed) ) )深度爬取策略BFSDeepCrawlStrategy逐层展开链接配合max_depth、max_pages与 URL 评分器控制范围同一模块还提供 DFS 与 Best-First 两种遍历顺序。策略源码里每个 URL 都要先过FilterChain再入队。适合文档站、产品目录这类同域内容include_externalFalse是默认值跨域聚合需要显式打开并配合域名过滤否则页数很容易失控。from crawl4ai.deep_crawling import BFSDeepCrawlStrategy config CrawlerRunConfig( deep_crawl_strategyBFSDeepCrawlStrategy( max_depth2, include_externalFalse, max_pages50 ) ) results await crawler.arun(urlhttps://docs.crawl4ai.com, configconfig)缓存模式切换CacheMode定义了 5 种行为ENABLED读写、DISABLED不缓存、READ_ONLY只读、WRITE_ONLY只写、BYPASS本次绕过定义见缓存上下文。默认是BYPASS即每次抓新内容。调试选择器、验证页面变化时用BYPASS对稳定页面做批量抓取时切ENABLED可以省掉重复的浏览器开销。注意缓存按 URL 命中页面 A/B 测试场景下不要开缓存。from crawl4ai import CacheMode config CrawlerRunConfig(cache_modeCacheMode.ENABLED)JS 执行与动态内容js_code在页面加载后注入并执行任意脚本wait_for接受一个返回布尔值的 JS 函数条件成立前不会取回 HTML。适合Load More按钮、分页列表、虚拟滚动这类内容分片加载的页面。局限是它对 SPA 里依赖用户交互链路登录、多级菜单的深内容无能为力那部分需要 hooks 机制逐步驱动单靠js_code覆盖不了。config CrawlerRunConfig( js_codeconst bdocument.querySelector(.load-more); b b.click();, wait_for() document.querySelectorAll(article).length 10, delay_before_return_html2000, )场景实战新闻页只取正文区域背景科技媒体首页混着推荐位、侧栏和社交按钮整页转 Markdown 噪音很多。思路用css_selector把取回范围限定到正文容器其余节点根本不进入转换。代码from crawl4ai import CrawlerRunConfig, CacheMode config CrawlerRunConfig( cache_modeCacheMode.BYPASS, css_selector.article-content, ) async with AsyncWebCrawler() as crawler: result await crawler.arun( urlhttps://techcrunch.com, configconfig ) print(result.markdown[:1000])实际效果输出只剩匹配容器的内容长度从整页的数千行降到数百行。用 LLM 提取模型定价表背景OpenAI 定价页的模型和价格是散落在卡片里的CSS 选择器要写一堆才能对齐。思路定义 Pydantic 模型描述目标结构交给LLMExtractionStrategy把提取指令写清楚即可。代码import os from pydantic import BaseModel from crawl4ai import AsyncWebCrawler, CrawlerRunConfig, LLMConfig, CacheMode from crawl4ai.extraction_strategy import LLMExtractionStrategy class ModelFee(BaseModel): model_name: str input_fee: str output_fee: str config CrawlerRunConfig( cache_modeCacheMode.BYPASS, extraction_strategyLLMExtractionStrategy( llm_configLLMConfig( provideropenai/gpt-4o, api_tokenos.getenv(OPENAI_API_KEY) ), schemaModelFee.model_json_schema(), instruction提取页面中所有模型名称及其输入、输出价格, ), ) result await crawler.arun(urlhttps://openai.com/api/pricing/, configconfig) print(result.extracted_content)实际效果extracted_content返回 JSON 数组每个模型一条记录字段与 schema 一一对应。抓Load More动态列表背景新闻列表页首屏只渲染十几条卡片往下还有点击加载。思路注入脚本点击按钮再用wait_for等待卡片数量达标后取回 HTML。代码config CrawlerRunConfig( cache_modeCacheMode.BYPASS, js_code const btn Array.from(document.querySelectorAll(button)) .find(b b.textContent.includes(Load More)); btn btn.click(); , wait_for() document.querySelectorAll(article.tease-card).length 10, delay_before_return_html3000, ) result await crawler.arun(urlhttps://www.nbcnews.com/business, configconfig)实际效果取回的 Markdown 包含滚动前不可见的条目wait_for未达标时会一直等到超时。调参与排障速查问题可能原因处理启动报 Playwright/浏览器缺失浏览器依赖未安装python -m playwright install --with-deps chromium页面已更新返回的却是旧内容命中本地缓存cache_modeCacheMode.BYPASS动态列表条目不全JS 渲染未完成就取回 HTML加wait_for或调大delay_before_return_htmlMarkdown 里导航、页脚噪音多未启用内容剪枝PruningContentFilter(threshold0.48)excluded_tags批量抓取频繁 403/限流浏览器指纹或无代理出口BrowserConfig(proxy_configProxyConfig(...))配use_undetected_browserTrue延伸与社区快速上手文档docs/md_v2/core/quickstart.md完整功能示例含 CSS 提取与 LLM 提取docs/examples/quickstart.py深度爬取过滤与评分器示例docs/examples/deepcrawl_example.py提取策略实现crawl4ai/extraction_strategy.py项目目前星标超过 5 万v0.9.0 起自托管 Docker 服务默认开启鉴权。【免费下载链接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN项目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考