Scrapling 快速上手指南用 Python 搞定静态页面、JS 渲染和 Cloudflare【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling用 requests 跑了三天的爬虫对方一换 UA 策略脚本就全挂了之后你开始手动拼浏览器自动化代码越写越重。Scrapling 是一个 Python 网页抓取框架把普通 HTTP 请求、JavaScript 渲染、Cloudflare 人机验证这几类需求收进同一套 API发请求、选元素、跑批量爬虫都在一个库里完成你不用在多个库之间来回切换。 传统方案卡在哪里requests 加 BeautifulSoup 的组合对付结构稳定的静态页够用但碰到 TLS 指纹检测你的请求头再真实也会被拦因为握手层的特征和真实浏览器对不上。页面靠 JavaScript 动态渲染时解析器拿到的只是一段空壳 HTML你只能再引入 Playwright 手写自动化等选择器、处理时序问题。再往上遇到 Cloudflare 挑战页基本得自己研究验证码和指纹对抗维护成本直线上升。最后还有个隐藏成本目标站改版一次你写死的所有选择器集体失效。 五分钟跑通第一个任务环境搭建Python 3.10 以上。从源码安装并执行scrapling install下载浏览器运行环境git clone https://gitcode.com/GitHub_Trending/sc/Scrapling cd Scrapling pip install -e .[fetchers] scrapling install最小可运行示例拿到仓库后跑这几行from scrapling.fetchers import Fetcher page Fetcher.get(https://example.com) print(page.status) print(page.get_all_text())page.status是 HTTP 状态码这里会打印 200。返回的page本身就是解析器拿到 HTML 之后可以直接在上面用 CSS 或 XPath 选元素不用再转 BeautifulSoup。三种抓取器怎么选官方文档有对照表docs/fetching/choosing.md。 三个典型场景的解法静态页面普通 HTTP 请求大部分列表页、详情页其实是纯静态的不需要起浏览器。Fetcher底层用curl_cffi默认会伪装成真实 Chrome 的 TLS 指纹和请求头impersonate参数可以换成其他浏览器from scrapling.fetchers import Fetcher page Fetcher.get(https://quotes.toscrape.com, impersonatechrome) items page.css(.quote .text).get_all() print(items[0])impersonatechrome表示在 TLS 层模仿最新版 Chrome 的握手特征不传参数时也默认使用 Chrome。请求细节见 docs/fetching/static.md。JavaScript 渲染页无头浏览器加载内容靠前端脚本生成时换DynamicFetcher它打开真实 Chromium 渲染完再返回。network_idleTrue表示等 500ms 内没有网络请求才返回wait_selector可以等某个元素出现避免抓到加载中的空壳from scrapling.fetchers import DynamicFetcher page DynamicFetcher.fetch(https://quotes.toscrape.com/js/, network_idleTrue) print(page.get_all_text())不传参数时浏览器以无头模式运行real_chromeTrue可以改用本机安装的 Chrome指纹更真实。参数说明在 docs/fetching/dynamic.md。高反爬站点Cloudflare 自动过验证目标站挂了 Cloudflare 人机验证用StealthyFetcher。它默认就隐藏了 Playwright 的痕迹、给 canvas 加噪、堵住 WebRTC 泄漏solve_cloudflareTrue会让它自动识别并解掉各类验证挑战过完才把页面给你from scrapling.fetchers import StealthyFetcher page StealthyFetcher.fetch(https://target-site.com, solve_cloudflareTrue) print(page.status)这个类的反检测选项最多比如屏蔽广告域、走代理、时区伪装完整列表见 docs/fetching/stealthy.md。 新手高频踩坑装了 scrapling 却 import 不了 Fetcher。默认安装只带解析器fetchers 依赖要显式装补上pip install scrapling[fetchers]并执行scrapling install即可。动态页拿到的文本为空。页面 JS 还没执行完就返回了给DynamicFetcher.fetch加network_idleTrue或用wait_selector.target等关键元素出现。站点改版后所有选择器失效。Scrapling 的自适应模式能按内容特征重新定位元素products page.css(.product, auto_saveTrue) # 首次抓取时保存特征 products page.css(.product, adaptiveTrue) # 改版后按特征重新找存储与定位原理见 docs/development/adaptive_storage_system.md。 从实验到生产批量抓取时用 Session 版本的抓取器如StealthySession替代单次 fetch浏览器只启动一次后续请求复用速度差一个量级。大规模任务配上限速与代理轮询框架内置了 scrapling/spiders/throttle.py 和代理轮询模块并发加上去也不会把目标站打挂或让自己的 IP 被拉黑。长任务把日志落到文件利用 Spider 框架自带的暂停/断点续抓中途断线不用从零重来架构细节在 docs/spiders/architecture.md。抓取前看一眼目标站的 robots.txt控制频率只采集公开的页面数据。框架也内置了 scrapling/spiders/robotstxt.py 供爬虫自动检查协议。从你手头最难受的那个页面开始试先用Fetcher.get验证内容是否在 HTML 里不行再逐级换DynamicFetcher和StealthyFetcher三行代码就能定位到该用哪一级方案。【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Scrapling 快速上手指南用 Python 搞定静态页面、JS 渲染和 Cloudflare【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling用 requests 跑了三天的爬虫对方一换 UA 策略脚本就全挂了之后你开始手动拼浏览器自动化代码越写越重。Scrapling 是一个 Python 网页抓取框架把普通 HTTP 请求、JavaScript 渲染、Cloudflare 人机验证这几类需求收进同一套 API发请求、选元素、跑批量爬虫都在一个库里完成你不用在多个库之间来回切换。 传统方案卡在哪里requests 加 BeautifulSoup 的组合对付结构稳定的静态页够用但碰到 TLS 指纹检测你的请求头再真实也会被拦因为握手层的特征和真实浏览器对不上。页面靠 JavaScript 动态渲染时解析器拿到的只是一段空壳 HTML你只能再引入 Playwright 手写自动化等选择器、处理时序问题。再往上遇到 Cloudflare 挑战页基本得自己研究验证码和指纹对抗维护成本直线上升。最后还有个隐藏成本目标站改版一次你写死的所有选择器集体失效。 五分钟跑通第一个任务环境搭建Python 3.10 以上。从源码安装并执行scrapling install下载浏览器运行环境git clone https://gitcode.com/GitHub_Trending/sc/Scrapling cd Scrapling pip install -e .[fetchers] scrapling install最小可运行示例拿到仓库后跑这几行from scrapling.fetchers import Fetcher page Fetcher.get(https://example.com) print(page.status) print(page.get_all_text())page.status是 HTTP 状态码这里会打印 200。返回的page本身就是解析器拿到 HTML 之后可以直接在上面用 CSS 或 XPath 选元素不用再转 BeautifulSoup。三种抓取器怎么选官方文档有对照表docs/fetching/choosing.md。 三个典型场景的解法静态页面普通 HTTP 请求大部分列表页、详情页其实是纯静态的不需要起浏览器。Fetcher底层用curl_cffi默认会伪装成真实 Chrome 的 TLS 指纹和请求头impersonate参数可以换成其他浏览器from scrapling.fetchers import Fetcher page Fetcher.get(https://quotes.toscrape.com, impersonatechrome) items page.css(.quote .text).get_all() print(items[0])impersonatechrome表示在 TLS 层模仿最新版 Chrome 的握手特征不传参数时也默认使用 Chrome。请求细节见 docs/fetching/static.md。JavaScript 渲染页无头浏览器加载内容靠前端脚本生成时换DynamicFetcher它打开真实 Chromium 渲染完再返回。network_idleTrue表示等 500ms 内没有网络请求才返回wait_selector可以等某个元素出现避免抓到加载中的空壳from scrapling.fetchers import DynamicFetcher page DynamicFetcher.fetch(https://quotes.toscrape.com/js/, network_idleTrue) print(page.get_all_text())不传参数时浏览器以无头模式运行real_chromeTrue可以改用本机安装的 Chrome指纹更真实。参数说明在 docs/fetching/dynamic.md。高反爬站点Cloudflare 自动过验证目标站挂了 Cloudflare 人机验证用StealthyFetcher。它默认就隐藏了 Playwright 的痕迹、给 canvas 加噪、堵住 WebRTC 泄漏solve_cloudflareTrue会让它自动识别并解掉各类验证挑战过完才把页面给你from scrapling.fetchers import StealthyFetcher page StealthyFetcher.fetch(https://target-site.com, solve_cloudflareTrue) print(page.status)这个类的反检测选项最多比如屏蔽广告域、走代理、时区伪装完整列表见 docs/fetching/stealthy.md。 新手高频踩坑装了 scrapling 却 import 不了 Fetcher。默认安装只带解析器fetchers 依赖要显式装补上pip install scrapling[fetchers]并执行scrapling install即可。动态页拿到的文本为空。页面 JS 还没执行完就返回了给DynamicFetcher.fetch加network_idleTrue或用wait_selector.target等关键元素出现。站点改版后所有选择器失效。Scrapling 的自适应模式能按内容特征重新定位元素products page.css(.product, auto_saveTrue) # 首次抓取时保存特征 products page.css(.product, adaptiveTrue) # 改版后按特征重新找存储与定位原理见 docs/development/adaptive_storage_system.md。 从实验到生产批量抓取时用 Session 版本的抓取器如StealthySession替代单次 fetch浏览器只启动一次后续请求复用速度差一个量级。大规模任务配上限速与代理轮询框架内置了 scrapling/spiders/throttle.py 和代理轮询模块并发加上去也不会把目标站打挂或让自己的 IP 被拉黑。长任务把日志落到文件利用 Spider 框架自带的暂停/断点续抓中途断线不用从零重来架构细节在 docs/spiders/architecture.md。抓取前看一眼目标站的 robots.txt控制频率只采集公开的页面数据。框架也内置了 scrapling/spiders/robotstxt.py 供爬虫自动检查协议。从你手头最难受的那个页面开始试先用Fetcher.get验证内容是否在 HTML 里不行再逐级换DynamicFetcher和StealthyFetcher三行代码就能定位到该用哪一级方案。【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
