秋日的黄昏总是来得格外匆促。我坐在桌前想找回半年前在朋友圈偶然读到的一篇关于京都秋日庭院枯山水的长随笔。当时我随手点了“微信收藏”并满心以为这份美好的文字已经被安稳地妥善收纳。然而当我再次在收藏夹里点开那个链接时屏幕中央却只弹出一行冰冷无情的提示“该内容已被发布者删除无法查看”。那一瞬间的失落感就像在秋风中亲眼看着一片美丽的红叶被湍急的溪流瞬间卷走。在这个信息以毫秒流转的数字时代公网上的内容往往极其脆弱账号注销、服务器关停、链接失效、原作者误删……任何一个微小的变动都会让曾经触动过你内心的文字在互联网的荒原上灰飞烟灭。如果你真心喜欢一篇文章最好的爱护方式就是把它亲手搬运到自己的本地磁盘上配以干净整洁的 Markdown 格式与本地图片让它在完全断网的环境下也能随时为你翻开。为了筑起这道守护记忆的堤坝我们可以用 Python 编写一套小巧的“长图文离线转存备份器”。离线转存的核心难点防盗链与内容提纯要把一篇网页文章完好无损地保存为本地 Markdown通常需要跨越三道障碍第一图片防盗链拦截。许多内容平台尤其是微信生态对图片资源开启了严格的Referer防盗链检查。如果你直接在 Markdown 里引用原图 URL一旦脱离微信内置浏览器图片就会全面显示为破损的小叉号。我们必须在脚本抓取时伪造合规的请求头将图片完整下载到本地磁盘的相对目录中第二噪音节点剥离。网页中充斥着各类顶部横幅、底部广告引导关注、无意义的点赞按钮和样式脚本。我们需要精准提取文章的主体内容骨架剔除多余的 DOM 垃圾第三优雅排版重构。将提取到的文字自然转换为带有标题、作者、发布日期与本地图片链接的标准 Markdown以便能够无缝归纳进自己的知识库体系。核心实现从公网链接到本地纯净文档我们选用轻量级的网络请求库与文本提取工具。在终端中准备好运行环境pip install httpx beautifulsoup4 markdownify下面是经过反复实践打磨的核心转存脚本import os import re import hashlib from datetime import datetime from urllib.parse import urlparse import httpx from bs4 import BeautifulSoup from markdownify import markdownify as md # 本地归档根目录与图片存放目录 ARCHIVE_DIR os.path.expanduser(~/Documents/PersonalArchive) IMAGES_DIR os.path.join(ARCHIVE_DIR, assets) def sanitize_title(title: str) - str: 清理文件名中的非法字符 clean re.sub(r[\\/:*?|], _, title) return .join(clean.split()).strip() def download_image(img_url: str, referer_url: str) - str: 下载图片至本地并突破防盗链返回相对路径 os.makedirs(IMAGES_DIR, exist_okTrue) # 用 URL 的 MD5 命名天然防止重复下载 img_hash hashlib.md5(img_url.encode(utf-8)).hexdigest() img_ext .jpg # 默认回退格式 # 尝试从 URL 推测实际格式 if wx_fmtpng in img_url or img_url.endswith(.png): img_ext .png elif wx_fmtwebp in img_url or img_url.endswith(.webp): img_ext .webp local_filename f{img_hash}{img_ext} local_path os.path.join(IMAGES_DIR, local_filename) rel_path fassets/{local_filename} if os.path.exists(local_path): return rel_path headers { User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36, Referer: referer_url # 破解防盗链的核心 } try: with httpx.Client(timeout15.0) as client: resp client.get(img_url, headersheaders) if resp.status_code 200: with open(local_path, wb) as f: f.write(resp.content) return rel_path except Exception as e: print(f图片下载异常: {img_url}, 原因: {e}) return img_url # 降级返回原地址 def backup_article(target_url: str, category_tag: str 秋日阅读): 抓取长图文并重构为温润的本地 Markdown headers { User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) } with httpx.Client(timeout20.0, follow_redirectsTrue) as client: resp client.get(target_url, headersheaders) resp.raise_for_status() html resp.text soup BeautifulSoup(html, html.parser) # 1. 提取文章标题与元数据 title_el soup.select_one(h1.rich_media_title) or soup.select_one(h1) raw_title title_el.get_text(stripTrue) if title_el else 无标题归档随笔 title sanitize_title(raw_title) author_el soup.select_one(#js_name) or soup.select_one(.author) author author_el.get_text(stripTrue) if author_el else 未知作者 # 2. 定位正文容器并清洗 content_el soup.select_one(#js_content) or soup.select_one(.rich_media_content) or soup.select_one(article) if not content_el: print(未定位到有效正文容器跳过。) return # 3. 处理图片替换>
秋日的黄昏总是来得格外匆促。我坐在桌前想找回半年前在朋友圈偶然读到的一篇关于京都秋日庭院枯山水的长随笔。当时我随手点了“微信收藏”并满心以为这份美好的文字已经被安稳地妥善收纳。然而当我再次在收藏夹里点开那个链接时屏幕中央却只弹出一行冰冷无情的提示“该内容已被发布者删除无法查看”。那一瞬间的失落感就像在秋风中亲眼看着一片美丽的红叶被湍急的溪流瞬间卷走。在这个信息以毫秒流转的数字时代公网上的内容往往极其脆弱账号注销、服务器关停、链接失效、原作者误删……任何一个微小的变动都会让曾经触动过你内心的文字在互联网的荒原上灰飞烟灭。如果你真心喜欢一篇文章最好的爱护方式就是把它亲手搬运到自己的本地磁盘上配以干净整洁的 Markdown 格式与本地图片让它在完全断网的环境下也能随时为你翻开。为了筑起这道守护记忆的堤坝我们可以用 Python 编写一套小巧的“长图文离线转存备份器”。离线转存的核心难点防盗链与内容提纯要把一篇网页文章完好无损地保存为本地 Markdown通常需要跨越三道障碍第一图片防盗链拦截。许多内容平台尤其是微信生态对图片资源开启了严格的Referer防盗链检查。如果你直接在 Markdown 里引用原图 URL一旦脱离微信内置浏览器图片就会全面显示为破损的小叉号。我们必须在脚本抓取时伪造合规的请求头将图片完整下载到本地磁盘的相对目录中第二噪音节点剥离。网页中充斥着各类顶部横幅、底部广告引导关注、无意义的点赞按钮和样式脚本。我们需要精准提取文章的主体内容骨架剔除多余的 DOM 垃圾第三优雅排版重构。将提取到的文字自然转换为带有标题、作者、发布日期与本地图片链接的标准 Markdown以便能够无缝归纳进自己的知识库体系。核心实现从公网链接到本地纯净文档我们选用轻量级的网络请求库与文本提取工具。在终端中准备好运行环境pip install httpx beautifulsoup4 markdownify下面是经过反复实践打磨的核心转存脚本import os import re import hashlib from datetime import datetime from urllib.parse import urlparse import httpx from bs4 import BeautifulSoup from markdownify import markdownify as md # 本地归档根目录与图片存放目录 ARCHIVE_DIR os.path.expanduser(~/Documents/PersonalArchive) IMAGES_DIR os.path.join(ARCHIVE_DIR, assets) def sanitize_title(title: str) - str: 清理文件名中的非法字符 clean re.sub(r[\\/:*?|], _, title) return .join(clean.split()).strip() def download_image(img_url: str, referer_url: str) - str: 下载图片至本地并突破防盗链返回相对路径 os.makedirs(IMAGES_DIR, exist_okTrue) # 用 URL 的 MD5 命名天然防止重复下载 img_hash hashlib.md5(img_url.encode(utf-8)).hexdigest() img_ext .jpg # 默认回退格式 # 尝试从 URL 推测实际格式 if wx_fmtpng in img_url or img_url.endswith(.png): img_ext .png elif wx_fmtwebp in img_url or img_url.endswith(.webp): img_ext .webp local_filename f{img_hash}{img_ext} local_path os.path.join(IMAGES_DIR, local_filename) rel_path fassets/{local_filename} if os.path.exists(local_path): return rel_path headers { User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36, Referer: referer_url # 破解防盗链的核心 } try: with httpx.Client(timeout15.0) as client: resp client.get(img_url, headersheaders) if resp.status_code 200: with open(local_path, wb) as f: f.write(resp.content) return rel_path except Exception as e: print(f图片下载异常: {img_url}, 原因: {e}) return img_url # 降级返回原地址 def backup_article(target_url: str, category_tag: str 秋日阅读): 抓取长图文并重构为温润的本地 Markdown headers { User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) } with httpx.Client(timeout20.0, follow_redirectsTrue) as client: resp client.get(target_url, headersheaders) resp.raise_for_status() html resp.text soup BeautifulSoup(html, html.parser) # 1. 提取文章标题与元数据 title_el soup.select_one(h1.rich_media_title) or soup.select_one(h1) raw_title title_el.get_text(stripTrue) if title_el else 无标题归档随笔 title sanitize_title(raw_title) author_el soup.select_one(#js_name) or soup.select_one(.author) author author_el.get_text(stripTrue) if author_el else 未知作者 # 2. 定位正文容器并清洗 content_el soup.select_one(#js_content) or soup.select_one(.rich_media_content) or soup.select_one(article) if not content_el: print(未定位到有效正文容器跳过。) return # 3. 处理图片替换>
