1. 项目概述与核心价值最近在分析一些金融数据源时遇到了一个典型的场景某证券信息接口的数据返回并非明文而是经过了AES加密。对于需要批量、自动化获取这类数据的开发者或数据分析师来说手动复制粘贴显然不现实而直接调用接口又拿不到可读的数据。这正是网络爬虫Spider结合密码学解密技术大显身手的地方。这个案例的核心就是使用Python也就是大家常说的py去模拟请求拿到加密的响应然后用AES算法将其解密还原出我们需要的结构化信息。整个过程听起来有点“黑客”范儿但其实技术门槛并不高属于爬虫逆向中比较基础和常见的操作非常适合用来练手理解数据抓取的全链路。为什么这个案例值得一做首先它非常“接地气”。金融数据是很多量化分析、市场研究的基础掌握从这类受保护的接口中安全、合规地获取数据的能力是很多数据分析岗位的实际需求。其次它串联了Python爬虫的几个核心模块如requests和密码学库如pycryptodome或cryptography是一次很好的综合实践。最后AES算法作为国际通用的对称加密标准在Web接口、APP通信中广泛应用搞懂它的一次实战解密对你以后遇到类似的加密数据包比如某些视频解析、内容接口会有举一反三的效果。无论你是刚学完Python基础想找项目练手还是工作中确实遇到了类似的数据获取难题这个案例都能给你一套清晰的解决思路和可直接复用的代码框架。2. 核心思路与技术选型解析2.1 逆向分析的基本逻辑面对一个加密接口我们第一步不是直接写代码而是“侦察”。你需要弄清楚以下几个关键问题这通常需要借助浏览器的开发者工具F12请求是如何发出的是普通的GET/POST请求吗有没有特殊的请求头Headers比如User-Agent,Referer,Cookie甚至是自定义的X-Requested-With或Authorization加密数据在哪里服务器返回的响应Response是什么格式是JSON吗加密的数据是作为一个字段比如data或encryptedData的值存在还是整个响应体都是一串密文解密的关键是什么AES解密需要三个关键要素密钥Key、初始化向量IV和加密模式Mode。这些信息可能隐藏在网页的JavaScript源代码里可能通过其他接口请求获得也可能是固定的值。常见的模式有CBC、ECB等。我们的技术路线图因此非常清晰使用Python的requests库或httpx、aiohttp等模拟浏览器发送请求获取加密响应然后从响应中提取出密文最后使用正确的Key、IV和Mode通过AES解密算法将密文还原为明文。2.2 为什么选择AES和Python相关库AESAdvanced Encryption Standard高级加密标准是目前最常用的对称加密算法之一。对称加密意味着加密和解密使用同一把密钥。在Web开发中为了在传输过程中保护敏感数据如用户信息、交易数据后端经常用AES加密后再发送给前端前端再用JS解密。我们爬虫要做的就是模拟这个前端解密的过程。在Python中实现AES解密的库主要有两个选择pycryptodome这是PyCrypto库的一个积极维护的分支功能强大且文档齐全是当前社区的首选。安装简单pip install pycryptodome。cryptography一个更现代、功能更广泛的密码学库由Python密码学权威维护。对于AES基础操作两者都能胜任。cryptography的API设计可能更“Pythonic”一些但pycryptodome在爬虫逆向圈子里更常见资料也多。这里我们选择pycryptodome因为它足够轻量且完全满足需求。对于HTTP请求requests库以其简单易用而成为不二之选。注意在进行任何爬虫操作前务必仔细阅读目标网站的robots.txt文件和服务条款确保你的数据抓取行为是合规的并且控制请求频率避免对对方服务器造成压力。本案例仅用于技术学习交流。3. 实战步骤拆解与关键代码实现3.1 第一步环境准备与依赖安装工欲善其事必先利其器。首先确保你的Python环境建议3.7以上已经就绪。然后我们通过pip安装必要的库。打开你的终端命令行或PyCharm、VSCode的终端执行以下命令pip install requests pycryptodome如果安装速度慢可以使用国内镜像源例如清华源pip install requests pycryptodome -i https://pypi.tuna.tsinghua.edu.cn/simple安装成功后可以在Python交互环境中导入测试一下import requests from Crypto.Cipher import AES # 注意来自pycryptodome print(“库导入成功”)3.2 第二步网络请求与加密数据获取假设我们通过浏览器开发者工具的“网络Network”选项卡分析出目标数据接口的URL是https://api.example.com/market/data请求方式为POST需要携带一个表单数据date2023-10-27。我们用requests来模拟这个请求。这里有几个关键点需要注意请求头Headers很多时候服务器会校验User-Agent甚至Referer和Cookie。你需要把浏览器中观察到的Headers尽可能完整地复制过来特别是Content-Type要匹配。会话Session如果请求需要登录状态使用requests.Session()可以保持Cookie模拟登录后的会话。代理Proxies如果遇到IP限制可能需要配置代理。下面是模拟请求的示例代码import requests import json url “https://api.example.com/market/data” # 替换为实际接口地址 headers { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36’, ‘Referer’: ‘https://www.example.com/’, ‘Content-Type’: ‘application/x-www-form-urlencoded; charsetUTF-8’, } data { ‘date’: ‘2023-10-27’ } # 使用Session保持状态如果需要 session requests.Session() response session.post(url, headersheaders, datadata) # 检查请求是否成功 if response.status_code 200: # 假设返回的是JSON且加密数据在‘encrypted_data’字段中 resp_json response.json() encrypted_data_base64 resp_json.get(‘encrypted_data’) # 这里通常是Base64编码的字符串 print(f“获取到加密数据Base64{encrypted_data_base64[:100]}...”) # 打印前100字符 else: print(f“请求失败状态码{response.status_code}”) print(response.text)运行这段代码你应该能成功拿到一长串看似乱码的Base64字符串这就是我们的“战利品”——AES加密后的数据。3.3 第三步AES解密核心实现这是最核心的一步。我们需要从网站的前端JavaScript代码中或者通过其他方式如静态分析、调试找到解密所需的三个要素Key、IV和Mode。这是一个逆向工程的过程可能需要一些耐心。常见情况分析Key和IV是固定的有时开发者会使用一组固定的字符串作为Key和IV它们可能硬编码在某个JS文件里。你可以搜索关键词如“key”、“iv”、“secret”、“aes”、“decrypt”来寻找。Key和IV来自其他接口有时Key和IV会通过另一个初始化接口动态获取。Mode在Web前端AES最常使用的模式是CBC模式并且会使用PKCS7填充在Python中PKCS7填充与PKCS5填充在AES的上下文中通常等价。假设我们经过分析找到了以下信息Key:“thisisasecretkey”(16字节对应AES-128。如果是24字节为AES-19232字节为AES-256)IV:“thisisanivvector”(16字节CBC模式需要)Mode: AES.MODE_CBC现在我们来编写解密函数。注意从网络获取的加密数据通常是Base64编码的我们需要先解码成字节串bytes。import base64 from Crypto.Cipher import AES from Crypto.Util.Padding import unpad # 用于移除PKCS7填充 def aes_cbc_decrypt(encrypted_data_b64, key, iv): “”” 使用AES-CBC模式解密Base64编码的密文。 :param encrypted_data_b64: Base64编码的加密字符串 :param key: 密钥字符串或字节 :param iv: 初始化向量字符串或字节 :return: 解密后的明文字符串 “”” # 1. 将Key和IV转换为字节如果输入是字符串 if isinstance(key, str): key key.encode(‘utf-8’) if isinstance(iv, str): iv iv.encode(‘utf-8’) # 2. 将Base64密文解码为字节 encrypted_bytes base64.b64decode(encrypted_data_b64) # 3. 创建AES解密器 cipher AES.new(key, AES.MODE_CBC, iv) # 4. 解密并移除PKCS7填充 decrypted_bytes cipher.decrypt(encrypted_bytes) # 使用unpad移除填充。注意第二个参数是块大小AES是16字节。 plaintext_bytes unpad(decrypted_bytes, AES.block_size) # 5. 将解密后的字节转换为字符串假设原文是UTF-8编码的JSON或文本 plaintext plaintext_bytes.decode(‘utf-8’) return plaintext # 使用示例 key “thisisasecretkey” # 请替换为实际Key iv “thisisanivvector” # 请替换为实际IV # 假设encrypted_data_base64是从上一步请求中获取的 decrypted_text aes_cbc_decrypt(encrypted_data_base64, key, iv) print(“解密成功”) print(“解密后的数据”, decrypted_text) # 如果解密结果是JSON可以解析它 try: data_json json.loads(decrypted_text) print(“解析为JSON”, json.dumps(data_json, indent2, ensure_asciiFalse)) except json.JSONDecodeError: print(“解密结果不是有效的JSON可能是纯文本或其他格式。”)代码关键点解析编码转换AES算法处理的是字节bytes而我们从网络或代码中找到的Key、IV常常是字符串所以第一步要.encode(‘utf-8’)。Base64解码网络传输为了可读性和避免特殊字符问题常使用Base64编码。解密前必须用base64.b64decode()将其变回原始字节。创建Cipher对象AES.new(key, mode, iv)是核心它根据给定的参数创建解密器。这里我们指定了CBC模式和IV。移除填充Unpad加密时数据长度必须是块大小的整数倍AES是16字节不足的部分会用PKCS7规则填充。解密后必须用unpad()函数移除这些填充字节否则末尾会有乱码。解码字符串最后将解密后的字节按原文的编码通常是UTF-8解码成我们可读的字符串。3.4 第四步数据处理与存储解密成功后你得到的数据很可能是一个JSON字符串里面包含了所需的证券信息比如股票代码、名称、价格、涨跌幅等。你可以用Python的json库轻松地将其解析为字典或列表然后进行进一步的处理。import pandas as pd # 假设解密后的data_json是一个字典列表 # 例如 data_list [{‘code’: ‘000001’, ‘name’: ‘平安银行’, ‘price’: 10.5}, …] if isinstance(data_json, list) and data_json: # 使用pandas转换为DataFrame便于分析和保存 df pd.DataFrame(data_json) print(df.head()) # 查看前几行 # 保存到CSV文件 df.to_csv(‘stock_data.csv’, indexFalse, encoding‘utf-8-sig’) print(“数据已保存到 stock_data.csv”) # 或者保存到Excel # df.to_excel(‘stock_data.xlsx’, indexFalse)4. 常见问题、调试技巧与避坑指南在实际操作中你几乎一定会遇到各种报错和意外情况。下面是我踩过坑后总结的一些排查思路和解决方案。4.1 解密失败ValueError: Invalid padding bytes…或UnicodeDecodeError这是最常见的问题根本原因通常是Key、IV或Mode不对或者数据没有正确解码。排查步骤确认Key和IV的字节长度AES-128的Key必须是16字节AES-256是32字节。IV在CBC模式下必须是16字节。检查你找到的字符串长度是否正确。可以用len(key.encode(‘utf-8’))来验证。确认加密模式99%的Web前端AES加密使用CBC模式但偶尔也有ECB模式不推荐不安全。ECB模式不需要IV。如果你用CBC解密失败可以尝试去掉IV参数用AES.new(key, AES.MODE_ECB)试试仅作测试。检查Base64解码确保你传递给解密函数的是纯Base64字符串没有多余的空格、换行或data:前缀等。有时响应里的数据可能被包裹在“data:image/png;base64,XXXX”这样的格式里你需要先提取XXXX部分。手动验证Key/IV一个笨办法但有效用你找到的Key和IV去加密一个已知的短字符串如“test”然后在Python里用同样的参数解密看是否能成功。这能帮你确认这组参数本身是否有效。查看原始字节在解密前打印一下encrypted_bytes的长度。它应该是16的倍数因为AES块大小是16。如果不是那可能Base64解码就错了或者数据本身被截断、修改过。4.2 请求被拒绝返回403、404或“请登录”这说明你的爬虫请求被服务器识别出来了。需要加强请求的伪装。解决方案完善Headers除了User-Agent把浏览器里能看到的所有Headers都加上特别是Cookie如果需要登录、Referer、Origin、X-Requested-With等。使用Session对于需要登录的网站务必使用requests.Session()并在登录后用它发起所有请求以维持会话状态。模拟JavaScript请求有些接口的请求参数是经过前端JS计算生成的比如时间戳、签名。你需要仔细分析JS代码用Python重现这个计算过程。这可能是整个案例中最具挑战性的部分。添加延迟在循环请求中使用time.sleep(random.uniform(1, 3))来模拟人类操作避免请求过快被封IP。考虑代理IP如果IP被封锁这是最后的解决方案。4.3 如何寻找Key和IV这是逆向工程的精髓所在没有固定套路但有一些通用的搜索和调试方法全局搜索在开发者工具的“源代码Sources”选项卡中按CtrlShiftF进行全局搜索。关键词可以尝试decrypt,AES,CryptoJS,mode,iv,key,secret,cipher。跟栈调试在“网络Network”选项卡中找到那个返回加密数据的请求右键选择“Copy - Copy as cURL”然后粘贴到可以解析curl命令的工具里看看有没有隐藏的参数。或者在该请求上打上XHR/Fetch断点然后刷新页面当请求发出时JS执行会暂停此时你可以查看调用栈Call Stack一步步跟踪到执行解密的函数里面很可能就硬编码着Key和IV。查看引入的JS库如果网站使用了CryptoJS这个著名的前端加密库那么解密代码会相对规范。搜索CryptoJS.AES.decrypt这个函数调用分析它的参数。假设常见值有些开发图省事Key和IV直接用16个0或者16个1。你可以用“0000000000000000”这样的字符串尝试一下。4.4 性能与代码优化建议当你要爬取大量数据时原始的同步请求一个接一个会非常慢。使用异步请求考虑使用aiohttp库配合asyncio进行异步并发请求可以极大提高数据抓取效率。错误重试机制网络请求不稳定增加重试逻辑如使用tenacity库可以提高鲁棒性。连接复用使用同一个requests.Session或aiohttp.ClientSession来复用TCP连接减少开销。解密函数优化如果Key和IV是固定的可以在程序初始化时创建好cipher对象避免每次解密都重复创建。# 优化示例预创建解密器 from Crypto.Cipher import AES import base64 class AesDecryptor: def __init__(self, key, iv): self.cipher AES.new(key.encode(‘utf-8’), AES.MODE_CBC, iv.encode(‘utf-8’)) def decrypt(self, encrypted_b64): encrypted_bytes base64.b64decode(encrypted_b64) decrypted_bytes self.cipher.decrypt(encrypted_bytes) # … 这里还需要unpad注意每次解密后cipher状态会变对于CBC模式通常每次解密需要新建cipher。 # 更准确的做法是保存key和iv每次解密时新建cipher。 # 但对于ECB模式可以复用。重要提醒对于CBC模式不能简单地复用同一个cipher对象进行多次解密因为其内部状态与IV相关会在解密后改变。安全的做法是每次解密都使用AES.new(key, AES.MODE_CBC, iv)创建新的解密器。上面的类示例更适用于ECB模式或无状态的场景。对于CBC类可以改成存储key和iv在decrypt方法内部创建新的cipher。5. 案例延伸与安全思考通过这个案例我们成功打通了“请求-获取-解密-解析”的数据获取流水线。你可以将这个框架应用于其他类似的AES加密接口只需替换URL、请求参数以及最重要的Key和IV即可。最后我想强调两点非常重要的延伸思考第一关于技术应用的边界。我们学习爬虫和逆向技术是为了自动化处理公开、合规的数据获取工作提升效率。务必尊重网站的robots.txt协议不要高频访问给对方服务器造成负担绝对不要尝试破解、获取用户隐私、商业秘密等受法律严格保护的数据。技术是一把双刃剑要用在正道上。第二关于自身项目的安全启示。如果你是一名开发者从这个案例中应该看到将Key和IV硬编码在前端JavaScript中是一种非常不安全的行为相当于把房子的钥匙放在门垫下面。任何稍有技术的用户都可以像我们一样找到并解密数据。对于真正敏感的数据应该依赖HTTPS传输安全并结合后端鉴权、动态令牌等更安全的方式或者至少使用非对称加密。这个爬虫案例从反面给我们上了一堂生动的Web安全课。
1. 项目概述与核心价值最近在分析一些金融数据源时遇到了一个典型的场景某证券信息接口的数据返回并非明文而是经过了AES加密。对于需要批量、自动化获取这类数据的开发者或数据分析师来说手动复制粘贴显然不现实而直接调用接口又拿不到可读的数据。这正是网络爬虫Spider结合密码学解密技术大显身手的地方。这个案例的核心就是使用Python也就是大家常说的py去模拟请求拿到加密的响应然后用AES算法将其解密还原出我们需要的结构化信息。整个过程听起来有点“黑客”范儿但其实技术门槛并不高属于爬虫逆向中比较基础和常见的操作非常适合用来练手理解数据抓取的全链路。为什么这个案例值得一做首先它非常“接地气”。金融数据是很多量化分析、市场研究的基础掌握从这类受保护的接口中安全、合规地获取数据的能力是很多数据分析岗位的实际需求。其次它串联了Python爬虫的几个核心模块如requests和密码学库如pycryptodome或cryptography是一次很好的综合实践。最后AES算法作为国际通用的对称加密标准在Web接口、APP通信中广泛应用搞懂它的一次实战解密对你以后遇到类似的加密数据包比如某些视频解析、内容接口会有举一反三的效果。无论你是刚学完Python基础想找项目练手还是工作中确实遇到了类似的数据获取难题这个案例都能给你一套清晰的解决思路和可直接复用的代码框架。2. 核心思路与技术选型解析2.1 逆向分析的基本逻辑面对一个加密接口我们第一步不是直接写代码而是“侦察”。你需要弄清楚以下几个关键问题这通常需要借助浏览器的开发者工具F12请求是如何发出的是普通的GET/POST请求吗有没有特殊的请求头Headers比如User-Agent,Referer,Cookie甚至是自定义的X-Requested-With或Authorization加密数据在哪里服务器返回的响应Response是什么格式是JSON吗加密的数据是作为一个字段比如data或encryptedData的值存在还是整个响应体都是一串密文解密的关键是什么AES解密需要三个关键要素密钥Key、初始化向量IV和加密模式Mode。这些信息可能隐藏在网页的JavaScript源代码里可能通过其他接口请求获得也可能是固定的值。常见的模式有CBC、ECB等。我们的技术路线图因此非常清晰使用Python的requests库或httpx、aiohttp等模拟浏览器发送请求获取加密响应然后从响应中提取出密文最后使用正确的Key、IV和Mode通过AES解密算法将密文还原为明文。2.2 为什么选择AES和Python相关库AESAdvanced Encryption Standard高级加密标准是目前最常用的对称加密算法之一。对称加密意味着加密和解密使用同一把密钥。在Web开发中为了在传输过程中保护敏感数据如用户信息、交易数据后端经常用AES加密后再发送给前端前端再用JS解密。我们爬虫要做的就是模拟这个前端解密的过程。在Python中实现AES解密的库主要有两个选择pycryptodome这是PyCrypto库的一个积极维护的分支功能强大且文档齐全是当前社区的首选。安装简单pip install pycryptodome。cryptography一个更现代、功能更广泛的密码学库由Python密码学权威维护。对于AES基础操作两者都能胜任。cryptography的API设计可能更“Pythonic”一些但pycryptodome在爬虫逆向圈子里更常见资料也多。这里我们选择pycryptodome因为它足够轻量且完全满足需求。对于HTTP请求requests库以其简单易用而成为不二之选。注意在进行任何爬虫操作前务必仔细阅读目标网站的robots.txt文件和服务条款确保你的数据抓取行为是合规的并且控制请求频率避免对对方服务器造成压力。本案例仅用于技术学习交流。3. 实战步骤拆解与关键代码实现3.1 第一步环境准备与依赖安装工欲善其事必先利其器。首先确保你的Python环境建议3.7以上已经就绪。然后我们通过pip安装必要的库。打开你的终端命令行或PyCharm、VSCode的终端执行以下命令pip install requests pycryptodome如果安装速度慢可以使用国内镜像源例如清华源pip install requests pycryptodome -i https://pypi.tuna.tsinghua.edu.cn/simple安装成功后可以在Python交互环境中导入测试一下import requests from Crypto.Cipher import AES # 注意来自pycryptodome print(“库导入成功”)3.2 第二步网络请求与加密数据获取假设我们通过浏览器开发者工具的“网络Network”选项卡分析出目标数据接口的URL是https://api.example.com/market/data请求方式为POST需要携带一个表单数据date2023-10-27。我们用requests来模拟这个请求。这里有几个关键点需要注意请求头Headers很多时候服务器会校验User-Agent甚至Referer和Cookie。你需要把浏览器中观察到的Headers尽可能完整地复制过来特别是Content-Type要匹配。会话Session如果请求需要登录状态使用requests.Session()可以保持Cookie模拟登录后的会话。代理Proxies如果遇到IP限制可能需要配置代理。下面是模拟请求的示例代码import requests import json url “https://api.example.com/market/data” # 替换为实际接口地址 headers { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36’, ‘Referer’: ‘https://www.example.com/’, ‘Content-Type’: ‘application/x-www-form-urlencoded; charsetUTF-8’, } data { ‘date’: ‘2023-10-27’ } # 使用Session保持状态如果需要 session requests.Session() response session.post(url, headersheaders, datadata) # 检查请求是否成功 if response.status_code 200: # 假设返回的是JSON且加密数据在‘encrypted_data’字段中 resp_json response.json() encrypted_data_base64 resp_json.get(‘encrypted_data’) # 这里通常是Base64编码的字符串 print(f“获取到加密数据Base64{encrypted_data_base64[:100]}...”) # 打印前100字符 else: print(f“请求失败状态码{response.status_code}”) print(response.text)运行这段代码你应该能成功拿到一长串看似乱码的Base64字符串这就是我们的“战利品”——AES加密后的数据。3.3 第三步AES解密核心实现这是最核心的一步。我们需要从网站的前端JavaScript代码中或者通过其他方式如静态分析、调试找到解密所需的三个要素Key、IV和Mode。这是一个逆向工程的过程可能需要一些耐心。常见情况分析Key和IV是固定的有时开发者会使用一组固定的字符串作为Key和IV它们可能硬编码在某个JS文件里。你可以搜索关键词如“key”、“iv”、“secret”、“aes”、“decrypt”来寻找。Key和IV来自其他接口有时Key和IV会通过另一个初始化接口动态获取。Mode在Web前端AES最常使用的模式是CBC模式并且会使用PKCS7填充在Python中PKCS7填充与PKCS5填充在AES的上下文中通常等价。假设我们经过分析找到了以下信息Key:“thisisasecretkey”(16字节对应AES-128。如果是24字节为AES-19232字节为AES-256)IV:“thisisanivvector”(16字节CBC模式需要)Mode: AES.MODE_CBC现在我们来编写解密函数。注意从网络获取的加密数据通常是Base64编码的我们需要先解码成字节串bytes。import base64 from Crypto.Cipher import AES from Crypto.Util.Padding import unpad # 用于移除PKCS7填充 def aes_cbc_decrypt(encrypted_data_b64, key, iv): “”” 使用AES-CBC模式解密Base64编码的密文。 :param encrypted_data_b64: Base64编码的加密字符串 :param key: 密钥字符串或字节 :param iv: 初始化向量字符串或字节 :return: 解密后的明文字符串 “”” # 1. 将Key和IV转换为字节如果输入是字符串 if isinstance(key, str): key key.encode(‘utf-8’) if isinstance(iv, str): iv iv.encode(‘utf-8’) # 2. 将Base64密文解码为字节 encrypted_bytes base64.b64decode(encrypted_data_b64) # 3. 创建AES解密器 cipher AES.new(key, AES.MODE_CBC, iv) # 4. 解密并移除PKCS7填充 decrypted_bytes cipher.decrypt(encrypted_bytes) # 使用unpad移除填充。注意第二个参数是块大小AES是16字节。 plaintext_bytes unpad(decrypted_bytes, AES.block_size) # 5. 将解密后的字节转换为字符串假设原文是UTF-8编码的JSON或文本 plaintext plaintext_bytes.decode(‘utf-8’) return plaintext # 使用示例 key “thisisasecretkey” # 请替换为实际Key iv “thisisanivvector” # 请替换为实际IV # 假设encrypted_data_base64是从上一步请求中获取的 decrypted_text aes_cbc_decrypt(encrypted_data_base64, key, iv) print(“解密成功”) print(“解密后的数据”, decrypted_text) # 如果解密结果是JSON可以解析它 try: data_json json.loads(decrypted_text) print(“解析为JSON”, json.dumps(data_json, indent2, ensure_asciiFalse)) except json.JSONDecodeError: print(“解密结果不是有效的JSON可能是纯文本或其他格式。”)代码关键点解析编码转换AES算法处理的是字节bytes而我们从网络或代码中找到的Key、IV常常是字符串所以第一步要.encode(‘utf-8’)。Base64解码网络传输为了可读性和避免特殊字符问题常使用Base64编码。解密前必须用base64.b64decode()将其变回原始字节。创建Cipher对象AES.new(key, mode, iv)是核心它根据给定的参数创建解密器。这里我们指定了CBC模式和IV。移除填充Unpad加密时数据长度必须是块大小的整数倍AES是16字节不足的部分会用PKCS7规则填充。解密后必须用unpad()函数移除这些填充字节否则末尾会有乱码。解码字符串最后将解密后的字节按原文的编码通常是UTF-8解码成我们可读的字符串。3.4 第四步数据处理与存储解密成功后你得到的数据很可能是一个JSON字符串里面包含了所需的证券信息比如股票代码、名称、价格、涨跌幅等。你可以用Python的json库轻松地将其解析为字典或列表然后进行进一步的处理。import pandas as pd # 假设解密后的data_json是一个字典列表 # 例如 data_list [{‘code’: ‘000001’, ‘name’: ‘平安银行’, ‘price’: 10.5}, …] if isinstance(data_json, list) and data_json: # 使用pandas转换为DataFrame便于分析和保存 df pd.DataFrame(data_json) print(df.head()) # 查看前几行 # 保存到CSV文件 df.to_csv(‘stock_data.csv’, indexFalse, encoding‘utf-8-sig’) print(“数据已保存到 stock_data.csv”) # 或者保存到Excel # df.to_excel(‘stock_data.xlsx’, indexFalse)4. 常见问题、调试技巧与避坑指南在实际操作中你几乎一定会遇到各种报错和意外情况。下面是我踩过坑后总结的一些排查思路和解决方案。4.1 解密失败ValueError: Invalid padding bytes…或UnicodeDecodeError这是最常见的问题根本原因通常是Key、IV或Mode不对或者数据没有正确解码。排查步骤确认Key和IV的字节长度AES-128的Key必须是16字节AES-256是32字节。IV在CBC模式下必须是16字节。检查你找到的字符串长度是否正确。可以用len(key.encode(‘utf-8’))来验证。确认加密模式99%的Web前端AES加密使用CBC模式但偶尔也有ECB模式不推荐不安全。ECB模式不需要IV。如果你用CBC解密失败可以尝试去掉IV参数用AES.new(key, AES.MODE_ECB)试试仅作测试。检查Base64解码确保你传递给解密函数的是纯Base64字符串没有多余的空格、换行或data:前缀等。有时响应里的数据可能被包裹在“data:image/png;base64,XXXX”这样的格式里你需要先提取XXXX部分。手动验证Key/IV一个笨办法但有效用你找到的Key和IV去加密一个已知的短字符串如“test”然后在Python里用同样的参数解密看是否能成功。这能帮你确认这组参数本身是否有效。查看原始字节在解密前打印一下encrypted_bytes的长度。它应该是16的倍数因为AES块大小是16。如果不是那可能Base64解码就错了或者数据本身被截断、修改过。4.2 请求被拒绝返回403、404或“请登录”这说明你的爬虫请求被服务器识别出来了。需要加强请求的伪装。解决方案完善Headers除了User-Agent把浏览器里能看到的所有Headers都加上特别是Cookie如果需要登录、Referer、Origin、X-Requested-With等。使用Session对于需要登录的网站务必使用requests.Session()并在登录后用它发起所有请求以维持会话状态。模拟JavaScript请求有些接口的请求参数是经过前端JS计算生成的比如时间戳、签名。你需要仔细分析JS代码用Python重现这个计算过程。这可能是整个案例中最具挑战性的部分。添加延迟在循环请求中使用time.sleep(random.uniform(1, 3))来模拟人类操作避免请求过快被封IP。考虑代理IP如果IP被封锁这是最后的解决方案。4.3 如何寻找Key和IV这是逆向工程的精髓所在没有固定套路但有一些通用的搜索和调试方法全局搜索在开发者工具的“源代码Sources”选项卡中按CtrlShiftF进行全局搜索。关键词可以尝试decrypt,AES,CryptoJS,mode,iv,key,secret,cipher。跟栈调试在“网络Network”选项卡中找到那个返回加密数据的请求右键选择“Copy - Copy as cURL”然后粘贴到可以解析curl命令的工具里看看有没有隐藏的参数。或者在该请求上打上XHR/Fetch断点然后刷新页面当请求发出时JS执行会暂停此时你可以查看调用栈Call Stack一步步跟踪到执行解密的函数里面很可能就硬编码着Key和IV。查看引入的JS库如果网站使用了CryptoJS这个著名的前端加密库那么解密代码会相对规范。搜索CryptoJS.AES.decrypt这个函数调用分析它的参数。假设常见值有些开发图省事Key和IV直接用16个0或者16个1。你可以用“0000000000000000”这样的字符串尝试一下。4.4 性能与代码优化建议当你要爬取大量数据时原始的同步请求一个接一个会非常慢。使用异步请求考虑使用aiohttp库配合asyncio进行异步并发请求可以极大提高数据抓取效率。错误重试机制网络请求不稳定增加重试逻辑如使用tenacity库可以提高鲁棒性。连接复用使用同一个requests.Session或aiohttp.ClientSession来复用TCP连接减少开销。解密函数优化如果Key和IV是固定的可以在程序初始化时创建好cipher对象避免每次解密都重复创建。# 优化示例预创建解密器 from Crypto.Cipher import AES import base64 class AesDecryptor: def __init__(self, key, iv): self.cipher AES.new(key.encode(‘utf-8’), AES.MODE_CBC, iv.encode(‘utf-8’)) def decrypt(self, encrypted_b64): encrypted_bytes base64.b64decode(encrypted_b64) decrypted_bytes self.cipher.decrypt(encrypted_bytes) # … 这里还需要unpad注意每次解密后cipher状态会变对于CBC模式通常每次解密需要新建cipher。 # 更准确的做法是保存key和iv每次解密时新建cipher。 # 但对于ECB模式可以复用。重要提醒对于CBC模式不能简单地复用同一个cipher对象进行多次解密因为其内部状态与IV相关会在解密后改变。安全的做法是每次解密都使用AES.new(key, AES.MODE_CBC, iv)创建新的解密器。上面的类示例更适用于ECB模式或无状态的场景。对于CBC类可以改成存储key和iv在decrypt方法内部创建新的cipher。5. 案例延伸与安全思考通过这个案例我们成功打通了“请求-获取-解密-解析”的数据获取流水线。你可以将这个框架应用于其他类似的AES加密接口只需替换URL、请求参数以及最重要的Key和IV即可。最后我想强调两点非常重要的延伸思考第一关于技术应用的边界。我们学习爬虫和逆向技术是为了自动化处理公开、合规的数据获取工作提升效率。务必尊重网站的robots.txt协议不要高频访问给对方服务器造成负担绝对不要尝试破解、获取用户隐私、商业秘密等受法律严格保护的数据。技术是一把双刃剑要用在正道上。第二关于自身项目的安全启示。如果你是一名开发者从这个案例中应该看到将Key和IV硬编码在前端JavaScript中是一种非常不安全的行为相当于把房子的钥匙放在门垫下面。任何稍有技术的用户都可以像我们一样找到并解密数据。对于真正敏感的数据应该依赖HTTPS传输安全并结合后端鉴权、动态令牌等更安全的方式或者至少使用非对称加密。这个爬虫案例从反面给我们上了一堂生动的Web安全课。
