最近在折腾分段下载把踩过的坑整理一下给后来的人省点时间。### 一、Range 不是所有服务器都认普通请求是整包给GET /file.zip HTTP/1.1Host: example.com要分段就得带 RangeGET /file.zip HTTP/1.1Host: example.comRange: bytes1048576-服务器支持的话返回 206 Partial Content并且带 Content-Range 告诉你这段在文件里的位置和总长Content-Range: bytes 1048576-10485759/10485760探测只需要一个字节bashcurl -sI -H Range: bytes0-1023 https://example.com/file.zip | head -3# 支持 → HTTP/1.1 206 Partial Content# 不支持 → HTTP/1.1 200 OK返回 200 的站只能整包下别浪费时间。### 二、别信 Content-Length遇到过一台服务器头部写 9.4MB实际只发 9.1MB 就关连接。程序认为下载完成实际文件是截断的。所以每个分片下完都要比对实际字节数少了就重试**这一片**而不是整包重下javascriptconst expect part.to - part.from 1 - part.got;if (buf.length ! expect) {if (buf.length 0) {await fh.write(buf, 0, buf.length, part.from part.got);part.got buf.length;}throw new Error(short: buf.length / expect);}上层捕获到 short: 就把这片放回队列其它错误才退避重试。### 三、分片数 ≠ 并发数一开始按 4MB 切片20G 的文件切成 5000 片然后想开 5000 并发。结果 IP 被限流比单线程还慢。正确的做法是片切细决定并行粒度worker 数量固定决定同时开几条连接javascriptasync function runPool(parts, workers, worker) {let cursor 0;const runners Array.from({ length: workers }, async () {while (cursor parts.length) {const part parts[cursor];if (part.got part.to - part.from 1) continue;try { await worker(part); }catch (e) {if (!/^short:/.test(e.message)) {parts.push(part);await new Promise((r) setTimeout(r, 500));}}}});await Promise.all(runners);}8~16 个 worker 一般比较稳再多容易触发单 IP 限制。### 四、并行写文件千万别用 append这是我犯过最蠢的错。多个分片并行下载用 appendFile 写等于按到达顺序拼接 —— **文件大小对字节顺序全乱**。校验能过打开报错。正解是打开一次文件句柄每片带 position 写javascriptconst fh await open(tmpPath, r); // r 不能是 ww 会清空已下的内容await fh.write(buf, 0, buf.length, offset);### 五、进度状态要原子落盘直接 writeFileSync 覆盖进度文件断电就得到半个 JSONJSON.parse 抛错续传全废。用「临时文件 rename」javascriptawait writeFile(tmp, JSON.stringify(state), utf8);await rename(tmp, path); // 同分区是原子操作还有一步不能省**恢复时比对 ETag**。存的 ETag 和重新探测的不一致说明服务器上文件换了必须丢弃全部进度重下否则会得到「前半段旧文件 后半段新文件」这种垃圾。### 六、几个真实的服务器行为| 现象 | 原因 | 处理 ||---|---|---|| 返回 206 但内容是整包 | 服务器忽略 Range 仍回 206 | 比对 Content-Range 起点 || 下到一半卡死不动 | 连接空闲超时不报错不断开 | 加读超时超时重连同一片 || 开 64 条被拒 | 单 IP 并发限制 | 降到 8失败指数退避 || 只有 md5 没有 sha256 | 站点只给 md5 | 校验层支持多种没值就比字节数 |---不知道有没有人也遇到过「206 但其实给了整包」这种情况我遇到两三个站是这样一直没搞清是 CDN 的锅还是源站配置问题。有知道的可以说说。------【上面这些坑都是我真实踩过的写法各有取舍按你的场景选就行。】有坑直接评论区说我一条条看。
最近在折腾分段下载把踩过的坑整理一下给后来的人省点时间。### 一、Range 不是所有服务器都认普通请求是整包给GET /file.zip HTTP/1.1Host: example.com要分段就得带 RangeGET /file.zip HTTP/1.1Host: example.comRange: bytes1048576-服务器支持的话返回 206 Partial Content并且带 Content-Range 告诉你这段在文件里的位置和总长Content-Range: bytes 1048576-10485759/10485760探测只需要一个字节bashcurl -sI -H Range: bytes0-1023 https://example.com/file.zip | head -3# 支持 → HTTP/1.1 206 Partial Content# 不支持 → HTTP/1.1 200 OK返回 200 的站只能整包下别浪费时间。### 二、别信 Content-Length遇到过一台服务器头部写 9.4MB实际只发 9.1MB 就关连接。程序认为下载完成实际文件是截断的。所以每个分片下完都要比对实际字节数少了就重试**这一片**而不是整包重下javascriptconst expect part.to - part.from 1 - part.got;if (buf.length ! expect) {if (buf.length 0) {await fh.write(buf, 0, buf.length, part.from part.got);part.got buf.length;}throw new Error(short: buf.length / expect);}上层捕获到 short: 就把这片放回队列其它错误才退避重试。### 三、分片数 ≠ 并发数一开始按 4MB 切片20G 的文件切成 5000 片然后想开 5000 并发。结果 IP 被限流比单线程还慢。正确的做法是片切细决定并行粒度worker 数量固定决定同时开几条连接javascriptasync function runPool(parts, workers, worker) {let cursor 0;const runners Array.from({ length: workers }, async () {while (cursor parts.length) {const part parts[cursor];if (part.got part.to - part.from 1) continue;try { await worker(part); }catch (e) {if (!/^short:/.test(e.message)) {parts.push(part);await new Promise((r) setTimeout(r, 500));}}}});await Promise.all(runners);}8~16 个 worker 一般比较稳再多容易触发单 IP 限制。### 四、并行写文件千万别用 append这是我犯过最蠢的错。多个分片并行下载用 appendFile 写等于按到达顺序拼接 —— **文件大小对字节顺序全乱**。校验能过打开报错。正解是打开一次文件句柄每片带 position 写javascriptconst fh await open(tmpPath, r); // r 不能是 ww 会清空已下的内容await fh.write(buf, 0, buf.length, offset);### 五、进度状态要原子落盘直接 writeFileSync 覆盖进度文件断电就得到半个 JSONJSON.parse 抛错续传全废。用「临时文件 rename」javascriptawait writeFile(tmp, JSON.stringify(state), utf8);await rename(tmp, path); // 同分区是原子操作还有一步不能省**恢复时比对 ETag**。存的 ETag 和重新探测的不一致说明服务器上文件换了必须丢弃全部进度重下否则会得到「前半段旧文件 后半段新文件」这种垃圾。### 六、几个真实的服务器行为| 现象 | 原因 | 处理 ||---|---|---|| 返回 206 但内容是整包 | 服务器忽略 Range 仍回 206 | 比对 Content-Range 起点 || 下到一半卡死不动 | 连接空闲超时不报错不断开 | 加读超时超时重连同一片 || 开 64 条被拒 | 单 IP 并发限制 | 降到 8失败指数退避 || 只有 md5 没有 sha256 | 站点只给 md5 | 校验层支持多种没值就比字节数 |---不知道有没有人也遇到过「206 但其实给了整包」这种情况我遇到两三个站是这样一直没搞清是 CDN 的锅还是源站配置问题。有知道的可以说说。------【上面这些坑都是我真实踩过的写法各有取舍按你的场景选就行。】有坑直接评论区说我一条条看。
