1. 项目概述为什么我们需要一个国内的 Pub 镜像站如果你是一名 Flutter 开发者尤其是在国内网络环境下工作那么对pub get命令的漫长等待和频繁失败一定深恶痛绝。那个位于pub.flutter.org的官方包仓库虽然承载着 Flutter 生态数以万计的第三方库但其服务器远在海外国内访问的延迟、丢包乃至完全无法连接的情况时有发生。这直接导致项目初始化、依赖更新变得异常痛苦严重拖慢了开发效率。一个稳定、高速的国内镜像站就成了解决这个痛点的关键基础设施。简单来说这个项目就是要在国内搭建一个pub.flutter.org的完整镜像。它不是一个简单的代理而是一个能够定时甚至实时同步官方仓库所有包元数据pubspec.yaml和实际代码包.tar.gz的完整服务。当开发者将 Flutter 或 Dart 项目的包源指向这个镜像站时所有的依赖下载请求都会在国内完成速度将从几十KB/s提升到几MB/s甚至更高并且稳定性得到质的飞跃。这不仅仅是“加速”更是保障团队协作、CI/CD流程顺畅进行的基石。无论是个人开发者、初创团队还是大型企业的技术部门构建或使用一个可靠的 Pub 镜像站都是提升 Flutter 开发体验的必选项。2. 镜像站的核心架构与工作原理拆解要搭建一个真正可用、可靠的镜像站不能只停留在“配置一个反向代理”的层面。我们需要深入理解 Pub 仓库的协议和结构并设计出与之匹配的同步与服务体系。2.1 Pub 仓库协议剖析Pub 仓库遵循一套特定的 HTTP API。核心的入口是一个index.html页面但它更重要的是提供了一系列 JSON API 端点。当你执行pub get或flutter pub get时Dart/Flutter 工具链会按顺序进行以下关键请求获取仓库元数据首先请求/api/packages或类似端点获取所有可用包的列表及其元信息。查询特定包信息对于每个需要的包如http: ^1.2.0工具会请求/api/packages/package_name获取该包的所有版本、依赖关系、发布时间等详细信息。下载包代码根据上一步确定的版本号工具会向/packages/package_name/versions/version.tar.gz发起请求下载实际的源代码压缩包。解压与缓存工具将下载的压缩包解压到本地缓存通常是~/.pub-cache供项目引用。一个合格的镜像站必须完整地镜像这些 API 端点和静态文件资源。任何缺失或响应格式错误都会导致客户端命令失败。2.2 镜像站系统架构设计一个生产可用的镜像站通常采用分层架构以确保效率、可靠性和可维护性同步层这是镜像站的核心。需要一个后台进程通常用 Cron 定时任务或常驻守护进程定期从官方源拉取数据。同步策略是关键全量同步定期如每天完整同步所有包元数据。适用于初期建站或作为基线保障。增量同步监听官方源的变更如果提供 API或通过对比时间戳只同步新增或更新的包。这是保证镜像及时性的高效方式。包下载同步元数据同步后需要根据元数据中的下载链接将实际代码包.tar.gz拉取到本地存储。存储层镜像下来的数据需要持久化。元数据存储包列表、版本信息等结构化数据可以存储在数据库中如 PostgreSQL或序列化为 JSON 文件存放在磁盘目录中。后者更简单与官方结构一致。包文件存储下载的.tar.gz文件是静态资源直接存放在 Web 服务器的静态文件目录下如 Nginx 的/var/www/pub-cache/packages通过 HTTP 直接提供访问。服务层对外提供 HTTP 服务响应客户端的请求。Web 服务器使用 Nginx 或 Apache 作为前端提供静态文件服务和反向代理。它的配置需要精确匹配 Pub 客户端的请求路径模式。API 服务如果元数据存储在数据库可能需要一个简单的后端服务如用 Dart、Go 或 Python 编写来动态响应/api/下的请求查询数据库并返回 JSON。如果采用文件存储则可以直接由 Nginx 提供静态 JSON 文件服务性能更高。缓存与加速层为了进一步提升响应速度和减轻源站压力可以在镜像站前端配置 CDN内容分发网络将热门的包文件缓存到离用户更近的边缘节点。注意直接对pub.flutter.org做透明的 HTTP 反向代理是最简单但最不推荐的方式。这无法解决连接不稳定问题且所有流量仍会穿透到海外延迟依旧存在同时会给官方源站带来不必要的压力可能违反其使用条款。真正的镜像意味着数据本地化。3. 从零开始搭建 Pub 镜像站实操指南下面我将以一台干净的 Linux 服务器Ubuntu 22.04 LTS 为例演示如何一步步搭建一个基础但功能完整的 Pub 镜像站。我们选择文件存储方案因为它简单直接易于理解和维护。3.1 服务器环境准备首先确保服务器有足够的磁盘空间。Pub 仓库的总大小在不断增长建议预留至少 100GB 的存储空间并考虑未来的扩容方案。# 更新系统包列表 sudo apt update sudo apt upgrade -y # 安装必要的工具用于同步的 wget/curl用于解压的 tar以及 Web 服务器 sudo apt install -y nginx wget curl git cron3.2 设计目录结构与同步脚本清晰的目录结构是维护的基础。我们在/var/www下创建镜像站的主目录。sudo mkdir -p /var/www/pub-mirror cd /var/www/pub-mirror # 创建关键子目录 sudo mkdir -p api/packages # 存放包元数据JSON sudo mkdir -p packages # 存放.tar.gz包文件 sudo mkdir -p scripts # 存放同步脚本 sudo mkdir -p logs # 存放同步日志接下来创建核心的同步脚本/var/www/pub-mirror/scripts/sync.sh。这个脚本负责从官方源抓取元数据并下载包。#!/bin/bash # sync.sh - Pub 镜像同步脚本 set -e # 遇到错误立即退出 LOG_FILE/var/www/pub-mirror/logs/sync-$(date %Y%m%d-%H%M%S).log MIRROR_ROOT/var/www/pub-mirror OFFICIAL_URLhttps://pub.flutter-io.cn # 注意这里使用了一个现有的、相对稳定的国内访问地址作为示例源。实际搭建时应优先考虑从官方源同步或寻找可靠的上游镜像。 API_URL$OFFICIAL_URL/api PACKAGES_URL$OFFICIAL_URL/packages exec (tee -a $LOG_FILE) 21 # 将脚本所有输出记录到日志 echo 开始同步 Pub 镜像 [$(date)] # 1. 同步包列表索引 echo 同步包列表... wget -q -O $MIRROR_ROOT/api/package-list.json $API_URL/packages?formatjson if [ $? -ne 0 ]; then echo 错误无法下载包列表。 exit 1 fi # 2. 解析包列表逐个同步包元数据 PACKAGE_LIST$(cat $MIRROR_ROOT/api/package-list.json | jq -r .packages[]) TOTAL$(echo $PACKAGE_LIST | wc -l) COUNT0 for PACKAGE in $PACKAGE_LIST; do ((COUNT)) echo [$COUNT/$TOTAL] 同步包元数据: $PACKAGE # 创建包对应的目录 PKG_API_DIR$MIRROR_ROOT/api/packages/$PACKAGE sudo mkdir -p $PKG_API_DIR # 下载该包的元数据JSON wget -q -O $PKG_API_DIR/index.json $API_URL/packages/$PACKAGE # 可选从元数据中提取版本信息并下载所有版本的.tar.gz文件 # 这一步非常耗时且占用带宽/磁盘初次搭建可跳过仅当有请求时再按需下载懒加载。 # 我们这里先实现元数据同步包文件同步可以设计为另一个脚本或按需触发。 done echo 包元数据同步完成。 # 3. 可选同步静态资源如网站图标、文档等 echo 同步静态资源... wget -q -r -l1 -np -nd -P $MIRROR_ROOT/ $OFFICIAL_URL/ --accept-regex.*\.(css|js|ico|png|html?)$ || true echo 同步结束 [$(date)] 给脚本添加执行权限并手动运行一次测试sudo chmod x /var/www/pub-mirror/scripts/sync.sh # 安装 jq 用于解析 JSON sudo apt install -y jq cd /var/www/pub-mirror sudo ./scripts/sync.sh实操心得首次全量同步数万个包的元数据会非常慢可能持续数小时。在生产环境中你应该考虑使用更高效的并发下载工具如aria2c或axel。将同步任务分解先同步热门包可通过分析访问日志获得。直接从其他成熟的国内镜像站如果其允许做 rsync 或镜像这比从海外拉取要快得多但需遵守对方的使用政策。3.3 配置 Nginx 提供镜像服务同步好数据后需要配置 Web 服务器让外界能够访问。编辑 Nginx 配置文件/etc/nginx/sites-available/pub-mirrorserver { listen 80; # 请替换为你的服务器域名或IP server_name your-mirror-domain.com; root /var/www/pub-mirror; index index.html; # 关键设置正确的 MIME 类型尤其是 JSON include /etc/nginx/mime.types; default_type application/octet-stream; # 优化静态文件服务 sendfile on; tcp_nopush on; keepalive_timeout 65; # API 端点将 /api/ 请求映射到本地的 api/ 目录 location /api/ { # 如果请求 /api/packages/xxx则查找 /var/www/pub-mirror/api/packages/xxx/index.json # 如果请求 /api/packages则查找 /var/www/pub-mirror/api/package-list.json try_files $uri $uri/index.json $uri.json 404; # 确保返回 JSON 内容类型 add_header Content-Type application/json; # 允许跨域请求某些工具可能需要 add_header Access-Control-Allow-Origin *; expires 1h; # 客户端缓存1小时 } # 包文件下载将 /packages/ 请求映射到本地的 packages/ 目录 location /packages/ { # 直接提供静态文件 # 例如请求 /packages/http/versions/1.2.0.tar.gz # 会映射到文件 /var/www/pub-mirror/packages/http/versions/1.2.0.tar.gz try_files $uri 404; # 包文件可以缓存更久 expires 30d; add_header Cache-Control public, immutable; } # 根目录和其他静态文件 location / { try_files $uri $uri/ 404; } # 访问日志和错误日志 access_log /var/log/nginx/pub-mirror-access.log; error_log /var/log/nginx/pub-mirror-error.log; }创建符号链接并测试配置sudo ln -s /etc/nginx/sites-available/pub-mirror /etc/nginx/sites-enabled/ sudo nginx -t # 测试配置语法 sudo systemctl reload nginx # 重载配置现在你可以通过浏览器访问http://your-server-ip/api/packages来测试 API 是否正常返回 JSON 列表。3.4 实现包文件按需下载与缓存上面的同步脚本只同步了元数据。为了完整我们需要补充包文件.tar.gz的同步。一个高效的策略是“按需下载”或“延迟下载”拦截未命中的请求当 Nginx 收到一个/packages/xxx/versions/yyy.tar.gz的请求但本地文件不存在时不直接返回 404。触发下载通过 Nginx 的error_page指令或lua模块将请求代理到上游官方源同时将下载的文件保存到本地目录。后续服务之后相同的请求就能直接从本地缓存提供了。这可以通过一个简单的后台守护进程配合 Nginx 的proxy_store指令来实现但更优雅的方式是使用mirror模块Nginx 1.13.4或编写一个小的后端服务来处理。这里给出一个概念性的简化方案创建一个处理脚本/var/www/pub-mirror/scripts/fetch_package.sh#!/bin/bash # fetch_package.sh - 按需下载包文件 PACKAGE_PATH$1 # 例如http/versions/1.2.0.tar.gz LOCAL_DIR/var/www/pub-mirror/packages OFFICIAL_URLhttps://pub.flutter-io.cn FULL_URL$OFFICIAL_URL/packages/$PACKAGE_PATH LOCAL_FILE$LOCAL_DIR/$PACKAGE_PATH LOCAL_FILE_DIR$(dirname $LOCAL_FILE) mkdir -p $LOCAL_FILE_DIR wget -q -O $LOCAL_FILE $FULL_URL if [ $? -eq 0 ]; then echo 已下载: $PACKAGE_PATH else echo 下载失败: $PACKAGE_PATH rm -f $LOCAL_FILE # 删除可能不完整的文件 fi然后修改 Nginx 配置在/packages/的location块中当文件不存在时内部重定向到一个 FastCGI 或代理后端由该后端执行下载脚本并返回文件。由于实现较为复杂对于初步搭建你也可以选择定期运行一个脚本根据已同步的元数据批量下载所有包的最近几个版本。3.5 配置定时同步任务为了保证镜像的时效性需要设置定时任务Cron Job来定期执行同步脚本。sudo crontab -e在打开的编辑器中添加一行例如每天凌晨3点执行同步请根据你的服务器负载和网络状况调整时间# 每天凌晨3点同步元数据并记录日志 0 3 * * * /bin/bash /var/www/pub-mirror/scripts/sync.sh /dev/null 21 # 每小时执行一次按需清理或补充下载热门包可选 0 * * * * /bin/bash /var/www/pub-mirror/scripts/update_hot_packages.sh4. 客户端配置与使用指南镜像站搭建好后开发者需要在自己的开发环境中配置使用。4.1 全局环境变量配置推荐这是最彻底的方式配置一次对所有项目生效。在 Linux/macOS 上编辑 shell 配置文件如~/.bashrc,~/.zshrcexport PUB_HOSTED_URLhttps://your-mirror-domain.com export FLUTTER_STORAGE_BASE_URLhttps://storage.flutter-io.cn # Flutter SDK 本身的下载镜像通常使用社区维护的地址然后执行source ~/.bashrc使配置生效。在 Windows 上打开“系统属性” - “高级” - “环境变量”。在“用户变量”或“系统变量”中新建一个变量名称为PUB_HOSTED_URL值为你的镜像站地址如https://your-mirror-domain.com。同样可以设置FLUTTER_STORAGE_BASE_URL。重启命令行终端或 IDE。配置完成后在任何项目中执行flutter pub get或dart pub get工具都会自动从你配置的镜像站获取包。4.2 项目级配置如果不想修改全局环境可以在单个 Flutter/Dart 项目的根目录下创建一个pubspec.yaml文件如果已有则编辑但这不是官方推荐的标准做法。更标准的方式是使用全局环境变量。不过你可以通过配置flutter命令的--hosted-url参数来临时指定flutter pub get --hosted-urlhttps://your-mirror-domain.com但这显然不够方便。4.3 验证配置是否生效执行以下命令进行验证# 清除本地pub缓存强制重新下载可选 flutter pub cache clean # 在一个测试项目或现有项目中获取依赖 flutter pub get --verbose在--verbose输出的日志中你应该能看到类似GET https://your-mirror-domain.com/api/packages...的请求而不是指向pub.dev或pub.flutter-io.cn的地址。下载速度相比之前应有显著提升。5. 运维、监控与常见问题排查搭建只是第一步让镜像站稳定运行更需要持续的运维。5.1 日常运维要点磁盘空间监控这是重中之重。Pub 仓库增长迅速需要监控/var/www/pub-mirror目录的大小并设置告警。定期清理非常旧的、无人使用的包版本可以节省空间但需谨慎避免删除仍有依赖的版本。同步日志检查每天检查sync.sh脚本的日志文件确认同步过程没有大量错误。常见的错误包括网络超时、上游 API 变更导致解析失败等。服务健康检查定期使用curl命令测试镜像站的关键 API 端点是否正常返回 JSON。curl -I https://your-mirror-domain.com/api/packages curl https://your-mirror-domain.com/api/packages/http # 检查一个具体包Nginx 日志分析分析访问日志了解哪些包最受欢迎这可以指导你优化缓存策略或优先同步这些包。5.2 常见问题与解决方案速查表问题现象可能原因排查步骤与解决方案flutter pub get报错Could not resolve URL...1. 环境变量未生效。2. 镜像站域名无法解析或服务未启动。3. Nginx 配置错误API 路径不对。1. 执行echo $PUB_HOSTED_URL确认变量已设置。2.ping your-mirror-domain.com和curl -I http://your-mirror-domain.com检查网络和服务。3. 检查 Nginx 配置中location /api/块是否正确并测试直接访问https://your-mirror-domain.com/api/packages看是否返回 JSON。下载速度依然很慢1. 镜像站服务器带宽不足或负载高。2. 包文件未成功同步到本地请求被透传到海外源站如果配置了回源。3. 客户端到镜像站的网络不佳。1. 检查服务器资源使用情况htop,iftop。2. 检查镜像站packages目录下是否存在请求的.tar.gz文件。确认同步脚本正常工作。3. 从客户端ping和traceroute镜像站检查网络链路。考虑将镜像站部署在主流云服务商的国内节点。报错404 Not Found对于某些包1. 该包在官方源不存在拼写错误。2. 镜像站同步不完整该包的元数据或文件缺失。3. 包版本已从官方源移除罕见。1. 在官方pub.dev网站搜索确认包名正确。2. 检查镜像站api/packages/包名目录下是否有index.json文件。检查同步日志是否有该包的同步错误。3. 尝试指定一个更早的、确认存在的版本。同步脚本执行失败1. 磁盘空间不足。2. 网络中断无法连接上游源。3. 上游源 API 结构发生变化解析脚本失效。4. 脚本权限问题。1.df -h检查磁盘空间。2. 检查服务器网络连通性。3. 手动运行同步脚本查看详细错误输出。对比官方 API 返回的 JSON 结构是否变化更新脚本中的解析逻辑如jq命令。4. 确保脚本有执行权限并且运行用户如 root 或 www-data对相关目录有读写权。客户端报 SSL 证书错误镜像站使用了自签名证书或证书配置不正确。为你的镜像站域名申请免费的 SSL 证书如 Let‘s Encrypt并在 Nginx 中正确配置 HTTPS。切勿在公网服务中使用自签名证书这会导致所有客户端报错。5.3 性能优化与高可用建议对于团队或企业级应用可以考虑以下进阶方案使用对象存储将庞大的.tar.gz包文件存储到云服务商的对象存储如阿里云 OSS、腾讯云 COS利用其无限扩展、高可靠和内置 CDN 加速的特性。Nginx 通过proxy_pass指向对象存储的公开访问地址或内部地址。元数据等小文件仍放在服务器本地磁盘。搭建多级缓存在镜像站前方部署 Varnish 或 Nginx 缓存将热点包缓存在内存中极大提升响应速度。实现主动预热分析团队内部项目的pubspec.lock文件提前将所需的所有依赖包同步到镜像站避免开发者在拉取新项目时等待。设置健康检查与自动切换在客户端侧可以配置一个备用的镜像站 URL。通过脚本定期检查主镜像站健康状态失败时自动切换环境变量到备用站。这需要更复杂的客户端配置管理。考虑使用现成的解决方案如果觉得自建维护成本高可以评估使用国内云服务商或高校提供的现有 Pub 镜像服务如阿里云镜像站、清华大学镜像站等是否包含 Pub。但自建的最大优势是可控性和私密性特别是对于内部私有包。搭建和维护一个 Pub 镜像站就像为团队铺设了一条专属的高速公路。初期投入一些时间和资源进行搭建和调试换来的是整个团队长期开发效率的稳定提升尤其是在依赖管理这个高频且影响开发心情的环节上其投资回报率是非常高的。从最简单的文件同步脚本开始逐步迭代到具备缓存、监控、高可用的完整服务这个过程本身也是对运维能力的很好锻炼。
1. 项目概述为什么我们需要一个国内的 Pub 镜像站如果你是一名 Flutter 开发者尤其是在国内网络环境下工作那么对pub get命令的漫长等待和频繁失败一定深恶痛绝。那个位于pub.flutter.org的官方包仓库虽然承载着 Flutter 生态数以万计的第三方库但其服务器远在海外国内访问的延迟、丢包乃至完全无法连接的情况时有发生。这直接导致项目初始化、依赖更新变得异常痛苦严重拖慢了开发效率。一个稳定、高速的国内镜像站就成了解决这个痛点的关键基础设施。简单来说这个项目就是要在国内搭建一个pub.flutter.org的完整镜像。它不是一个简单的代理而是一个能够定时甚至实时同步官方仓库所有包元数据pubspec.yaml和实际代码包.tar.gz的完整服务。当开发者将 Flutter 或 Dart 项目的包源指向这个镜像站时所有的依赖下载请求都会在国内完成速度将从几十KB/s提升到几MB/s甚至更高并且稳定性得到质的飞跃。这不仅仅是“加速”更是保障团队协作、CI/CD流程顺畅进行的基石。无论是个人开发者、初创团队还是大型企业的技术部门构建或使用一个可靠的 Pub 镜像站都是提升 Flutter 开发体验的必选项。2. 镜像站的核心架构与工作原理拆解要搭建一个真正可用、可靠的镜像站不能只停留在“配置一个反向代理”的层面。我们需要深入理解 Pub 仓库的协议和结构并设计出与之匹配的同步与服务体系。2.1 Pub 仓库协议剖析Pub 仓库遵循一套特定的 HTTP API。核心的入口是一个index.html页面但它更重要的是提供了一系列 JSON API 端点。当你执行pub get或flutter pub get时Dart/Flutter 工具链会按顺序进行以下关键请求获取仓库元数据首先请求/api/packages或类似端点获取所有可用包的列表及其元信息。查询特定包信息对于每个需要的包如http: ^1.2.0工具会请求/api/packages/package_name获取该包的所有版本、依赖关系、发布时间等详细信息。下载包代码根据上一步确定的版本号工具会向/packages/package_name/versions/version.tar.gz发起请求下载实际的源代码压缩包。解压与缓存工具将下载的压缩包解压到本地缓存通常是~/.pub-cache供项目引用。一个合格的镜像站必须完整地镜像这些 API 端点和静态文件资源。任何缺失或响应格式错误都会导致客户端命令失败。2.2 镜像站系统架构设计一个生产可用的镜像站通常采用分层架构以确保效率、可靠性和可维护性同步层这是镜像站的核心。需要一个后台进程通常用 Cron 定时任务或常驻守护进程定期从官方源拉取数据。同步策略是关键全量同步定期如每天完整同步所有包元数据。适用于初期建站或作为基线保障。增量同步监听官方源的变更如果提供 API或通过对比时间戳只同步新增或更新的包。这是保证镜像及时性的高效方式。包下载同步元数据同步后需要根据元数据中的下载链接将实际代码包.tar.gz拉取到本地存储。存储层镜像下来的数据需要持久化。元数据存储包列表、版本信息等结构化数据可以存储在数据库中如 PostgreSQL或序列化为 JSON 文件存放在磁盘目录中。后者更简单与官方结构一致。包文件存储下载的.tar.gz文件是静态资源直接存放在 Web 服务器的静态文件目录下如 Nginx 的/var/www/pub-cache/packages通过 HTTP 直接提供访问。服务层对外提供 HTTP 服务响应客户端的请求。Web 服务器使用 Nginx 或 Apache 作为前端提供静态文件服务和反向代理。它的配置需要精确匹配 Pub 客户端的请求路径模式。API 服务如果元数据存储在数据库可能需要一个简单的后端服务如用 Dart、Go 或 Python 编写来动态响应/api/下的请求查询数据库并返回 JSON。如果采用文件存储则可以直接由 Nginx 提供静态 JSON 文件服务性能更高。缓存与加速层为了进一步提升响应速度和减轻源站压力可以在镜像站前端配置 CDN内容分发网络将热门的包文件缓存到离用户更近的边缘节点。注意直接对pub.flutter.org做透明的 HTTP 反向代理是最简单但最不推荐的方式。这无法解决连接不稳定问题且所有流量仍会穿透到海外延迟依旧存在同时会给官方源站带来不必要的压力可能违反其使用条款。真正的镜像意味着数据本地化。3. 从零开始搭建 Pub 镜像站实操指南下面我将以一台干净的 Linux 服务器Ubuntu 22.04 LTS 为例演示如何一步步搭建一个基础但功能完整的 Pub 镜像站。我们选择文件存储方案因为它简单直接易于理解和维护。3.1 服务器环境准备首先确保服务器有足够的磁盘空间。Pub 仓库的总大小在不断增长建议预留至少 100GB 的存储空间并考虑未来的扩容方案。# 更新系统包列表 sudo apt update sudo apt upgrade -y # 安装必要的工具用于同步的 wget/curl用于解压的 tar以及 Web 服务器 sudo apt install -y nginx wget curl git cron3.2 设计目录结构与同步脚本清晰的目录结构是维护的基础。我们在/var/www下创建镜像站的主目录。sudo mkdir -p /var/www/pub-mirror cd /var/www/pub-mirror # 创建关键子目录 sudo mkdir -p api/packages # 存放包元数据JSON sudo mkdir -p packages # 存放.tar.gz包文件 sudo mkdir -p scripts # 存放同步脚本 sudo mkdir -p logs # 存放同步日志接下来创建核心的同步脚本/var/www/pub-mirror/scripts/sync.sh。这个脚本负责从官方源抓取元数据并下载包。#!/bin/bash # sync.sh - Pub 镜像同步脚本 set -e # 遇到错误立即退出 LOG_FILE/var/www/pub-mirror/logs/sync-$(date %Y%m%d-%H%M%S).log MIRROR_ROOT/var/www/pub-mirror OFFICIAL_URLhttps://pub.flutter-io.cn # 注意这里使用了一个现有的、相对稳定的国内访问地址作为示例源。实际搭建时应优先考虑从官方源同步或寻找可靠的上游镜像。 API_URL$OFFICIAL_URL/api PACKAGES_URL$OFFICIAL_URL/packages exec (tee -a $LOG_FILE) 21 # 将脚本所有输出记录到日志 echo 开始同步 Pub 镜像 [$(date)] # 1. 同步包列表索引 echo 同步包列表... wget -q -O $MIRROR_ROOT/api/package-list.json $API_URL/packages?formatjson if [ $? -ne 0 ]; then echo 错误无法下载包列表。 exit 1 fi # 2. 解析包列表逐个同步包元数据 PACKAGE_LIST$(cat $MIRROR_ROOT/api/package-list.json | jq -r .packages[]) TOTAL$(echo $PACKAGE_LIST | wc -l) COUNT0 for PACKAGE in $PACKAGE_LIST; do ((COUNT)) echo [$COUNT/$TOTAL] 同步包元数据: $PACKAGE # 创建包对应的目录 PKG_API_DIR$MIRROR_ROOT/api/packages/$PACKAGE sudo mkdir -p $PKG_API_DIR # 下载该包的元数据JSON wget -q -O $PKG_API_DIR/index.json $API_URL/packages/$PACKAGE # 可选从元数据中提取版本信息并下载所有版本的.tar.gz文件 # 这一步非常耗时且占用带宽/磁盘初次搭建可跳过仅当有请求时再按需下载懒加载。 # 我们这里先实现元数据同步包文件同步可以设计为另一个脚本或按需触发。 done echo 包元数据同步完成。 # 3. 可选同步静态资源如网站图标、文档等 echo 同步静态资源... wget -q -r -l1 -np -nd -P $MIRROR_ROOT/ $OFFICIAL_URL/ --accept-regex.*\.(css|js|ico|png|html?)$ || true echo 同步结束 [$(date)] 给脚本添加执行权限并手动运行一次测试sudo chmod x /var/www/pub-mirror/scripts/sync.sh # 安装 jq 用于解析 JSON sudo apt install -y jq cd /var/www/pub-mirror sudo ./scripts/sync.sh实操心得首次全量同步数万个包的元数据会非常慢可能持续数小时。在生产环境中你应该考虑使用更高效的并发下载工具如aria2c或axel。将同步任务分解先同步热门包可通过分析访问日志获得。直接从其他成熟的国内镜像站如果其允许做 rsync 或镜像这比从海外拉取要快得多但需遵守对方的使用政策。3.3 配置 Nginx 提供镜像服务同步好数据后需要配置 Web 服务器让外界能够访问。编辑 Nginx 配置文件/etc/nginx/sites-available/pub-mirrorserver { listen 80; # 请替换为你的服务器域名或IP server_name your-mirror-domain.com; root /var/www/pub-mirror; index index.html; # 关键设置正确的 MIME 类型尤其是 JSON include /etc/nginx/mime.types; default_type application/octet-stream; # 优化静态文件服务 sendfile on; tcp_nopush on; keepalive_timeout 65; # API 端点将 /api/ 请求映射到本地的 api/ 目录 location /api/ { # 如果请求 /api/packages/xxx则查找 /var/www/pub-mirror/api/packages/xxx/index.json # 如果请求 /api/packages则查找 /var/www/pub-mirror/api/package-list.json try_files $uri $uri/index.json $uri.json 404; # 确保返回 JSON 内容类型 add_header Content-Type application/json; # 允许跨域请求某些工具可能需要 add_header Access-Control-Allow-Origin *; expires 1h; # 客户端缓存1小时 } # 包文件下载将 /packages/ 请求映射到本地的 packages/ 目录 location /packages/ { # 直接提供静态文件 # 例如请求 /packages/http/versions/1.2.0.tar.gz # 会映射到文件 /var/www/pub-mirror/packages/http/versions/1.2.0.tar.gz try_files $uri 404; # 包文件可以缓存更久 expires 30d; add_header Cache-Control public, immutable; } # 根目录和其他静态文件 location / { try_files $uri $uri/ 404; } # 访问日志和错误日志 access_log /var/log/nginx/pub-mirror-access.log; error_log /var/log/nginx/pub-mirror-error.log; }创建符号链接并测试配置sudo ln -s /etc/nginx/sites-available/pub-mirror /etc/nginx/sites-enabled/ sudo nginx -t # 测试配置语法 sudo systemctl reload nginx # 重载配置现在你可以通过浏览器访问http://your-server-ip/api/packages来测试 API 是否正常返回 JSON 列表。3.4 实现包文件按需下载与缓存上面的同步脚本只同步了元数据。为了完整我们需要补充包文件.tar.gz的同步。一个高效的策略是“按需下载”或“延迟下载”拦截未命中的请求当 Nginx 收到一个/packages/xxx/versions/yyy.tar.gz的请求但本地文件不存在时不直接返回 404。触发下载通过 Nginx 的error_page指令或lua模块将请求代理到上游官方源同时将下载的文件保存到本地目录。后续服务之后相同的请求就能直接从本地缓存提供了。这可以通过一个简单的后台守护进程配合 Nginx 的proxy_store指令来实现但更优雅的方式是使用mirror模块Nginx 1.13.4或编写一个小的后端服务来处理。这里给出一个概念性的简化方案创建一个处理脚本/var/www/pub-mirror/scripts/fetch_package.sh#!/bin/bash # fetch_package.sh - 按需下载包文件 PACKAGE_PATH$1 # 例如http/versions/1.2.0.tar.gz LOCAL_DIR/var/www/pub-mirror/packages OFFICIAL_URLhttps://pub.flutter-io.cn FULL_URL$OFFICIAL_URL/packages/$PACKAGE_PATH LOCAL_FILE$LOCAL_DIR/$PACKAGE_PATH LOCAL_FILE_DIR$(dirname $LOCAL_FILE) mkdir -p $LOCAL_FILE_DIR wget -q -O $LOCAL_FILE $FULL_URL if [ $? -eq 0 ]; then echo 已下载: $PACKAGE_PATH else echo 下载失败: $PACKAGE_PATH rm -f $LOCAL_FILE # 删除可能不完整的文件 fi然后修改 Nginx 配置在/packages/的location块中当文件不存在时内部重定向到一个 FastCGI 或代理后端由该后端执行下载脚本并返回文件。由于实现较为复杂对于初步搭建你也可以选择定期运行一个脚本根据已同步的元数据批量下载所有包的最近几个版本。3.5 配置定时同步任务为了保证镜像的时效性需要设置定时任务Cron Job来定期执行同步脚本。sudo crontab -e在打开的编辑器中添加一行例如每天凌晨3点执行同步请根据你的服务器负载和网络状况调整时间# 每天凌晨3点同步元数据并记录日志 0 3 * * * /bin/bash /var/www/pub-mirror/scripts/sync.sh /dev/null 21 # 每小时执行一次按需清理或补充下载热门包可选 0 * * * * /bin/bash /var/www/pub-mirror/scripts/update_hot_packages.sh4. 客户端配置与使用指南镜像站搭建好后开发者需要在自己的开发环境中配置使用。4.1 全局环境变量配置推荐这是最彻底的方式配置一次对所有项目生效。在 Linux/macOS 上编辑 shell 配置文件如~/.bashrc,~/.zshrcexport PUB_HOSTED_URLhttps://your-mirror-domain.com export FLUTTER_STORAGE_BASE_URLhttps://storage.flutter-io.cn # Flutter SDK 本身的下载镜像通常使用社区维护的地址然后执行source ~/.bashrc使配置生效。在 Windows 上打开“系统属性” - “高级” - “环境变量”。在“用户变量”或“系统变量”中新建一个变量名称为PUB_HOSTED_URL值为你的镜像站地址如https://your-mirror-domain.com。同样可以设置FLUTTER_STORAGE_BASE_URL。重启命令行终端或 IDE。配置完成后在任何项目中执行flutter pub get或dart pub get工具都会自动从你配置的镜像站获取包。4.2 项目级配置如果不想修改全局环境可以在单个 Flutter/Dart 项目的根目录下创建一个pubspec.yaml文件如果已有则编辑但这不是官方推荐的标准做法。更标准的方式是使用全局环境变量。不过你可以通过配置flutter命令的--hosted-url参数来临时指定flutter pub get --hosted-urlhttps://your-mirror-domain.com但这显然不够方便。4.3 验证配置是否生效执行以下命令进行验证# 清除本地pub缓存强制重新下载可选 flutter pub cache clean # 在一个测试项目或现有项目中获取依赖 flutter pub get --verbose在--verbose输出的日志中你应该能看到类似GET https://your-mirror-domain.com/api/packages...的请求而不是指向pub.dev或pub.flutter-io.cn的地址。下载速度相比之前应有显著提升。5. 运维、监控与常见问题排查搭建只是第一步让镜像站稳定运行更需要持续的运维。5.1 日常运维要点磁盘空间监控这是重中之重。Pub 仓库增长迅速需要监控/var/www/pub-mirror目录的大小并设置告警。定期清理非常旧的、无人使用的包版本可以节省空间但需谨慎避免删除仍有依赖的版本。同步日志检查每天检查sync.sh脚本的日志文件确认同步过程没有大量错误。常见的错误包括网络超时、上游 API 变更导致解析失败等。服务健康检查定期使用curl命令测试镜像站的关键 API 端点是否正常返回 JSON。curl -I https://your-mirror-domain.com/api/packages curl https://your-mirror-domain.com/api/packages/http # 检查一个具体包Nginx 日志分析分析访问日志了解哪些包最受欢迎这可以指导你优化缓存策略或优先同步这些包。5.2 常见问题与解决方案速查表问题现象可能原因排查步骤与解决方案flutter pub get报错Could not resolve URL...1. 环境变量未生效。2. 镜像站域名无法解析或服务未启动。3. Nginx 配置错误API 路径不对。1. 执行echo $PUB_HOSTED_URL确认变量已设置。2.ping your-mirror-domain.com和curl -I http://your-mirror-domain.com检查网络和服务。3. 检查 Nginx 配置中location /api/块是否正确并测试直接访问https://your-mirror-domain.com/api/packages看是否返回 JSON。下载速度依然很慢1. 镜像站服务器带宽不足或负载高。2. 包文件未成功同步到本地请求被透传到海外源站如果配置了回源。3. 客户端到镜像站的网络不佳。1. 检查服务器资源使用情况htop,iftop。2. 检查镜像站packages目录下是否存在请求的.tar.gz文件。确认同步脚本正常工作。3. 从客户端ping和traceroute镜像站检查网络链路。考虑将镜像站部署在主流云服务商的国内节点。报错404 Not Found对于某些包1. 该包在官方源不存在拼写错误。2. 镜像站同步不完整该包的元数据或文件缺失。3. 包版本已从官方源移除罕见。1. 在官方pub.dev网站搜索确认包名正确。2. 检查镜像站api/packages/包名目录下是否有index.json文件。检查同步日志是否有该包的同步错误。3. 尝试指定一个更早的、确认存在的版本。同步脚本执行失败1. 磁盘空间不足。2. 网络中断无法连接上游源。3. 上游源 API 结构发生变化解析脚本失效。4. 脚本权限问题。1.df -h检查磁盘空间。2. 检查服务器网络连通性。3. 手动运行同步脚本查看详细错误输出。对比官方 API 返回的 JSON 结构是否变化更新脚本中的解析逻辑如jq命令。4. 确保脚本有执行权限并且运行用户如 root 或 www-data对相关目录有读写权。客户端报 SSL 证书错误镜像站使用了自签名证书或证书配置不正确。为你的镜像站域名申请免费的 SSL 证书如 Let‘s Encrypt并在 Nginx 中正确配置 HTTPS。切勿在公网服务中使用自签名证书这会导致所有客户端报错。5.3 性能优化与高可用建议对于团队或企业级应用可以考虑以下进阶方案使用对象存储将庞大的.tar.gz包文件存储到云服务商的对象存储如阿里云 OSS、腾讯云 COS利用其无限扩展、高可靠和内置 CDN 加速的特性。Nginx 通过proxy_pass指向对象存储的公开访问地址或内部地址。元数据等小文件仍放在服务器本地磁盘。搭建多级缓存在镜像站前方部署 Varnish 或 Nginx 缓存将热点包缓存在内存中极大提升响应速度。实现主动预热分析团队内部项目的pubspec.lock文件提前将所需的所有依赖包同步到镜像站避免开发者在拉取新项目时等待。设置健康检查与自动切换在客户端侧可以配置一个备用的镜像站 URL。通过脚本定期检查主镜像站健康状态失败时自动切换环境变量到备用站。这需要更复杂的客户端配置管理。考虑使用现成的解决方案如果觉得自建维护成本高可以评估使用国内云服务商或高校提供的现有 Pub 镜像服务如阿里云镜像站、清华大学镜像站等是否包含 Pub。但自建的最大优势是可控性和私密性特别是对于内部私有包。搭建和维护一个 Pub 镜像站就像为团队铺设了一条专属的高速公路。初期投入一些时间和资源进行搭建和调试换来的是整个团队长期开发效率的稳定提升尤其是在依赖管理这个高频且影响开发心情的环节上其投资回报率是非常高的。从最简单的文件同步脚本开始逐步迭代到具备缓存、监控、高可用的完整服务这个过程本身也是对运维能力的很好锻炼。
