10 月 7 日下午国庆假期即将收尾我把一份整理好的《基础设施 Q4 降本战役首周实战汇总》发到了技术委员会的群里抄送给 CTO 和财务总监。节前最后一次预算碰头会上CTO 的脸色极其难看“双 11 还有不到一个月全网流量大促肯定要对核心服务做临时弹性扩容。但是公司今年给技术部的 IT 采购预算一分钱都没多给。双 11 需要多开机器的钱必须从你们现在的线上资源里自己抠出来。省不出来的部门大促扩容申请一律不批”作为在二线城市背着房贷、上有老下有小的技术负责人我很清楚当下的行业大环境没有业绩支撑的技术狂欢一文不值。很多小厂不是死在业务不赚钱而是死在研发团队毫无成本概念的盲目铺张上。国庆 7 天我和运维骨干没闲着顺着云控制台的账单流水一条一条抓虫硬生生在第一阶段的第一周里给公司挖出了每个月 3.45 万元、年化超 41 万元的真金白银。触目惊心的三处“云上暗桩”不查不知道一拉账单吓一跳。很多技术同学觉得“云资源按月扣多几十块钱谁看得出来”但正是这种无所谓的态度让云上账单积沙成塔变成了吞噬公司利润的无底洞。我们重点摸排了三个过去几年管理松懈导致的重灾区闲置弹性公网 IPEIP与空转负载均衡SLB在过去两年里很多离职员工做前端联调、第三方支付回调测试随手就申请了绑定公网的 EIP 和按带宽计费的负载均衡。项目上线或者废弃后机器销毁了但公网 IP 依然以“保留状态”挂在控制台或者绑定在一个根本没有业务流量的空实例上。云厂商按小时收取闲置保有费和保底带宽费光这一项每天都在悄无声息地扣钱。测试与压测环境的 7×24 小时空转国庆 7 天全员休假工位上空无一人但线下 30 多台 8 核 16G、16 核 32G 的测试服务器和 4 套测试 RDS 数据库依然在全天候轰鸣运转。查看监控CPU 平均利用率不足 0.2%纯粹是在烧公司的电费给云厂商取暖。非核心系统数据库配置严重虚高内部的一些老旧系统例如历史操作审计日志、老版积分变动流水、废弃的活动中台当年立项时为了求稳直接按高规格申请了 16 核 64G 的高规格 RDS MySQL。事实上日常读写 QPS 只有两三百64G 的内存里 80% 缓存的都是半年前的冷数据资源利用率极其低下。动真格的三把手术刀找准了出血点我和运维兄弟在长假期间下了三剂猛药刀刀见血手术刀一全网清网斩断 23 个僵尸 IP 与闲置 SLB我们梳理了全站的网络拓扑借助云厂商 API 编写了一套轻量级的网络审计检查逻辑核对每一个公网 IP 在过去 30 天内的网络流出量Outbound Bytes。凡是连续 7 天无外部访问、未关联生产网关的公网资源直接进入回收队列彻底释放了23 个闲置公网 EIP缩容并合并了6 个低吞吐的测试负载均衡 SLB将 4 个非生产环境的公网固定带宽按兆计费全部降级为按流量计费杜绝带宽空置浪费。战果首周生效后折合每月直接节约网络固定支出4,200 元。手术刀二推行“潮汐休眠”测试机不再通宵烧钱程序员晚上要睡觉测试机为什么不能休眠我们全面重构了预发和测试环境的生命周期建立了“工作日定时唤醒、夜间与节假日自动休眠”的潮汐机制。通过在管理节点配置定时 Cron 触发器与云厂商 ECS 弹性 API工作日早上 08:45自动启动 32 台测试 ECS 并拉起容器集群工作日晚上 20:30发送通知后自动停止实例进入停机不收费模式周末与法定节假日包括这次国庆 7 天全天候处于断电休眠状态。为了保障数据安全我们在实例休眠前通过脚本自动做快照打底。国庆 7 天这批机器全程零消费后续日常使用时间也从每周 168 小时压缩到了 60 小时以内算力费用直接砍掉近六成。战果折合每月算力开销直接省下11,800 元。手术刀三借力 Go 1.27.1 升级红利生产 RDS 减负降配对于生产数据库的虚高规格直接降配以前谁都不敢担责任。但今年国庆前由于我们将上游核心 API 升级到了 Go 1.27.1获得了 Green Tea GC 的算力释放和小对象紧凑分配的红利后端应用层对数据库连接的排队时间大幅减少。与此同时我们对数据库落地了两项工程改造冷热数据分流归档将创建时间超过 90 天的历史流水数据批量迁移到每 GB 只要几分钱的云对象存储OSS 冷归档MySQL 物理表体积直接缩水 65%规格精准腰斩在压测充分验证的前提下将 3 套非核心业务 RDS 由原先的 16 核 64G 降配至 8 核 32G。降配之后在长假末尾的压测摸底中这 3 套数据库的 CPU 水位最高仅在 48% 浮动Buffer Pool 命中率不降反升业务响应毫无波动。战果3 套数据库月租直接节省18,500 元。首周战果财务汇总表优化维度具体举措首周折合单月节省金额年化预计节约网络与公网资产清退 23 个闲置 EIP缩减 6 个僵尸 SLB4,200 元50,400 元线下算力潮汐化32 台测试 ECS 与 4 套测试库节假日及夜间休眠11,800 元141,600 元生产数据库瘦身冷数据归档 OSS3 套 RDS 由 16C64G 降配至 8C32G18,500 元222,000 元合计第一阶段基础设施瘦身组合拳34,500 元 / 月414,000 元 / 年短短 7 天我们用实际行动从牙缝里省出了每月 3.45 万元的净利润。双 11 期间核心链路临时弹性扩容 20 台容器预计只需要 2.8 万元这一笔钱直接被我们省出来的预算全额覆盖技术部连额外向财务打扩容申请报告的麻烦都省了。架构师的年终思考做技术的人往往有一种情怀总想搞最前沿的分布式理论、最庞大的集群架构。但现实往往很骨感在民营小厂任何脱离商业 ROI 的架构设计都是耍流氓。你用 10 台机器把业务扛住了比用 100 台机器把系统堆起来更能体现一个架构师的技术深度和对系统瓶颈的洞察力。能帮公司在刺骨的寒冬里省下真金白银让老板看到技术团队的经营意识兄弟们的工位和年终奖才能真正稳得住。这场 Q4 降本战役的第一枪我们算打赢了。
10 月 7 日下午国庆假期即将收尾我把一份整理好的《基础设施 Q4 降本战役首周实战汇总》发到了技术委员会的群里抄送给 CTO 和财务总监。节前最后一次预算碰头会上CTO 的脸色极其难看“双 11 还有不到一个月全网流量大促肯定要对核心服务做临时弹性扩容。但是公司今年给技术部的 IT 采购预算一分钱都没多给。双 11 需要多开机器的钱必须从你们现在的线上资源里自己抠出来。省不出来的部门大促扩容申请一律不批”作为在二线城市背着房贷、上有老下有小的技术负责人我很清楚当下的行业大环境没有业绩支撑的技术狂欢一文不值。很多小厂不是死在业务不赚钱而是死在研发团队毫无成本概念的盲目铺张上。国庆 7 天我和运维骨干没闲着顺着云控制台的账单流水一条一条抓虫硬生生在第一阶段的第一周里给公司挖出了每个月 3.45 万元、年化超 41 万元的真金白银。触目惊心的三处“云上暗桩”不查不知道一拉账单吓一跳。很多技术同学觉得“云资源按月扣多几十块钱谁看得出来”但正是这种无所谓的态度让云上账单积沙成塔变成了吞噬公司利润的无底洞。我们重点摸排了三个过去几年管理松懈导致的重灾区闲置弹性公网 IPEIP与空转负载均衡SLB在过去两年里很多离职员工做前端联调、第三方支付回调测试随手就申请了绑定公网的 EIP 和按带宽计费的负载均衡。项目上线或者废弃后机器销毁了但公网 IP 依然以“保留状态”挂在控制台或者绑定在一个根本没有业务流量的空实例上。云厂商按小时收取闲置保有费和保底带宽费光这一项每天都在悄无声息地扣钱。测试与压测环境的 7×24 小时空转国庆 7 天全员休假工位上空无一人但线下 30 多台 8 核 16G、16 核 32G 的测试服务器和 4 套测试 RDS 数据库依然在全天候轰鸣运转。查看监控CPU 平均利用率不足 0.2%纯粹是在烧公司的电费给云厂商取暖。非核心系统数据库配置严重虚高内部的一些老旧系统例如历史操作审计日志、老版积分变动流水、废弃的活动中台当年立项时为了求稳直接按高规格申请了 16 核 64G 的高规格 RDS MySQL。事实上日常读写 QPS 只有两三百64G 的内存里 80% 缓存的都是半年前的冷数据资源利用率极其低下。动真格的三把手术刀找准了出血点我和运维兄弟在长假期间下了三剂猛药刀刀见血手术刀一全网清网斩断 23 个僵尸 IP 与闲置 SLB我们梳理了全站的网络拓扑借助云厂商 API 编写了一套轻量级的网络审计检查逻辑核对每一个公网 IP 在过去 30 天内的网络流出量Outbound Bytes。凡是连续 7 天无外部访问、未关联生产网关的公网资源直接进入回收队列彻底释放了23 个闲置公网 EIP缩容并合并了6 个低吞吐的测试负载均衡 SLB将 4 个非生产环境的公网固定带宽按兆计费全部降级为按流量计费杜绝带宽空置浪费。战果首周生效后折合每月直接节约网络固定支出4,200 元。手术刀二推行“潮汐休眠”测试机不再通宵烧钱程序员晚上要睡觉测试机为什么不能休眠我们全面重构了预发和测试环境的生命周期建立了“工作日定时唤醒、夜间与节假日自动休眠”的潮汐机制。通过在管理节点配置定时 Cron 触发器与云厂商 ECS 弹性 API工作日早上 08:45自动启动 32 台测试 ECS 并拉起容器集群工作日晚上 20:30发送通知后自动停止实例进入停机不收费模式周末与法定节假日包括这次国庆 7 天全天候处于断电休眠状态。为了保障数据安全我们在实例休眠前通过脚本自动做快照打底。国庆 7 天这批机器全程零消费后续日常使用时间也从每周 168 小时压缩到了 60 小时以内算力费用直接砍掉近六成。战果折合每月算力开销直接省下11,800 元。手术刀三借力 Go 1.27.1 升级红利生产 RDS 减负降配对于生产数据库的虚高规格直接降配以前谁都不敢担责任。但今年国庆前由于我们将上游核心 API 升级到了 Go 1.27.1获得了 Green Tea GC 的算力释放和小对象紧凑分配的红利后端应用层对数据库连接的排队时间大幅减少。与此同时我们对数据库落地了两项工程改造冷热数据分流归档将创建时间超过 90 天的历史流水数据批量迁移到每 GB 只要几分钱的云对象存储OSS 冷归档MySQL 物理表体积直接缩水 65%规格精准腰斩在压测充分验证的前提下将 3 套非核心业务 RDS 由原先的 16 核 64G 降配至 8 核 32G。降配之后在长假末尾的压测摸底中这 3 套数据库的 CPU 水位最高仅在 48% 浮动Buffer Pool 命中率不降反升业务响应毫无波动。战果3 套数据库月租直接节省18,500 元。首周战果财务汇总表优化维度具体举措首周折合单月节省金额年化预计节约网络与公网资产清退 23 个闲置 EIP缩减 6 个僵尸 SLB4,200 元50,400 元线下算力潮汐化32 台测试 ECS 与 4 套测试库节假日及夜间休眠11,800 元141,600 元生产数据库瘦身冷数据归档 OSS3 套 RDS 由 16C64G 降配至 8C32G18,500 元222,000 元合计第一阶段基础设施瘦身组合拳34,500 元 / 月414,000 元 / 年短短 7 天我们用实际行动从牙缝里省出了每月 3.45 万元的净利润。双 11 期间核心链路临时弹性扩容 20 台容器预计只需要 2.8 万元这一笔钱直接被我们省出来的预算全额覆盖技术部连额外向财务打扩容申请报告的麻烦都省了。架构师的年终思考做技术的人往往有一种情怀总想搞最前沿的分布式理论、最庞大的集群架构。但现实往往很骨感在民营小厂任何脱离商业 ROI 的架构设计都是耍流氓。你用 10 台机器把业务扛住了比用 100 台机器把系统堆起来更能体现一个架构师的技术深度和对系统瓶颈的洞察力。能帮公司在刺骨的寒冬里省下真金白银让老板看到技术团队的经营意识兄弟们的工位和年终奖才能真正稳得住。这场 Q4 降本战役的第一枪我们算打赢了。
