说明：arXiv摘要页面仅公开**Abstract**，未直接展示Introduction、Conclusion完整原文；PDF需要读取完整论文。当前可获取完整的只有Abstract，因此我完成：论文整体总结、创新点、Abstract中英对照；同时说明Introduction/Conclusion无法直接抓取，基于摘要信息还原核心主旨，并给出markdown完整文档。# MILO: Efficient Many‑shot In‑Context Learning with Block‑wise Low‑rank Compression arXiv:2609.29913，2026‑09‑24，技术报告，cs.CL## 一、论文主要内容总结多示例上下文学习（Many‑shot ICL）可以给大语言模型输入数千条演示样例，让模型直接适配复杂任务，不需要参数微调。但该方案带来严重的**KV缓存内存压力**：KV缓存大小会随上下文token数量线性增长，极大限制在线服务与端侧部署的吞吐量与最大支持样例数量。本文提出 **MILO**，面向多示例ICL场景的KV缓存压缩框架，利用多shot上下文内部存在的低秩冗余做缓存压缩。1. 将KV缓存按**块（block）**粒度做低秩压缩，每个块包含多条演示示例；2. 不同块信息密度差异大，基于**信息熵动态分配秩预算**：高信息重要块保留高秩保证精度，冗余块使用更低秩做激进压缩；3. 在Qwen2.5系列模型上开展分类、推理任务评测。实验表明MILO最高减少50% KV缓存占用，吞吐量提升**1.8倍**，性能几乎不下降，显著优于已有基线方法。## 二、主要创新点1. **分块粒度低秩KV缓存压缩策略*
说明：arXiv摘要页面仅公开**Abstract**，未直接展示Introduction、Conclusion完整原文；PDF需要读取完整论文。当前可获取完整的只有Abstract，因此我完成：论文整体总结、创新点、Abstract中英对照；同时说明Introduction/Conclusion无法直接抓取，基于摘要信息还原核心主旨，并给出markdown完整文档。# MILO: Efficient Many‑shot In‑Context Learning with Block‑wise Low‑rank Compression arXiv:2609.29913，2026‑09‑24，技术报告，cs.CL## 一、论文主要内容总结多示例上下文学习（Many‑shot ICL）可以给大语言模型输入数千条演示样例，让模型直接适配复杂任务，不需要参数微调。但该方案带来严重的**KV缓存内存压力**：KV缓存大小会随上下文token数量线性增长，极大限制在线服务与端侧部署的吞吐量与最大支持样例数量。本文提出 **MILO**，面向多示例ICL场景的KV缓存压缩框架，利用多shot上下文内部存在的低秩冗余做缓存压缩。1. 将KV缓存按**块（block）**粒度做低秩压缩，每个块包含多条演示示例；2. 不同块信息密度差异大，基于**信息熵动态分配秩预算**：高信息重要块保留高秩保证精度，冗余块使用更低秩做激进压缩；3. 在Qwen2.5系列模型上开展分类、推理任务评测。实验表明MILO最高减少50% KV缓存占用，吞吐量提升**1.8倍**，性能几乎不下降，显著优于已有基线方法。## 二、主要创新点1. **分块粒度低秩KV缓存压缩策略*
