文章目录1.论文信息2.论文主要贡献3.论文创新点4.研究方法4.1 总体概览4.2 层次能力分类法4.2.1 感知4.2.2 推理4.3 构建CHOICE5.实验验证5.1 主要结果5.2 细粒度分析5.3 结论6.个人声明1.论文信息论文题目CHOICE: Benchmarking the Remote SensingCapabilities of Large Vision-Language Models论文作者Xiao An, Jiaxing Sun, Zihan Gui, Wei He发表单位武汉大学测绘遥感信息工程国家重点实验室发表会议NeurlPS 2025代码链接https://github.com/ShawnAn-WHU/CHOICE2.论文主要贡献构建了系统性的遥感VLM能力评测体系构建大规模、高质量的遥感VLM Benchmark数据集建立了更加标准客观的评价体系-Multiple Choice Questions而不是让模型自由生成答案开放式VQA提出了QAccSAcc的双层评价指标系统评测了大量视觉语言模型3.论文创新点提出层次化的遥感VLM能力体系提出大规模、独立构建的遥感VLM评测数据提出客观统一的MCQ评价范式4.研究方法4.1 总体概览表1CHOICE与现有数据集及基准的比较。“All-new”表示该数据集或基准是否排除了公开可用的数据集并未参与视觉语言模型VLMs的训练。“Dimension”指细粒度评估能力的数量。缩写说明O表示光学图像MI表示多图像V表示视频BT表示双时序MT表示多时序MCQ表示多选题FF表示自由形式BBox表示边界框Seg表示分割掩码。首先指出了当前遥感领域视觉语言模型评估的局限性范围分离每个数据集仅针对一项特定能力评估体系碎片化任务维度分类粗略数据泄露导致的非客观性CHOICE首个提出遥感能力层次化和客观评估的基准一级能力感知、推理–6个二级维度–23个三级叶任务涵盖大多数关键的下游问题9407道多选题MCQs、23个任务、600个视觉定位问题有一排除了任何公开可用的数据集采用三种方法构建问题标签驱动、模型驱动、人机协同图1左CHOICE的层次能力分类法重点聚焦于感知与推理能力分为6个二级维度和23个三级任务。 右主流VLMs在6个二级能力维度上的评估结果。每个圆圈由三条灰色线分割按面积从大到小依次对应通用领域开源VLMs、RSVLMs和专有VLMs。4.2 层次能力分类法4.2.1 感知遥感的三个感知层级图像级理解粗略、全面的解读场景分类SC、地图识别MR、图像描述IC、图像质量IQ、图像模态IM单实例识别精确识别和定位地表识别LR、对象存在OP、对象定位OL、对象计数OC、属性识别AR、视觉定位VG、幻觉检测HD跨实例辨别多个对象之间进行比较或变化的分析属性比较AC、空间关系SR、变化检测CD、指称表达分割RES4.2.2 推理标签:B图2来自6个L-2能力的CHOICE示例。4.3 构建CHOICE多源遥感数据采集 → 全球范围数据覆盖 → 三种问题构建方式 → 形成不同类型的视觉理解问题 → 人工质量控制 → 得到最终 CHOICE Benchmark → 用于 VLM 能力评测5.实验验证5.1 主要结果表2L-2维度的评估结果。ILC表示图像级理解SII表示单实例识别CID表示跨实例辨别AttR表示属性推理AssR表示评估推理CSR表示常识推理。最佳次佳结果以粗体下划线标出。表3推理的细粒度评估结果。TP 表示时间属性PP 表示物理属性EA 表示环境评估RA 表示资源评估DD 表示灾害判别GD 表示地理空间确定SI 表示情境推断。最佳次佳结果用粗体下划线表示。大多数通用VLMs的准确率低于70%而大多数RSVLMs的准确率低于50%更复杂的遥感场景和局部目标的感知能力弱。5.2 细粒度分析表4感知任务的细粒度评估结果。采用的缩写IM 表示图像模态IQ 表示图像质量MR 表示地图识别SC 表示场景分类IC 表示图像描述LR 表示地标识别OC 表示物体计数OL 表示物体定位OP 表示物体存在AR 表示属性识别VG 表示视觉接地HD 表示幻觉检测AC 表示属性比较SR 表示空间关系CD 表示变化检测。专有视觉语言模型在遥感任务中无明显优势5.3 结论VLM在细粒度感知方面存在困难推理能力是VLM的瓶颈通用领域VLM更倾向于避免模型幻觉6.个人声明本文为作者对原论文的学习笔记与心得分享受个人学识与理解所限文中对论文内容的解读或有不够周全之处一切以原论文正式表述为准。本文仅用于学术交流与传播内容均由作者独立整理完成不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议请及时与作者联系作者将在第一时间核实并妥善处理。
文章目录1.论文信息2.论文主要贡献3.论文创新点4.研究方法4.1 总体概览4.2 层次能力分类法4.2.1 感知4.2.2 推理4.3 构建CHOICE5.实验验证5.1 主要结果5.2 细粒度分析5.3 结论6.个人声明1.论文信息论文题目CHOICE: Benchmarking the Remote SensingCapabilities of Large Vision-Language Models论文作者Xiao An, Jiaxing Sun, Zihan Gui, Wei He发表单位武汉大学测绘遥感信息工程国家重点实验室发表会议NeurlPS 2025代码链接https://github.com/ShawnAn-WHU/CHOICE2.论文主要贡献构建了系统性的遥感VLM能力评测体系构建大规模、高质量的遥感VLM Benchmark数据集建立了更加标准客观的评价体系-Multiple Choice Questions而不是让模型自由生成答案开放式VQA提出了QAccSAcc的双层评价指标系统评测了大量视觉语言模型3.论文创新点提出层次化的遥感VLM能力体系提出大规模、独立构建的遥感VLM评测数据提出客观统一的MCQ评价范式4.研究方法4.1 总体概览表1CHOICE与现有数据集及基准的比较。“All-new”表示该数据集或基准是否排除了公开可用的数据集并未参与视觉语言模型VLMs的训练。“Dimension”指细粒度评估能力的数量。缩写说明O表示光学图像MI表示多图像V表示视频BT表示双时序MT表示多时序MCQ表示多选题FF表示自由形式BBox表示边界框Seg表示分割掩码。首先指出了当前遥感领域视觉语言模型评估的局限性范围分离每个数据集仅针对一项特定能力评估体系碎片化任务维度分类粗略数据泄露导致的非客观性CHOICE首个提出遥感能力层次化和客观评估的基准一级能力感知、推理–6个二级维度–23个三级叶任务涵盖大多数关键的下游问题9407道多选题MCQs、23个任务、600个视觉定位问题有一排除了任何公开可用的数据集采用三种方法构建问题标签驱动、模型驱动、人机协同图1左CHOICE的层次能力分类法重点聚焦于感知与推理能力分为6个二级维度和23个三级任务。 右主流VLMs在6个二级能力维度上的评估结果。每个圆圈由三条灰色线分割按面积从大到小依次对应通用领域开源VLMs、RSVLMs和专有VLMs。4.2 层次能力分类法4.2.1 感知遥感的三个感知层级图像级理解粗略、全面的解读场景分类SC、地图识别MR、图像描述IC、图像质量IQ、图像模态IM单实例识别精确识别和定位地表识别LR、对象存在OP、对象定位OL、对象计数OC、属性识别AR、视觉定位VG、幻觉检测HD跨实例辨别多个对象之间进行比较或变化的分析属性比较AC、空间关系SR、变化检测CD、指称表达分割RES4.2.2 推理标签:B图2来自6个L-2能力的CHOICE示例。4.3 构建CHOICE多源遥感数据采集 → 全球范围数据覆盖 → 三种问题构建方式 → 形成不同类型的视觉理解问题 → 人工质量控制 → 得到最终 CHOICE Benchmark → 用于 VLM 能力评测5.实验验证5.1 主要结果表2L-2维度的评估结果。ILC表示图像级理解SII表示单实例识别CID表示跨实例辨别AttR表示属性推理AssR表示评估推理CSR表示常识推理。最佳次佳结果以粗体下划线标出。表3推理的细粒度评估结果。TP 表示时间属性PP 表示物理属性EA 表示环境评估RA 表示资源评估DD 表示灾害判别GD 表示地理空间确定SI 表示情境推断。最佳次佳结果用粗体下划线表示。大多数通用VLMs的准确率低于70%而大多数RSVLMs的准确率低于50%更复杂的遥感场景和局部目标的感知能力弱。5.2 细粒度分析表4感知任务的细粒度评估结果。采用的缩写IM 表示图像模态IQ 表示图像质量MR 表示地图识别SC 表示场景分类IC 表示图像描述LR 表示地标识别OC 表示物体计数OL 表示物体定位OP 表示物体存在AR 表示属性识别VG 表示视觉接地HD 表示幻觉检测AC 表示属性比较SR 表示空间关系CD 表示变化检测。专有视觉语言模型在遥感任务中无明显优势5.3 结论VLM在细粒度感知方面存在困难推理能力是VLM的瓶颈通用领域VLM更倾向于避免模型幻觉6.个人声明本文为作者对原论文的学习笔记与心得分享受个人学识与理解所限文中对论文内容的解读或有不够周全之处一切以原论文正式表述为准。本文仅用于学术交流与传播内容均由作者独立整理完成不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议请及时与作者联系作者将在第一时间核实并妥善处理。
