安全标签的作用是什么？ MLLM情境安全基准
这篇论文试图解决情境安全基准测试（situational-safety benchmarks）中安全标签的构成不明问题，即：一个SAFE/UNSAFE标签究竟在测量什么，以及基于该标签的评分是否真正反映了模型对视觉场景的安全推理能力。
具体而言，论文指出当前多模态大语言模型（MLLM）的情境安全基准测试存在以下核心问题：
标签分数的信号来源混杂 现有基准测试通过将场景标记为SAFE或UNSAFE来评分模型，但这些分数混合了三种不可区分的信号：
场景本身（scene）：图像中实际存在的风险内容；
请求文本（request）：用户查询中携带的语义线索；
基准文件属性（benchmark artifacts）：图像文件自身的非视觉特征（如图像尺寸、元数据、数据来源等）。
非视觉捷径（shortcuts）导致分数虚高 论文发现，部分基准测试的标签可以通过与场景内容无关的捷径预测。例如，在MSSBench chat中，仅根据图像尺寸（最长边是否大于640像素）即可达到82.3%的准确率，匹配或超过6个商用模型；在MOSSBench中，数据划分本身即固定了标签。这意味着模型可能并未真正“理解”场景，而是利用了基准构建过程中引入的统计偏差。
排名与标记的脱节模型往往能正确比较两个场景的风险程度（即排名正确，unsafe场景得分更高），但在设定绝对阈值进行二元标记时却频繁出错。现有标签准确率无法区分这两种能力缺陷。
为回答“安全标签测量了什么”，论文提出两项核心工具：
Benchmark Card：七个可测量字段，用于量化标签中有多少比例可被场景盲读恢复、是否存在文件泄漏、请求文本单独携带多少信号等。
Spot-Stop分解：将“排名优于标记”的超出部分（R−A）分解为三个可加部分：
R−A=(A∗−A)阈值部分+(AUROC−A∗)重叠部分+(R−AUROC)对比内顺序部分
其中阈值部分可通过共享阈值修复，重叠部分反映分数分布的固有混杂，对比内顺序部分则揭示了仅在同一场景对比中成立的排序信号。

机器学习 大模型 深度学习 多模态人工智能 计算机视觉 文献 提供思路和创新点 科研学习