众力资讯网

上午,CNCC2026 主论坛安排了 5 场特邀报告,其中最让我有感触的,是 J

上午,CNCC2026 主论坛安排了 5 场特邀报告,其中最让我有感触的,是 Josef Kittler 的报告。

这位英国萨里大学杰出教授、IEEE/IAPR 会士,研究的切入点颇为特别:给基础模型输入最简单的视觉刺激——纯色块、简单形状,再观察模型内部的表征如何响应。这套方法借鉴了神经科学的经典思路:向猴子呈现简单刺激,记录不同脑区的激活,再比较它们对刺激的反应。这种方法叫作表征相似性分析。

这揭示了一个出人意料的问题:深度模型的表征存在严重的各向异性。在 ImageNet 预训练模型中,这一现象的程度甚至高达约 98%。

「各向异性」这个词,对数学出身的人来说,或许有种特别的亲切感。它描述的是向量在空间中的分布状态:理想情况下,向量应当在高维空间中充分展开;但如果它们大多挤在一个狭窄的方向锥里,空间的绝大部分方向便几乎没有有效的表征。模型看似拥有一个辽阔的高维空间,真正被充分利用的,却可能只是其中一束狭窄的方向。

更值得注意的是,会上披露,这种偏差并不只是背景信息造成的。均值偏移、特征之间的相关性等统计因素,也会共同塑造表征的几何结构。这意味着,问题并非简单地混入了一些局部噪声,而是已经深入表征空间本身的结构之中。

而报告给出的解法,简单得近乎优雅:后处理归一化(post-hoc normalization)。先去除全局均值,再对表征进行去相关,不修改模型权重,也不需要重新微调,线性探针的分类性能便可达到约 93.5%,接近微调后的水平。这一方法在 CT 痛风分类等真实数据任务上,也展现出了相似的效果。

我一直觉得,比喻总有其边界。「黑箱」就是这样一个词。它形象地描述了我们对复杂模型的无知,却也可能让我们心安理得地停下追问:既然是黑箱,那就只能接受它不可解释。

但这场报告让我看到另一种可能:把笼统的「黑箱」拆解成可以测量、可以计算的几何问题。所谓各向异性,并非某种不可言说的神秘属性,而是一种能够被刻画、分析,甚至通过简单操作加以改善的空间结构。我们需要做的,也许不是一味地打开黑箱,而是找到合适的坐标系,重新审视其中的几何。

向量空间的几何里,藏着大模型的黑箱。CNCC2026AI时代的技术想象计算未来