"上午看了 CNCC 2026 主论坛直播。这是大会的第 23 届,也是第一次在成都举办。开幕式主持人唐卫清提到,截至上午 8 点,注册人数已经达到 11,448 人。
上午共有 5 场特邀报告,最吸引我的是第一场。报告人是萨里大学杰出教授 Josef Kittler,题目是《Representation Similarity Analysis of Foundation Models in Deep Learning》。
他借鉴了神经科学的研究思路:给模型看最简单的东西,比如一块纯色、一个简单的形状,再观察模型内部的表示会发生什么。
下面是我的一些摘录。
模型的表示向量存在严重的各向异性问题,在 ImageNet 预训练模型中,这一问题的程度高达约 98%。用外行人的话说,就是大量向量挤在少数几个方向上,表示空间的其他部分几乎被闲置了。这种偏差不只与背景信息等因素有关,也涉及均值偏移等统计特征。
更有意思的是,修复它并不一定需要重新训练模型。只需在训练后做一次归一化处理,去除全局均值,再进行去相关,线性探针的性能就能达到约 93.5%,接近微调的效果。在 CT 痛风分类这样的真实应用场景中,这种方法同样有效。
希望大家都能永远保有一种勇气:不怕丢面子,敢于当众说蠢话。有时,理解一个复杂的模型,不一定非要从复杂的实验入手。给它看一块纯色,就可能发现它内部的表示空间里,藏着一片我们尚未理解的宇宙。
Kittler 的报告让我再次想到,面对 AI 的黑箱,与其靠猜测,不如像研究大脑那样,设计实验,一点点探明其中的机制。
上午压轴的大会论坛是《智能体的安全挑战》,讨论的是另一个方向的问题。明天上午还有唐杰的报告《从“对话”到“干活”》,我会继续看。"CNCC2026AI时代的技术想象计算未来


