> 今天 Hacker News 上最值得看的三条,串起来正好是一条完整的链路:先有人不信「模型发布后会悄悄变笨」只是错觉,干脆造了台仪器天天给它量体温;最后连假邮票都做成了电商,五百万张、一点二亿美元,用的还是最朴素的固定价策略。
一个专门盯着模型「发布后变笨」的基准来源:github.com/ninjahawk/livenerf
「今天这模型是不是又变笨了?」——这个问题在社区里吵了很久,但每次吵到最后都变成体感对体感,因为没有人在模型发布当天留过一份干净的基线。
Claude Opus 5.5 在 2026-09-22 上线,于是 livenerf 决定从发布日当天开始计时。它要回答的问题只有一个:模型发布之后,会不会变差?「变差」的机制可以是量化、可以是同名换小模型、可以是降低推理强度、也可以是路由变化——作者刻意不预设任何机制,因为它要测的是变化本身,不管往哪个方向。
技术上的取舍很工程师:
模型本身没法确定——采样参数没了、思考也关不掉。那就把其他一切都固定住:冻结的 prompt、钉死的 CLI 版本、精确判分的评分器、永不删除的原始日志,然后在几千个样本上做统计意义上的漂移检测。面板不是随便凑的。2,336 道 GPQA Diamond / MMLU-Pro / 竞赛数学 / AIME 2025–26 题目先用 4 个样本各筛一遍:Opus 5.5 首答正确率约 93%,其中 97% 的题要么永远做对、要么永远做错——这些题都是废的,因为一道永远做对的题根本没法体现退步。最后只有 78 道「有时对有时错」的题进了面板。连选择偏差都量了。靠「有时对」挑出来的题,看着像 50/50,其实不是;用全新样本重测,通过率从 54.7% 涨到了 62.0%,于是功效计算改用新样本的比率。统计方法是配对比较:同一批题每周重复跑,跟自己的基线比,题目难度直接约掉。聚类标准误,来自 Anthropic 自己的《Adding Error Bars to Evals》。永远不用 LLM 当裁判——裁判自己也会漂。还专门设了一个对照组(`claude-opus-5`)天天跑同样的题。如果两个模型一起动,那说明是测试台或者平台变了,不是 Opus 5.5 变了。最有说服力的是验证环节:在正式基线之前,先用一个已知的降级去证明「这台仪器真的看得见」。结果是——低推理强度会砍掉 62% 的输出 token,只掉 8.3 个点准确率;中强度砍 26% token、掉 4.2 个点。也就是说,模型偷偷少想一点,最早会体现在 token 数上,甚至早于准确率松动。
但作者也很诚实地写了仪器的天花板:把 Opus 5 换进来冒充 5.5,在 99% 置信下测不出来(−3.8 ± 6.3 个点)。换句话说,同家族、幅度不大的偷换,这套面板在现有样本量下是瞎的。另外那 78 道题的自查里还翻出 8 个疑似错答案、30 道有歧义——但一个都没删,而是保留全部并额外跑一个预先登记的敏感性分析。
还有两个细节挺打动人的。一是作者提醒:发布周很可能反而是最差的一周——新的服务栈、容量吃紧、发布期的 bug,2025 年那几次「质量事故」最后查出来都是基础设施问题,不是蓄意降级。所以基线只是参照点,不是真理。二是这个仓库里很大一部分代码就是被测量的那个模型写的——正因如此,评分器被写成纯函数、阈值被预先登记、原始数据公开。用作者的话说:你不应该需要信任作者,无论他是人还是别的什么。
五块钱一张的假邮票,卖了五百多万张来源:postalemployeenetwork.com/news/2026/09/26/u-s-postal-inspectors-shut-down-website-selling-millions-of-counterfeit-postage-labels/
前面还在讨论「智能怎么定价」,这条讲的是贴纸怎么定价。
美国邮政稽查局(Postal Inspection Service)联合多家联邦机构,查封了一个网站域名,并起诉了一名巴基斯坦籍男子 Faheem Akram(33 岁,来自 Khanewal)。他运营的 LabelsBank.com 干的事非常朴素:卖假的 USPS 邮资标签,统一定价每张 2 美元——不看重量、不看体积、不看目的地。
这个「不管多重都 2 块」的定价策略,正是整个骗局的核心。真实邮资随重量和距离跳涨,而假标签把这一切拍平成了一口价,于是客户能以一个荒唐的折扣寄包裹,而美国邮政照常提供服务、却收不到钱。迈阿密分局查下来,有 5,000 多名客户在这个站上买了超过 510 万张假标签,造成的损失超过 1.26 亿美元。
指控清单包括:一项合谋欺诈美国政府并制造、销售假邮票的罪名,五项制造和销售假邮资标签的罪名,以及四项电汇欺诈。按惯例必须说清楚——这些只是指控,在被证明有罪之前被告均推定为无罪。
官方放话也很有气势。迈阿密分局主管稽查员 Bladismir Rojo 说:「我们的触角伸到国境之外。如果你在欺诈邮政、用假邮资针对美国消费者,我们会找到你,并把你绳之以法。」佛州南区联邦检察官 Jason A. Reding Quiñones 则把作案手法总结成一句:「这个套路既简单又庞大——固定低价卖假邮资,低到每张 2 美元,不看重量、体积和目的地,让客户绕开正常的邮政费用。」
编者按livenerf 在给模型定一个「能力值多少钱、有没有偷偷缩水」的价;而 LabelsBank 的故事则提醒我们,任何把复杂成本拍平成一口价的生意,多半是有人在替那笔差价买单——只不过这次买单的是美国邮政,付了 1.26 亿美元。
技术圈这一天的热闹,说到底还是那句老话:便宜不是没有代价,只是代价换了个地方发生。