GPT-6 Astra直接修改千问模型,数学成绩暴涨6倍!
AI现在不仅能写代码,竟然还能直接修改另一个AI的底层参数了。
11月2日,麻省理工学院MIT CSAIL的Rikiya Takehi团队公布了一项新研究,让GPT-6 Astra直接读取并修改神经网络权重,不需要传统的梯度训练。
他们拿阿里千问Qwen3.5-0.8B做实验,经过分析和有限次数的试算,只修改了13万多个参数,占整个模型的0.016%。
结果相当惊人,团队测试显示,MATH-500数学成绩从7.9%提升到48.1%,GSM8K从13.8%提升到67.1%,连指令遵循能力也提高了近3倍。
原来Astra发现,这个小模型经常陷入重复思考、迟迟答不出结果的循环,修改权重后,相当于把影响它正常发挥的问题给修好了。
更有意思的是,Hugging Face研究人员按照公开记录重建模型,复测数学成绩达到51%,不过这项技术仍处于早期阶段,如果以后真能靠AI直接修改权重来优化模型,传统模型微调的方式可能也要变了。
