众力资讯网

Benchmark,直译:基准测试。 放到AI大模型里,就是一套标准化考试题集,用来客观打分、横向对比模型能力。 简单说: 1. 出题:固定一套题目,包含数学、代码、逻辑推理、阅读理解、常识等; 2. 所有模型用同一套卷子作答; 3. 统计正确率,得到分数,用来比高低。 举你前面聊的例子: MATH、AIME ​

Benchmark,直译:基准测试。放到AI大模型里,就是一套标准化考试题集,用来客观打分、横向对比模型能力。

简单说:

1. 出题:固定一套题目,包含数学、代码、逻辑推理、阅读理解、常识等;

2. 所有模型用同一套卷子作答;

3. 统计正确率,得到分数,用来比高低。

举你前面聊的例子:MATH、AIME、GPQA、LiveCodeBench 都是常见的大模型Benchmark。DeepSeek在数学类benchmark分数高,就代表它在这类考题里正确率更高。

⚠️局限:它只是纸面标准化测试,不等于真实业务、真实用户场景里一定更好,会存在“刷榜”(专门针对考题优化)的情况。

对应你前面那几位创始人:杨植麟、梁文锋他们团队都会持续刷benchmark榜单,用来证明自家模型硬实力,也是一级市场投资、二级市场估值会参考的指标。