AI评测机构更换题目免大模型「做熟」两个国产模型得分暴跌

更新时间：16:31 2026-11-02 HKT
发布时间：16:31 2026-11-02 HKT

AI公司发布新模型时，总会附上一大堆跑分，声称在多项测试中「全球第一」，但测试题目公开得愈久，模型便愈有机会「做熟」题目，分数未必反映真实能力。独立评测机构Artificial Analysis最近更新其知识测试AA-Omniscience，删走旧题后，多个大模型的分数随即下跌。

所谓「跑分」，即以一套标准题目测试AI模型，比较它们在数学、编程、知识问答等方面的表现，就如学生应考公开试。由于各家公司都以同一套题目比拼，跑分成为外界比较不同模型最方便的方法，亦是AI公司宣传新模型的重要卖点。

大模型「见过试题」令分数虚高

问题是，跑分一旦成为业界标准，便可能沦为应试目标。大模型的训练数据来自互联网，当测试题目及答案在网上流传，便有机会混入训练数据，模型等于「见过试题」，分数自然偏高。即使没有直接见过题目，AI公司亦可能针对热门测试加强训练，令模型擅长考试，却未必擅长处理真实工作。

删走已公开及普遍答对题目

为减少模型「做熟」题目的影响，Artificial Analysis推出AA-Omniscience v1.1，把题目由6,000条减至3,000条，删走已公开及已被模型普遍答对的题目，并修正错误及含糊的题目，同时加入新题。题目涵盖科学工程及数学、软件工程、金融、健康、人文社科及法律6大范畴。

MiniMax及小米得分大跌

这个测试的特点是「答错要扣分」：答对加分，答错扣分，承认不知道则不加不减，借此量度AI会否「不懂装懂」，即业界所说的「幻觉」。结果显示，换题后各模型的排名大致不变，但净分平均下跌1.9分，部分模型更大幅下滑。国产模型MiniMax M3.1 Flash由16分跌至负6分，急跌22分；小米的MiMo V2.6 Pro亦由8分跌至负5分。