AI評測機構更換題目免大模型「做熟」兩個國產模型得分暴跌

更新時間：16:31 2026-11-02 HKT
發佈時間：16:31 2026-11-02 HKT

AI公司發布新模型時，總會附上一大堆跑分，聲稱在多項測試中「全球第一」，但測試題目公開得愈久，模型便愈有機會「做熟」題目，分數未必反映真實能力。獨立評測機構Artificial Analysis最近更新其知識測試AA-Omniscience，刪走舊題後，多個大模型的分數隨即下跌。

所謂「跑分」，即以一套標準題目測試AI模型，比較它們在數學、編程、知識問答等方面的表現，就如學生應考公開試。由於各家公司都以同一套題目比拼，跑分成為外界比較不同模型最方便的方法，亦是AI公司宣傳新模型的重要賣點。

大模型「見過試題」令分數虛高

問題是，跑分一旦成為業界標準，便可能淪為應試目標。大模型的訓練數據來自互聯網，當測試題目及答案在網上流傳，便有機會混入訓練數據，模型等於「見過試題」，分數自然偏高。即使沒有直接見過題目，AI公司亦可能針對熱門測試加強訓練，令模型擅長考試，卻未必擅長處理真實工作。

刪走已公開及普遍答對題目

為減少模型「做熟」題目的影響，Artificial Analysis推出AA-Omniscience v1.1，把題目由6,000條減至3,000條，刪走已公開及已被模型普遍答對的題目，並修正錯誤及含糊的題目，同時加入新題。題目涵蓋科學工程及數學、軟件工程、金融、健康、人文社科及法律6大範疇。

MiniMax及小米得分大跌

這個測試的特點是「答錯要扣分」：答對加分，答錯扣分，承認不知道則不加不減，藉此量度AI會否「不懂裝懂」，即業界所說的「幻覺」。結果顯示，換題後各模型的排名大致不變，但淨分平均下跌1.9分，部分模型更大幅下滑。國產模型MiniMax M3.1 Flash由16分跌至負6分，急跌22分；小米的MiMo V2.6 Pro亦由8分跌至負5分。