2025年高考已结束,业界知名的人工智能相关网站“机器之心”用七款大模型做了高考数学I卷,结果第一名Gemini拿到145分,豆包和DeepSeek以1分之差并列第二。
机器之心挑战高考数学I卷的AI大模型选手分别是五款国产AI:Doubao-1.5-thinking-vision-pro、DeepSeek R1、Qwen3-235b、hunyuan-t1-latest、文心 X1 Turbo。同时加上了OpenAI的ChatGPT O3和谷歌的Gemini 2.5 pro。
在考题选择上,采用2025年高考数学新课标I卷,包含14道客观题,总计73分;5道解答题,总计77分。
客观题计分方法按照以往高考判分原则,解答题请数学专业人员进行评判,主要看大模型的最终答案以及解题步骤中是否有严重失误点。
从客观题来看,各家大模型几乎拉不开差距,最大分差也只有3分,第6题图像题使这几家多模态大模型“全军覆没”。
解答题是大模型失分重灾区。除了Gemini 2.5 Pro拿到全部分数,其他大模型或多或少均有失分。其中DeepSeek R1和Doubao只丢了1分;ChatGPT O3则失了2分。hunyuan-t1-latest和文心X1 Turbo分别拿到68分和66分。
最后Gemini 2.5 pro总分145排名第一,豆包和DeepSeek R1拿到144分,ChatGPT O3为140分,Qwen3-235b为139分,hunyuan-t1-latest为136分,文心 X1 Turbo虽是最后一名,仍得到134分,这个分数在考生中属于非常优秀的水平。
这次测评结果显示,大模型在数学推理能力上有不小的进步。此外,所有参测的AI大模型在第6题的图像识别上都出现了问题,暴露出当前AI在图文结合理解方面的短板。