姚期智、杨植麟联合署名论文：九个大模型参加理论计算机科学“统一考试”

图灵奖得主、中国科学院院士、清华大学交叉信息研究院院长姚期智团队，联合月之暗面（Kimi）创始人杨植麟等发表署名论文《TCSEXAM：在TCS研究的全范围内评估前沿大型语言模型》，推出名为TCSExam的统一评测，称首次把理论计算机科学研究的完整链条纳入考核。

论文为世界范围内九个前沿大模型设置四类考题，均配机器验算。结果显示，前沿模型已能在研究级定理证明、构造优化和求解器工程上取得实质成果，但在真正解决开放猜想上仍明显不足。

四类考题与机器验算

TCSExam把理论计算机科学的研究流程拆成四类考题，每一类都配有机器验算环节，而不是由人主观打分。论文称，这是首次将这一学科的完整研究链条纳入统一评测，参与测试的是世界范围内九个前沿大模型。

第一类是定理证明：给模型一道研究级数学定理，要求它用Lean 4写出严格证明，由Lean内核逐行验算，只承认逻辑严密的表述。第二类是求解器工程：模型不针对单道题写死答案，而要写出可重复使用的通用解题程序，再用大量具体测试数据检验，例如在一堆图中寻找最大的团或最好的切割方案。

第三类是构造：模型需交出一个具体的数学对象，如图、编码或几何排布，并附上证明该对象满足要求的“证书”，机器检查对象与证书是否对得上。第四类是开放猜想：给模型几十年无人证明也无人推翻的难题，要求完整证明或完整反证，反证即举出反例并证明其确实推翻原猜想。

在最受关注的定理证明类，GPT-6 Astra在“裸考”条件下——只给主定理、不给中间引理——20道题中完整证明出14道，成功率达到70%。Kimi K3.1 Pro以38.3%位居第二，其余多个模型只有个位数甚至零成功率。

论文还测试了补充提示的效果。当为模型补充中间引理和证明思路后，成功率明显上升：Kimi K3解出的定理数从3道增加到7道，DeepSeek V4.1 Flash从0道增加到6道。论文据此认为，模型并非完全不会推理，而是需要更好的“脚手架”。

构造类考题中，模型的表现不只追平人类记录，还出现超越。Kimi K3造出一个124个顶点、630条边、既无三角形也无四边形的图，超过论文引用的629条边参考记录；它还造出一个量子纠错码，把最小距离从5提升到6。

GPT-6 Astra则证明了一个二进制编码的上界：长度22、最小距离10的编码最多只能有82个码字，改进了此前发表的84。论文同时提醒，这些“超纪录”仍需独立核验，且评分函数会放大或压缩数值差异，因此论文同时报告了原始数学参数。

开放猜想类的结果最为戏剧性。30个长期未解猜想中，只有6次提交被接受，且全部来自模型通过网络检索到OpenAI已公开发表的Ryser和MIRUP反例，再改写成考试要求的Lean证明。论文直言，这并非模型独立想出来的结果，而是查资料查到的，并建议未来在断网条件下评测当时仍然开放的猜想。

其余28个猜想没有任何完整解决。论文据此判断，前沿模型在真正解决开放猜想上仍明显不足，若要独立攻破世界级数学猜想，目前还有很长的路要走。

失败尝试并非毫无价值。GPT-6 Astra在攻Alon-Jaeger-Tarsi猜想时，独立证明了该猜想在一个有限数域上对所有不超过9维的情况成立，把此前不超过8维的已知范围推进了一步，并经过Lean独立验证。论文还报告了另外四个可独立验证的局部结果。

这一结论建立在九个模型的统一测试与机器验算之上，也为后续评测设计提出了断网、独立核验等改进方向。