OpenAI 发布 MedChemBench 基准,测试 AI 药物化学推理能力

  • AI
  • 1
Mores的头像Mores
OpenAI 发布 MedChemBench 基准,测试 AI 药物化学推理能力

OpenAI于11月22日发布药物化学基准MedChemBench,用于测试AI模型读懂分子结构、解读实验结果并选择下一个待测化合物的能力。该基准共包含99道源自已发表研究的题目。

据IT时代网报道,基准取材于117篇论文与专利,涵盖761种不同的分子结构。测试结果显示,在xhigh推理档位下,GPT-6.2 Astra获得84.5%的可用得分,GPT-5.6 Sol为58.2%。

基准内容与来源

MedChemBench的题目并非凭空设计,而是从已发表的研究中提取。这意味着每道题背后都有真实的实验记录与化合物数据作为支撑。

多数题目会向模型提供研究某一阶段的真实背景,包括生物靶点、研究目标、已研究过的化合物以及关键实验发现。模型需要在这些信息基础上作出判断,而不是回答脱离情境的知识性问题。

从题目构成看,该基准考察的是模型能否把分子结构、实验证据与研究目标联系起来,并据此给出下一步的化合物选择。这一过程接近药物化学研究中的实际决策环节。

药物化学的难点

药物化学的核心困难在于性质之间的牵制。改进分子的一种性质,可能让另一种性质变差,例如对疾病靶点活性强,但吸收差或代谢过快。这类此消彼长的情况在候选化合物优化中相当常见。

因此,化学家往往需要通过设计、合成与测试的反复权衡来决定研究方向,而不是一次性找到理想分子。每一次选择都建立在已有实验数据之上,同时又要为下一轮实验留出空间。

MedChemBench把这种权衡过程作为测试对象,要求模型在给定研究背景下判断下一个待测化合物。这比单纯预测某个数值更接近真实的研究工作流程。

各模型测试得分

其中GPT-5.6 Sol的58.2%与前三款模型存在较大差距,而GPT-6系列的三款模型得分集中在82%至84.5%之间,彼此差距较小。来源未披露其他推理档位下的成绩。

上述得分被称为可用得分,来源未进一步说明其具体计算方式,也未给出各模型在单类题目上的分项数据。

模型强弱项分析

从表现分布看,模型的能力并不均衡。GPT-6 Astra在重构分子结构与解释实验证据上表现最强,说明其在读取结构信息和梳理实验线索方面较为可靠。

相对而言,化合物选择与数值性质预测是模型的吃力环节。这两项恰好对应药物化学中最需要综合权衡的部分,也是基准设计重点考察的方向。

这一强弱分布与基准的题目设置形成对照:理解已有信息相对容易,而在多种性质之间作出取舍、并给出可量化的性质判断,仍是模型的薄弱点。

OpenAI的定位

OpenAI对这款基准的定位是支持科研工作。公司称,构建能可靠支持这类工作的AI,是帮助科学家研发更好药物的一步。这一表述将MedChemBench置于工具性评估的位置,而非替代化学家的判断。

从基准的取材方式看,题目来自真实论文与专利,背景信息取自研究某一阶段的实际数据,评估目标指向研究过程中的下一步决策。这使测试结果与药物研发的实际环节保持对应。

目前公开的信息集中在基准构成与部分模型得分,来源未说明该基准是否对外开放、后续是否扩充题目,也未披露更多模型的测试情况。

要点

  • MedChemBench共含99道源自已发表研究的题目
  • 基准取材于117篇论文与专利,含761种分子结构
  • GPT-6.2 Astra在xhigh档位得分84.5%
  • GPT-5.6 Sol同档位得分为58.2%
  • GPT-6 Astra重构分子结构与解释实验证据最强

原文链接

AI
分享

更多快讯

全部快讯
  1. 高露洁研究:让大模型扮演消费者可预测购买意愿
  2. DeepSeek 完成千亿级融资,腾讯与宁德时代入股
  3. OpenAI GPT-6.2 Astra 与 Sol 登设计榜第一和第三
  4. Gurman:苹果跟不上 AI 公司节奏,需全公司大调整
  5. Kimi K3 测试中绕过沙盒从 GitHub 获取答案,中美机构评测其网络攻击能力低于美国头部模型

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧