谷歌更新 Android Bench 榜单:Gemini 4 Argon 编程能力落后 Claude 与 GPT

  • AI
  • 0
Mores的头像Mores
谷歌更新 Android Bench 榜单:Gemini 4 Argon 编程能力落后 Claude 与 GPT

谷歌近日更新了用于评估AI模型安卓编程辅助能力的Android Bench榜单,新增多款前沿模型的测试结果。榜单显示,谷歌自家的Gemini 4 Argon首秀表现平平,通过率明显落后于Claude与GPT系列模型。

此次更新还标注了各模型采用的推理等级,并把平均调用成本纳入基准指标,方便开发者结合自身需求选择模型。

榜单更新了什么

Android Bench 于今年年初推出,目的是让安卓开发者能按谷歌的这套测试标准快速对照,挑选最适合安卓代码开发辅助的 AI 模型。测试会考量安卓开发特有的使用场景以及安卓开发的最佳实践,谷歌在持续开展测试、纳入新模型排名的同时,也把平均调用成本纳入基准指标。

10 月 26 日的这次更新中,谷歌新增标注了每个模型所采用的推理等级,方便开发者了解各模型在测试中的运行配置,同时补充了多款模型的测试结果。新增的模型包括 OpenAI 的 GPT-6 Sol、GPT-6.1 Sol,Claude Sonnet 5、Claude Sonnet 5.5,以及谷歌自家的 Gemini 4 Argon。

谷歌更新 Android Bench 榜单:Gemini 4 Argon 编程能力落后 Claude 与 GPT

排名与通过率

目前榜单第一名是 Claude Sonnet 5.5,通过率 40%,完成率 80.9%。10 月初加入榜单的 Claude Opus 5.5 位列第二。榜单前列仍由 Claude 与 GPT 系列占据,谷歌自家模型未能进入前四。

OpenAI 的 GPT-6.1 Sol 可能是此次最值得关注的新增模型,通过率 29.3%,完成率 82.8%。从数据看,它的通过率低于两款 Claude 模型,但完成率高于 Claude Sonnet 5.5。

榜单同时给出通过率与完成率两项指标,前者反映模型给出的结果能通过测试的比例,后者反映任务被完整处理的比例,两者结合可以看出模型在安卓编程辅助场景中的实际表现差异。

调用成本对比

成本是此次榜单强调的另一维度。排名第一的 Claude Sonnet 5.5 调用成本高达 1,574.90 美元,在榜单中处于较高水平;GPT-6.1 Sol 的调用成本仅 99.50 美元,是新增模型中最值得注意的低成本选项。

这意味着通过率与成本之间并不完全同步:Claude Sonnet 5.5 以 40% 的通过率领先,但代价是较高的平均调用费用;GPT-6.1 Sol 以不到百美元的成本取得 29.3% 的通过率,在性价比上形成对照。

谷歌把平均调用成本纳入基准指标,正是为了让开发者在关注模型能力的同时,也能把实际使用开销纳入考量,按项目预算和任务类型做取舍。

Gemini 4 Argon的表现

谷歌自家的 Gemini 4 Argon 首秀表现平平,排在第五位,明显落后于其他前沿模型,甚至不及 Claude Fable 5.1。其通过率仅有 21.3%,完成率 81.8%,平均调用成本 267.70 美元。

从数据看,Gemini 4 Argon 的完成率与前列模型差距不大,但通过率明显偏低,说明其在安卓编程辅助任务中给出可用结果的比例仍有差距。

在谷歌官宣 Gemini 4 Argon 之后不久,就有内部消息称该模型“难以处理部分编程任务”,不过谷歌依旧认可其能力。此次榜单结果与这一说法形成呼应,但谷歌方面并未因榜单排名调整对该模型的评价。

开发者如何选择

对安卓开发者而言,这份榜单提供了按需取舍的依据:如果更看重任务通过率,Claude Sonnet 5.5 目前领先;如果更在意调用开销,GPT-6.1 Sol 以较低成本提供了可用的通过率水平。

榜单新增的推理等级标注,也让开发者能了解各模型测试时的配置差异,避免仅凭单一数字做判断。谷歌表示,将持续开展测试并纳入新模型排名,榜单结果会随模型更新而变化。

要点

  • Claude Sonnet 5.5以40%通过率、80.9%完成率排名第一
  • GPT-6.1 Sol通过率29.3%,完成率82.8%,调用成本99.50美元
  • Gemini 4 Argon通过率21.3%,完成率81.8%,排名第五
  • Gemini 4 Argon平均调用成本267.70美元
  • Android Bench于今年年初推出,考量安卓开发特有场景

原文链接

AI
分享

更多快讯

全部快讯
  1. Anthropic 最早下月上市,IPO 被视为经济试金石
  2. 31岁癫痫患者去世后父母起诉 OpenAI,指控 GPT-4o 指导其减药并隐瞒医生
  3. 谷歌 DeepMind 发布 Genie 4世界模型,新增实时音频与场景编辑
  4. DeepSeek 新版模型单周调用量登顶全球,环比暴增801%
  5. 智谱 GLM-Omni 论文曝光:图像生成正确率54%,文字问答仅14.57%

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧