谷歌近日更新了用于评估AI模型安卓编程辅助能力的Android Bench榜单,新增多款前沿模型的测试结果。榜单显示,谷歌自家的Gemini 4 Argon首秀表现平平,通过率明显落后于Claude与GPT系列模型。
此次更新还标注了各模型采用的推理等级,并把平均调用成本纳入基准指标,方便开发者结合自身需求选择模型。
榜单更新了什么
Android Bench 于今年年初推出,目的是让安卓开发者能按谷歌的这套测试标准快速对照,挑选最适合安卓代码开发辅助的 AI 模型。测试会考量安卓开发特有的使用场景以及安卓开发的最佳实践,谷歌在持续开展测试、纳入新模型排名的同时,也把平均调用成本纳入基准指标。
10 月 26 日的这次更新中,谷歌新增标注了每个模型所采用的推理等级,方便开发者了解各模型在测试中的运行配置,同时补充了多款模型的测试结果。新增的模型包括 OpenAI 的 GPT-6 Sol、GPT-6.1 Sol,Claude Sonnet 5、Claude Sonnet 5.5,以及谷歌自家的 Gemini 4 Argon。

排名与通过率
目前榜单第一名是 Claude Sonnet 5.5,通过率 40%,完成率 80.9%。10 月初加入榜单的 Claude Opus 5.5 位列第二。榜单前列仍由 Claude 与 GPT 系列占据,谷歌自家模型未能进入前四。
OpenAI 的 GPT-6.1 Sol 可能是此次最值得关注的新增模型,通过率 29.3%,完成率 82.8%。从数据看,它的通过率低于两款 Claude 模型,但完成率高于 Claude Sonnet 5.5。
榜单同时给出通过率与完成率两项指标,前者反映模型给出的结果能通过测试的比例,后者反映任务被完整处理的比例,两者结合可以看出模型在安卓编程辅助场景中的实际表现差异。
调用成本对比
成本是此次榜单强调的另一维度。排名第一的 Claude Sonnet 5.5 调用成本高达 1,574.90 美元,在榜单中处于较高水平;GPT-6.1 Sol 的调用成本仅 99.50 美元,是新增模型中最值得注意的低成本选项。
这意味着通过率与成本之间并不完全同步:Claude Sonnet 5.5 以 40% 的通过率领先,但代价是较高的平均调用费用;GPT-6.1 Sol 以不到百美元的成本取得 29.3% 的通过率,在性价比上形成对照。
谷歌把平均调用成本纳入基准指标,正是为了让开发者在关注模型能力的同时,也能把实际使用开销纳入考量,按项目预算和任务类型做取舍。
Gemini 4 Argon的表现
谷歌自家的 Gemini 4 Argon 首秀表现平平,排在第五位,明显落后于其他前沿模型,甚至不及 Claude Fable 5.1。其通过率仅有 21.3%,完成率 81.8%,平均调用成本 267.70 美元。
从数据看,Gemini 4 Argon 的完成率与前列模型差距不大,但通过率明显偏低,说明其在安卓编程辅助任务中给出可用结果的比例仍有差距。
在谷歌官宣 Gemini 4 Argon 之后不久,就有内部消息称该模型“难以处理部分编程任务”,不过谷歌依旧认可其能力。此次榜单结果与这一说法形成呼应,但谷歌方面并未因榜单排名调整对该模型的评价。
开发者如何选择
对安卓开发者而言,这份榜单提供了按需取舍的依据:如果更看重任务通过率,Claude Sonnet 5.5 目前领先;如果更在意调用开销,GPT-6.1 Sol 以较低成本提供了可用的通过率水平。
榜单新增的推理等级标注,也让开发者能了解各模型测试时的配置差异,避免仅凭单一数字做判断。谷歌表示,将持续开展测试并纳入新模型排名,榜单结果会随模型更新而变化。
要点
- Claude Sonnet 5.5以40%通过率、80.9%完成率排名第一
- GPT-6.1 Sol通过率29.3%,完成率82.8%,调用成本99.50美元
- Gemini 4 Argon通过率21.3%,完成率81.8%,排名第五
- Gemini 4 Argon平均调用成本267.70美元
- Android Bench于今年年初推出,考量安卓开发特有场景

正在读取登录状态…
暂无讨论,说说你的看法吧