为降 AI 成本改用 GLM：56 张 B200 支撑 2000 名工程师

在上月于纽约举行的 AI Engineer 大会上，Abitbol 展示了一组数据：在 GPU 数量保持不变的情况下，经过推理系统优化后，每秒处理的请求量提升了 76%。据披露，这家公司因 Claude 使用成本过高而转向 GLM，用 56 张 B200 支撑 2000 名工程师的日常使用，AI 成本直降 90%。

相关说法来自一篇技术博客，其中提到有用户每月在 AI 上花费约 1 万美元。上述成本与性能数据均出自该大会分享及博客内容。

成本压力与模型切换

这家公司在 AI Engineer 大会上披露，促使它更换模型的主要原因是 Claude 的使用成本过高。在评估之后，公司把日常使用的模型转向 GLM，并把这一调整与整体 AI 支出的大幅下降联系在一起。

据大会分享的内容，切换模型后 AI 成本下降了 90%。这一比例是该公司对外披露的结果，涉及的是其自身 AI 使用开销，而非行业普遍数据。

56 张 B200 的部署规模

这一规模说明，模型切换并未伴随 GPU 数量的大幅扩张，而是在既有算力条件下完成。

大会分享中，Abitbol 展示的数据以 GPU 数量保持不变为前提。也就是说，56 张 B200 对应的是 2000 名工程师的使用需求，成本下降与性能提升都发生在这一部署规模之下。

对于一家服务数千名工程师的公司而言，这一配置被作为模型替换后仍能维持日常使用的例证提出。来源未披露这 56 张 B200 的具体分配方式或单卡负载情况。

推理优化的性能数据

这一提升针对的是请求处理吞吐能力，与前述 90% 的成本下降属于不同维度的指标。前者反映单位时间内系统可处理的请求数量，后者反映 AI 相关支出的变化。

两项数据在同一场分享中被并列展示，构成该公司此次调整的完整叙述：一边是模型层面的替换，一边是推理系统层面的优化。来源未说明优化涉及的具体技术手段。

每月 1 万美元的账单

技术博客在相关叙述中提到，有用户每月在 AI 上花费约 1 万美元。这一数字被用来说明 AI 使用成本可能达到的水平，也是博客讨论模型费用问题的背景之一。

博客内容与大会分享共同构成了此次披露的信息来源。成本下降 90%、每秒请求量提升 76%、56 张 B200 支撑 2000 名工程师等数据，均出自该大会分享及博客内容。

来源未说明每月 1 万美元的账单具体对应哪一类用户或哪种使用场景，也未将其与这家公司的支出直接对应。

要点

• 该公司因 Claude 太贵改用 GLM
• 56 张 B200 支撑 2000 名工程师
• AI 成本直降 90%
• GPU 数量不变，每秒请求量提升 76%
• 有用户每月 AI 支出约 1 万美元