三款 Flash 模型办公实测:12万行数据任务全部出错

  • AI
  • 0
Mores的头像Mores
三款 Flash 模型办公实测:12万行数据任务全部出错

10月15日,蚂蚁百灵正式开源Ling-3.1-flash,官方称其为面向真实世界任务的模型升级。光子星球随后将它与DeepSeek-4.1-flash、GLM-5.3-Flash放在同一Agent中,用一份12万行数据的表格完成数据体检、分析报告、配图与PPT制作,对比三款Flash模型在办公场景下的实际表现。

测试显示,三款模型在数据清洗阶段均找出了预设的10个漏洞,但在生成配图环节全部输出错误;PPT成品方面,Ling-3.1-flash排版较出彩,DeepSeek-4.1-flash图表为主并附有图注,GLM-5.3-Flash部分页面出现文字溢出。

三款模型同台实测

此次测试选取的三款模型分别是蚂蚁百灵Ling-3.1-flash、DeepSeek-4.1-flash与智谱GLM-5.3-Flash。测试参考GDPVal-AA的标准设计案例,先由GPT生成一份12万行数据的表格文件,再分别发给三个模型,在同一对话窗口中依次完成数据体检、口径确认、分析报告产出、配图和PPT制作。

为控制变量,测试将Ling-3.1-flash接入WorkBuddy,让三款模型在同一个Agent中完成全部环节。12万行数据无法塞进任何模型的上下文,模型必须自行编写代码读表、抽样、分组和迭代,这检验的是模型能否自己找到分析数据的方法;多轮对话集中在同一窗口,也同时检验上下文记忆能力,看最后制作PPT时数据是否出现偏差。

从规格看,三款模型均属Flash档位。Ling-3.1-flash总参数约560B,每个Token激活约25B参数,上下文窗口上限为1M;DeepSeek-4.1-flash总参数552B;GLM-5.3-Flash总参数320B,为三者中最低。

各家路线各有侧重

三家厂商不约而同强调模型在办公场景下的性能,但侧重点不同。办公任务链路长、上下文长、单次产出价值不算高,超长上下文会推高Token消耗,多数用户因此选择Flash模型控制成本。

Ling-3.1-flash主打全流程统一链路。官方从办公任务往往始于一句不够清楚的需求切入,强调模型面对跨网页、文档、表格和代码环境的任务时,可将需求梳理、任务拆解、信息整合、工具调用和结果检查连接在同一条工作链路中,并能制作表格和PPT、生成并测试代码。蚂蚁还将其接入内部运行的桌面协同Agent客户端小虎,让模型走出聊天框。

DeepSeek-4.1-flash选择非对称模型结构降低成本,输入激活参数只有8B,输出激活16B。办公场景多为输入长、输出短的总结分析类任务,这一低一高的策略意在压低输入端成本、维持输出质量,同时通过削减KV Cache缓存大小降低Agent类任务的使用成本。

GLM-5.3-Flash是GLM-5系列首个原生多模态模型,依靠新增的视觉理解能力检查并优化自身输出,可将结果与视觉上下文及预期结果对比,实现自我验证和优化,也能进行质量评估与审美判断。它采用线性注意力与稀疏注意力相结合的混合架构,降低使用成本。

12万行数据实测结果

在初始数据清洗阶段,三款模型均找出了事先设计的10个漏洞,并都对漏洞进行了分类。区别在于,数据清洗结束后只有DeepSeek-4.1-flash主动生成了数据体检报告;即便提示词中未提及生成报告,它大部分时候也会主动生成,便于任务留档。整个数据处理阶段,三款模型未表现出明显差异。

分化出现在生成配图环节。选取差异度最大的一组图对比,三款模型输出全部错误。经GPT分析错因,Ling-3.1-flash和GLM-5.3-Flash犯了同一个错误,均为数据清洗不完整;DeepSeek-4.1-flash则把有单位问题的数据加入了计算,再加上计算方式错误,结果与真值不符。

PPT成品方面各有优劣。Ling-3.1-flash的排版审美较为出彩;DeepSeek-4.1-flash整体没有太大问题,图表居多,没有大段文字,且每页都加了图注;GLM-5.3-Flash部分页面出现文字溢出,即便有视觉能力加持,仍在细节处犯错。

测试由此提示,数据分析类任务若要用不同模型交叉验证结果,尽量不要用同级别模型,验证阶段仍需旗舰模型,只有在结果正确的前提下才谈得上控制消耗成本。

定价与速度对比

Ling-3.1-flash于10月14日公布API价格,整体价格处于DeepSeek-4.1-flash和GLM-5.3-Flash之间,打折后约为GLM-5.3-Flash的一半,在复杂链路任务下具备一定性价比。但办公场景更应关注缓存读取价格,这才是决定使用成本的关键。

缓存读取价格方面,DeepSeek-4.1-flash具有绝对优势,Ling-3.1-flash即便在2.5折价格下也是DeepSeek-4.1-flash的6倍多。这是DeepSeek通过优化模型结构和减少缓存大小降低成本最直接的体现,同时降低了厂商部署和用户使用成本。

速度上,DeepSeek-4.1-flash和GLM-5.3-Flash相差不大,Ling-3.1-flash因强化学习带来任务效果提升,思维链长度和交互轮数增加,耗时更长。蚂蚁方面没有回避这一问题,称后续优化将继续关注智效比。

测试还注意到,DeepSeek-4.1-flash和GLM-5.3-Flash都通过压缩KV缓存优化模型,省下显存和带宽,同一张卡可同时跑更多请求,吞吐提升后单Token成本下降;Ling-3.1-flash未提及这一优化点。

Flash定位的变化

Flash这一后缀过去常带贬义,被视为旗舰的缩水版,通常是预算不够时的将就。随着模型能力提升,这一观念正在改变,Flash模型已能承担越来越多的日常任务,办公场景也成为各家Flash模型重点争夺的战场。

在GDPVal-AA V2.1评测中,Ling-3.1-flash以1673分排在第2,超过GLM-5.3-flash的1641分和DeepSeek-4.1-flash的1600分,仅次于Opus-5的1708分。不过评测分数并不能完全代表能力高低,此次实测也显示,在需要大量逻辑推理的场景中,Flash模型依旧不能胜任,仍需旗舰模型救场,再由Flash将确定后的文档转换成可视化形式。

在旗舰模型价格逐渐走高的背景下,Flash模型的高性价比正被更多人看到并应用于日常工作流。测试认为,这或许预示着AI普及的下半场,技术价值不再只由峰值能力定义,而更在于能否以可负担的成本进入真实的日常。

要点

  • Ling-3.1-flash总参数约560B,每Token激活约25B
  • Ling-3.1-flash在GDPVal-AA V2.1评测中以1673分排第2
  • DeepSeek-4.1-flash输入激活8B、输出激活16B
  • GLM-5.3-Flash总参数320B,为三款中最低
  • 三款模型在配图环节均输出错误结果

原文链接

AI
分享

更多快讯

全部快讯
  1. 月之暗面发布 Kimi K3.1 Pro:2.8万亿参数,多项测试超越 GPT-6 Astra
  2. Anthropic 将默认开启 Claude 自动模式,OpenAI 内部报告披露监控漏洞
  3. 智能体 AI 基金会新增四个开源项目,OpenAI、Anthropic 等参与
  4. OpenAI 实施前沿模型训练新规:禁止模型访问真实互联网
  5. DeepSeek 与 MiniMax 完成 AI 模型出海登记

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧