高露洁研究:让大模型扮演消费者可预测购买意愿

  • AI
  • 1
Mores的头像Mores
高露洁研究:让大模型扮演消费者可预测购买意愿

高露洁棕榄与PyMC Labs联合发布的一项研究显示,只要改变提问方式,让大语言模型扮演消费者,AI预测真实购买意愿的可靠度即可达到人类重测信度的90%。该论文已发布在预印本平台arXiv上,并在海外科技与商业圈引发讨论。

研究团队同时表示,合成消费者并非人类调研的全面替代品,该方法生成的类人数据分布可能暗藏统计噪音,在大众日化之外的高风险决策中仍有待检验。

直接打分为何失效

快消品投产前,企业通常借助代表性消费者样本测试产品概念,核心指标是以5点李克特量表衡量的购买意愿,1分为“绝对不买”,5分为“绝对会买”。这一流程延续数十年,成本高昂,且受访者常出现敷衍作答、顺从偏差和积极性偏差,使需求信号充满噪音。

学界与业界早有引入AI充当“合成消费者”的尝试,但直接让模型打1至5分往往收效甚微。论文测试OpenAI的GPT-4o与谷歌Gemini-2.0-flash后发现,直接打分时模型习惯躲进居中的“安全分”3分,极少给出1分或5分,而真实人类答案大多集中在4分和5分。

结果是,两款模型的响应分布相似度分别低至0.26和0.39。若通过修改提示词强行把模型推向高分区,模型又会出现“过度校正”,导致产品概念的相对排名信号失真。研究团队认为,问题不在大语言模型本身,而在直接索要数字的提问方式。

语义相似度评分方法

为此,论文提出语义相似度评分(SSR):先向模型输入特定人口统计学特征和产品概念图,让其自由写下购买想法;再用OpenAI的文本嵌入模型提取文本向量,计算其与5句预设锚定陈述的余弦相似度,并在6组参考陈述集上取均值,最终转化为5点量表的概率分布。

这套零样本框架无需历史调研数据训练或微调,具备即插即用的低成本优势,其Python代码已在GitHub开源。

论文作者据此勾勒出新的研发路径:企业无需为每个早期创意买单,而是先用合成消费者低成本海选,将昂贵的人类样本留给最具潜力的候选方案。这既能加速迭代,也让中小品牌有机会触及以往无力承担的消费者洞察。

9300份样本实测结果

研究团队调取了某领先个护企业在美国市场完成的57项真实概念调研作为基准,每项调研包含150至400名独立受访者,总样本量达9300人。在完整画像与图文概念刺激下,SSR将GPT-4o和Gemini-2.0-flash在产品相对排名上的相关性达成率分别推升至90.2%和90.6%,以模拟2000次人类随机分组重测的相关性上限为参照。

两款模型的分布相似度同步跃升至0.88和0.80,大幅甩开直接打分法,也高于先写文本再交由AI“评分专家”转译的追问打分法,后者两款模型分别为0.72和0.59。面对“产品概念与你的相关性如何”这一新问题,Gemini-2.0-flash的相关性达成率达82%,分布相似度达0.81;若将图文概念简化为纯文本,模型表现仅轻微下滑。

更关键的对照来自传统机器学习。研究人员随机抽取28项调研作为训练集、29项作为测试集,用5项人口特征和3项产品属性重复训练了300个梯度提升决策树模型。即便掌握样本内数据,该模型的相关性达成率也仅为64.6%,分布相似度为0.80;同等划分下,零样本GPT-4o配合SSR分别拿到88.3%和0.88。

细分维度上,合成消费者较好还原了真实消费规律。真实调研中购买意愿随年龄呈倒U型分布,中年高于年轻与老年,GPT-4o准确复现了这一走势;面对预算紧张的收入设定、不同品类与价格档位,AI的偏好排序也与人类高度贴合。附带的自由文本还带来意外红利:真实受访者的开放式留言往往止步于“挺好的”,AI却能给出详尽且少有积极性偏差的批评,其预测均值跨度更广,为早期筛选提供了更具区分度的信号。

人设与语料的限制

实验划出一条红线:“人设”不可或缺。一旦从Gemini-2.0-flash的提示词中剔除所有人口统计学特征,合成样本虽能产出与真实数据一致的平均分和高达0.91的分布相似度,但在最佳参考集下,产品排名的相关性达成率从92%断崖式跌至50%。缺少画像约束的AI只会一味给好评,失去筛选产品的核心功能。

研究团队并未回避方法的硬伤。实验中采用的6组锚定陈述系针对这57项调研手动优化,跨调研的普适性仍待观察;AI虽能较好模拟年龄与收入差异,在性别、居住地区和族裔维度上却表现不稳。

更根本的制约来自训练语料。SSR在口腔与个护领域奏效,很大程度上源于网络论坛和消费者评论中沉淀了海量相关讨论;一旦进入语料稀缺的陌生品类,大模型仍会产生幻觉。真实世界里的预算硬约束、文化语境与营销曝光,同样难以被合成样本完整捕捉。

业界的不同看法

全球企业每年在消费者调研上投入数十亿美元,有市场观点据此认为,传统调研的商业模式正面临冲击——企业不必耗时数周招募受访者,即可在极短时间内完成上千次定向访谈模拟与定价A/B测试。但论文作者与一线观察者给出了更为审慎的判断。

社交平台X上的争论折射出业界分歧。用户James He将语义相似度诱导称作“一个有趣的小技巧”,指出其制造类人分布的方式本质上只是噪音,且丢失了项目间的所有协方差,用来决定牙膏方案或许足够,但未必适用于最关键的决策。用户James Sutton则认为这正是“随机鹦鹉”的典型写照:大模型输出的只是互联网平均值的均值,角色扮演本质上是基于条件逻辑的简化世界构建,虽非真实思考,却依然管用。

也有观察者看到这项成功的潜力。用户MartianCats评论称,商业广告无处不在地运用“选择架构”引导消费,如今大模型开始直接对人类行为建模,尚不清楚行为经济学家如何看待大模型,但它们或许会像近期改变数学领域一样,颠覆经济学。

要点

  • 研究由高露洁棕榄与PyMC Labs联合完成
  • 直接让模型打1至5分时,模型倾向给出居中的3分
  • SSR方法下两款模型排名相关性达成率约90%
  • 实测基准为57项真实调研、9300名受访者
  • 剔除人口统计特征后排名相关性跌至50%

原文链接

AI
分享

更多快讯

全部快讯
  1. OpenAI 发布 MedChemBench 基准,测试 AI 药物化学推理能力
  2. DeepSeek 完成千亿级融资,腾讯与宁德时代入股
  3. OpenAI GPT-6.2 Astra 与 Sol 登设计榜第一和第三
  4. Gurman:苹果跟不上 AI 公司节奏,需全公司大调整
  5. Kimi K3 测试中绕过沙盒从 GitHub 获取答案,中美机构评测其网络攻击能力低于美国头部模型

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧