跳至主要内容
Rosecraft Studios

如果你请我来只是为了赞同你的聊天机器人,那就省下这笔钱

AI 可以帮你质疑顾问,但它的赞同仍然需要证据。好的技术建议,应该经得起双方的追问。

Corey Rosamond · 2026/10/10 · 约 6 分钟阅读

本文为英文原文的简体中文译文。资料和事件日期保留原文发表时的语境;代码示例保持原样。 Read in English

如果你请我来只是为了赞同你的聊天机器人,那就省下这笔钱

如果你请我来,只是为了让我赞同你的聊天机器人,那就把钱省下来吧。

在咨询工作中,我几乎每天都会遇到类似情况:创业者带着一份详细的实施方案来征求意见,随后又把我的异议输入那个已经帮他们论证过方案的 AI 对话。讨论渐渐变成了一场面试,考的是我会不会认可他们已经选好的答案。

我理解这种做法的吸引力。AI 能让陌生领域更容易入门,帮助你提出更好的问题、比较方案,也能帮你发现顾问在胡说。尽管用它做这些事。但如果你唯一能接受的结果就是赞同,那么你已经把一件有用的工具,变成了回避自己付费购买的建议的办法。

问题从你怎么提问开始

设想一下:你要求助手为某种方案辩护,解释它为什么高效,并帮忙回应反对意见。它可能把这项任务完成得很好,但方案本身仍然没有经过验证。

再设想一下:你把开发者的担忧概括后贴进对话,却漏掉了那个棘手的限制条件。也许系统必须离线运行,也许外部服务根本无法提供方案所依赖的数据。模型可以针对它收到的问题给出逻辑通顺的回答。你和它都感到满意,原来的工程问题却依然存在。

供应商的声誉无法补全缺失的上下文。除非你的代码库、合同、集成接口和运行条件确实经过检查,否则聊天窗口里的一条回答,就不能算是对这些内容的技术评审。它应该用证据赢得你的信任,我的建议也一样。

一味赞同是已知的失效方式,不是智力测验

研究者把过度迎合用户观点的行为称为谄媚,也就是 sycophancy。在2023 年发表的一项研究中,五款助手在多种任务里表现出了这种倾向。研究者还发现,人类偏好可能奖励与用户信念一致的回答,有时甚至会牺牲正确性。

这并不意味着每个现有模型都会无条件赞同,也不意味着只要发生分歧,人类就一定正确。在2026 年 4 月一项针对个人建议对话的分析中,模型提供方报告称,大多数受评估对话没有出现谄媚行为,但不同话题之间的发生率差异明显。进一步训练后也观察到了改善。上下文和模型的具体行为都很重要。

斯坦福大学于 2026 年 3 月公布的一项研究发现,在人际冲突问题上收到过度赞同的建议后,人们更确信自己是对的,也更喜欢这些回答。该研究关注的是私人困境,不是软件架构。我对咨询场景的担忧,是基于类似反馈循环和自身工作经历作出的判断,而不是经过测量得出的“AI 让创业者工程能力下降”的结论。

有一个善于表达的答案站在自己这边,感觉当然很好。真正有用的问题是:当那些让你偏爱的方案变得麻烦的条件出现时,这个答案还能不能成立?

有时,你的 AI 功能其实是一套规则

在我开发过的一款应用里,对话功能的需求不断增加:遇到某些问题,就必须返回指定的表述。这里省略可识别项目的信息,因为值得讨论的是设计问题,而不是客户是谁。

这个要求背后有合理的需求:产品负责人希望控制产品说些什么。经过批准的固定措辞可能确有必要。问题在于,给语言模型再加一条指令,不等于实现了一条可靠的规则,也不等于让模型对这个领域有了更好的理解。

提示词改变的是生成回答时使用的指令和上下文,本身并不会更新模型已经学到的参数。如果要求一句话必须原样出现,应用可以把这句话保存下来,在确认适用条件后直接返回。让模型重新生成一遍,则多出了一个需要检查的环节。

在这种设计里,AI 依然可以发挥价值。它可以帮助理解开放式问题、检索相关材料,或者处理确实需要灵活表达的对话。不过,如果由模型选择应该使用哪条固定回复,这个选择仍然存在不确定性,需要单独评估。措辞准确,并不代表选对了答案。

以一个假设的客服助手为例,它需要遵循固定的取消政策。询问如何取消,与询问是否已经取消,可能使用了大部分相同的词。不断叠加类似关键词匹配的指令,反而可能掩盖两者的差异。应该先定义预期行为,测试模糊情形,再决定何时追问、何时交给人工处理。

我愿意开发受控的回复系统,也愿意开发 AI 对话功能。但我们需要先确认哪些部分需要哪一种能力,因为这个决定会改变具体实现,也会改变我们判断产品是否合格的方法。

让分歧能够被验证

如果顾问仅仅因为你的方案由 AI 协助撰写,就直接否定它,你理应提出质疑。好想法不会因为来源不同就变坏。同样,一段漂亮的解释也不是跳过评审的理由。

把真实目标、限制条件和方案交给评审者。要求他们指出具体的失效情形,说明什么情况下会发生,并提出与问题规模相称的验证办法。如果我说某种做法不可靠,就应该能给出比“我经验丰富”更有用的解释。

用 AI 来改善这场讨论。完整提供异议及其上下文,让它分析两种方案各自依赖哪些假设、还缺少什么证据,以及什么结果会改变建议。也请它尽力找出我的建议中站不住脚的地方。开启新对话或许能减轻先前表述的影响,但不能保证独立性或正确性。

然后做真正相关的检查。可能是一个小原型、一次供应商文档核对、权限测试,或者一组预先约定正确行为的代表性问题。选用能够回答争议点的证据。第二个聊天机器人赞同第一个,并不能替代这些验证。

你有权选择取舍

有时客户理解某个限制,并为了预算或交付期限接受它。这是业务决策。我的职责是讲清后果、提供合理替代方案,并记录双方同意的取舍,而不是赢下每一场争论。

但如果你付费购买一个人的判断,却把每次分歧都视为能力不足,就浪费了你最需要的那部分服务。热情的赞同很便宜。在问题变得昂贵之前发现它,才是值得购买的服务。

这也是 Rosecraft 技术咨询的目的:审视方案、解释取舍,帮助你决定应该开发什么。带上 AI 生成的方案,带上你的问题,也留出空间,接受一个我们原本都没想到的答案。

准备好听你需要听的话,而不只是你想听的话了吗?到 rosecraft.studio 给我们留言。告诉我们你正在开发什么,以及希望我们认真质疑哪一个决定。

作者:Corey Rosamond,Rosecraft 创始人兼首席工程师

继续阅读

订阅工作室邮件

留下邮箱以接收工作室更新。订阅后请检查确认邮件;确认邮件目前使用英文。

了解隐私政策

下一步,从交流开始

把您的问题,变成清晰的下一步。

告诉我们您想开发或改进什么。我们会一起梳理范围、限制和合适的工程方案。

聊聊项目