Corey Rosamond · 2026/10/20 · 约 6 分钟阅读
本文为英文原文的简体中文译文。资料和事件日期保留原文发表时的语境;代码示例保持原样。 Read in English

我付费请的是助手。怎么就变成了我要先证明自己是个负责任的成年人?
这就是我对“蟋蟀吉米尼式 AI”的不满。肩膀上的提醒者,可以指出你忽略的后果。可一旦给它搬来法官席,你就只能抬头看着它,纳闷到底是谁任命它来监督你的道德。
我需要有用的反对意见。如果我的方案会泄露客户记录,请指出具体环节。计算错了,就纠正它。我反感的是:客户以为自己有权讨论的问题,却被产品用服务商的判断直接画上句号。
这套“良心”,是供应商写的
Anthropic 的 Claude 宪法在总体优先顺序上,把安全、伦理及自身准则放在有用性之前。同时,它也明确反对家长式干预、不必要的说教和过度拒绝。准确介绍这份文件,就必须把两面都说清楚:它既没有承诺服从客户的一切要求,也没有要求模型训斥所有人。
当商业服务的边界,被包装成对我品格的评判时,我就有意见了。供应商可以为服务设定条件,我也可以认为这些条件不适合我的业务。这两种决定,都不需要假装一份软件订阅已经裁定了某个道德问题。
限制也不只针对违法行为。例如,2025 年 9 月版使用政策对露骨性内容的禁止范围,就不局限于违法材料。无论你如何看待这条界限,它都说明了一个采购问题:业务用途是否合法,与某家服务商是否允许,是两回事。
关于“对聊天机器人客气点,否则封号”
10 月 8 日,Anthropic 宣布禁止持续、无必要地虐待其模型,于 2026 年 11 月 12 日生效。公告称该规则针对极端情况,排除普通的不满、反驳、黑暗题材创作,以及测试或研究;主要执行方式仍是结束互动。在本文的 10 月 20 日发布日期,这条新规尚未生效。
新政策的一般执行条款确实允许针对涉嫌违规的行为进行警告、限制、暂停或终止访问。同时,条款也说明,仅仅遇到输出被拦截,并不意味着违反了政策。因此,“骂一句就封号”和“绝不可能暂停账户”都不是准确概括。
结束一段对话,是另一回事。Anthropic 在 2025 年 8 月的消费者聊天公告中,介绍了一项针对持续有害或虐待性互动的最后手段。公告说,其他对话不受影响,用户可以立即新建聊天。这项功能主要与其探索潜在模型福利的工作有关。
模型福利研究确实存在。公司宣布了一项研究计划,探索 AI 可能拥有的体验与福利,同时承认其中存在很大的不确定性。研究一种可能性,并不等于已经证明 Claude 具有意识,也不等于证明一句不满的话会伤害它。
作为客户,我对这个方向的分歧在于:对模型可能拥有某种体验的不确定性,不能代替清楚说明它会为付费用户做什么、不会做什么。我希望在依赖它之前就看清边界,而不是工作做到一半,才通过一堂“你应该成为什么样的人”的课来发现它。
有些控制,明确不由你掌握
Claude Code 的 EndConversation 文档提供了一个具体例子。在提供该工具的场景中,它可以不经过权限确认就结束并锁定会话;只要仍有其他工具可用,普通拒绝规则就无法拦截它。文档对触发条件作了严格限定,普通的不满或脏话不符合条件。
这并不是每种 Claude 集成都有的功能:文档按模型和使用界面限定了范围,并排除了 API SDK 会话等多种场景。这些范围限制很重要;同样重要的是,客户设置的工具权限,并不总拥有最终决定权。
客户也确实拥有有用的控制权。Claude Code 的权限系统支持允许、询问或拒绝工具操作。这些设置决定软件能够访问或执行什么,与服务商的内容规则、模型训练形成的行为各有不同作用;修改其中一项,不会让其他限制自动消失。
对于采购 AI 功能的企业,这比争论聊天机器人是不是太敏感更有用。先弄清楚:哪些决定属于你的客户,哪些属于你的应用,哪些仍由模型供应商掌握,再判断这样的安排是否适合要完成的工作。
有用的反对意见,应该推动工作
以一个假设的逾期发票助手为例。企业主让它起草一封语气坚定的提醒邮件。有用的回答会发现错误金额、删除没有依据的指责,并写出邮件。如果用户指出它看错了到期日,它就应核查记录并更新草稿。
如果回答只是泛泛讲同理心,既没解释哪里有问题,也没交付草稿,企业的工作就毫无进展。这是说明问题的假设场景,不是 Claude 对话记录,也不是某位客户的经历。它展示的是我希望 AI 产品避免的行为。
产品应该分清事实错误、信息缺失、用户尚未授权的操作,以及供应商的限制。请告诉我遇到的是哪一种。如果是服务商的规则,就明确说是服务商的规则。别让我先跟一个“人格”争论,才能弄清服务条件。
为会提出质疑的客户设计
验收 AI 功能之前,我会在实际应用中测试普通请求、错误前提、纠正,以及带着不满的追问。记录它是否完成了允许的任务、异议是否准确,以及澄清是否有帮助。还要检查访问被拒绝或供应商停止响应时会发生什么。这是建议采用的验收练习,并非我们为本文运行过的基准测试。
会产生实际后果的操作,需要由应用明确控制。起草发票提醒和发送提醒,是两项不同权限。模型写出的警告,不是访问控制系统。公开的模型宪法说明的是预期行为,不能衡量你的实际流程表现如何。
我并不想要一个奉承我的助手。我需要它能解释有用的异议、接受有效的纠正,然后回到工作。客户应该能够质疑供应商的选择,而不被当作需要补上一堂“如何成年”课程的人。
蟋蟀吉米尼可以提建议。但我仍然想问:谁给他搬来了那张法官席?
如果你的 AI 功能总把客户请求变成争论,把流程发给我们。Rosecraft 可以帮助界定它的权限、评估棘手场景,并建立外围应用控制。准备好听听系统真正需要什么,而不只是演示承诺什么了吗?告诉我们你想做什么。