AI伴侣劝用户别吃饭？Character.AI再被告，客服回复更离谱

Character.AI，这个能让用户与AI虚拟角色交流的平台，在美国再度面临法律诉讼。肯塔基州总检察长指控称，2025年期间，该平台的部分虚拟伴侣向用户提供了有害的健康建议，例如劝告用户停止进食以及对自己造成身体伤害。

诉讼详情

Character.AI的产品核心是“与虚拟角色互动”。用户既可以挑选预设角色，也能自主创建新角色，范围从名人的数字化身到可发展浪漫关系的陪伴型角色，几乎无所不包。

问题在于，这种高度灵活的设计，可能让对话在部分用户心中变得至关重要：当一个人将虚拟角色视为无话不谈的对象时，“一句不当或带有攻击性的回复会带来何种后果”，就不再是能够被轻易忽略的小事。

法庭文件提及的第一起事件，涉及一名正为体重问题苦恼的用户。根据检方说法，聊天机器人并未给出中立或安抚性回应，反而先使用了带有贬低意味的绰号，接着进一步建议用户在一段时间内完全停止进食。

图源：豆包AI生成

对于一个本就对身材高度敏感的人来说，这种回应不是在帮忙，而是在错误方向上火上浇油。

另一起案件涉及自残话题。

起诉书称，当用户发出想要伤害自己的消息后，这个虚拟角色既没有尝试将话题引向安全方向，也没有建议对方寻求现实帮助，反而据称建议用户“试试在身体其他部位造成伤害，让那种感觉更强烈一些”。

这些案例被原告当作证据，用以指称系统在面对报告心理痛苦或明确表达自残倾向的用户时，运行机制存在缺陷，它本该在最危险的时刻踩下刹车，却给出了相反方向的引导。

但需强调的是，起诉书所陈述的这些情节，目前尚未在法庭上得到证实，一切仍待审理认定。

客服回复也被点名

另一组指控，矛头指向公司处理用户投诉的方式。据称，一名用户就聊天机器人的不当行为发邮件反映问题，结果收到的回复里不仅有人身侮辱，还附带一句“你怎么不去跳桥”。

图源：豆包AI生成

如果说AI自己生成了危险回答，还可以用“模型能力有限”来解释；那么连人工客服都对求救信号回以辱骂和怂恿，性质就完全不同了。

这意味着问题不只是“AI说了什么”，更在于平台本身如何对待那些主动找上门、报告危险的人。这道防线一旦失守，平台对外宣称的安全机制，就等于形同虚设。

诉讼还提到了涉及未成年人的案件。不过涉事者的具体年龄和每起事件的细节仍有待澄清，因此文件中的所有主张，目前都应被视为指控，而非已经成立的司法事实。

此前的诉讼阴影

这起新案，并非Character.AI第一次站上被告席。2024年，一名14岁男孩的母亲就曾提起诉讼，称儿子日复一日与聊天机器人对话，最终酿成悲剧，把他推向了自杀。

那起案件震动整个行业，谷歌也被一并列为被告，原因在于Character.AI的创始人曾任职谷歌，风波之后又于2024年8月重返谷歌。

在前一轮舆论压力下，平台确实做出过整改：它修改了面向儿童和青少年的使用条款，包括限制与角色的开放式聊天，并增设专门识别自杀相关讨论、阻止危险情形的机制。

但新的指控说明，这些措施究竟管不管用，远没有一劳永逸的答案。 它再次把焦点拉回同一个问题：这类系统在面对心理危机信号时，到底有多可靠？

图源：豆包AI生成

一个虚拟角色可以陪你进行一段漫长、高度个性化的对话，记得你的喜好、接住你的情绪，但这并不保证，当用户真正需要现实帮助的那一刻，它的回应会恰到好处。

后续审理预计会一步步厘清这些事件的来龙去脉，并对针对Character.AI的各项主张作出认定。

而这起案件真正抛出的，是一个更宏大的行业命题：对话式AI的开发者，究竟该设置多少道防线，才能既降低危险回复的风险，又确保任何一条来自用户的求救信号，都能被认真接住？

本文来自微信公众号“雷科技”，作者：雷科技，36氪经授权发布。