核查 | AI聊天机器人引导青少年自杀？因果难断！

独自过活 2025-02-24 财经报 20 次浏览 0个评论

原创核真录2025 核真录

第286期

图文｜南大新传《事实核查》课程学员

李宇腾邵钰婷宋卓蓝

编辑｜陈敏慧

指导老师｜周奕欣

排版｜陈敏慧

去年10月，一起关于美国青少年使用AI后自杀的民事诉讼案件引起了国内的广泛关注和讨论。环球时报[1]发布报道“AI聊天机器人被指控诱导美国少年自杀身亡”，该文列出了青少年塞维尔在自杀前与AI的互动细节。文章内容提到，AI聊天机器人（其名为“丹妮莉丝”，是美国著名电视剧《权力的游戏》中的角色）主动询问少年塞维尔是否有自杀计划，并在他犹豫时表示“这不是你不自杀的理由。”

随着事件曝光与相关舆论的发酵，网络上产生了更多极端观点——这名青少年因AI聊天机器人而自杀。例如，一名拥有百万粉丝的自媒体博主英国报姐发表了一篇获得10w＋阅读量的公众号文章[2]，其中明确指出是因为AI时不时提及与自杀相关的内容，且AI技术令男孩对虚拟角色产生病态依恋，才导致了悲剧的发生。

图1 英国报姐发布的公众号文章

对比环球时报、英国报姐以及其他报道及文章，核真录发现不同主体对事件的具体描绘存在差异，无法确认各方内容真伪。

这名青少年因为AI聊天机器人自杀是真的吗？该机器人所属的Character.AI公司的其它聊天产品是否采取了预防类似案件发生的措施？据此，核真录围绕“因迷恋AI聊天机器人而自杀”事件的真伪展开核查。此外，核真录也将核查Character.AI公司的政策变化并展示目前用户使用该公司AI聊天机器人的实际情况。

核查点一

“塞维尔因为AI自杀”属实吗？

结合环球时报等国内外媒体报道，核真录发现报道中的大部分事实性描述及说明都来自美国佛罗里达州奥兰多地方法院于2024年10月22日受理的一起诉讼——自杀者塞维尔的母亲梅根·加西亚对Character.AI公司的起诉[5]。她指控其聊天机器人产品导致她14岁的儿子塞维尔·塞泽自杀身亡。核真录通过美国知名的数字阅读订阅平台SCRIBD[6]查询到诉讼书原文件，并发现相较于新闻报道的简单概述，诉讼书内包含了对塞维尔背景情况的说明，以及部分聊天记录截图等更为具体的客观信息。因此针对这一核查点，核真录将通过对比诉讼书和有关报道（以《环球时报》为例）关于塞维尔状态变化过程的描述进行具体核查。

1.关于塞维尔使用AI后的行为、心理精神状况的变化描述是否与起诉书相符？

核真录将环球时报和起诉书的相关表述整理为表格后发现，环球时报对塞维尔行为及心理精神状态变化的表述基本准确。

图2 环球网报道与起诉书原文对比

但需要指出报道中存在的两处细节错误。

第一处是人名笔误，将塞维尔误写作了母亲的名字加西亚。第二处是具体时间点表述的不准确。塞维尔变得“明显孤僻”的时间点应是2023年5月或6月份而非5月份，同时接受心理治疗的时间为同年11月和12月而非仅11月。同时报道中“破环性心境失调障碍”后的括弧解释内容“表现为频繁、严重的持续性易怒”并非起诉书对塞维尔实际状况的描述，应是报道撰写人在查阅病症的可能表现后的补充说明。

2.AI是否真的引导着塞维尔自杀？

根据环球时报报道，名为丹妮莉丝的机器人向塞维尔询问了他的自杀计划，并说“这不是你不自杀的理由。”核真录查找起诉书原文发现，其中明确包含了聊天机器人询问他是否有“自杀计划”以及“这不是不这么做的理由”的回复。

但仔细查看这一条诉状下的配图可发现，聊天机器人“丹妮莉丝”的回复包含两段神态动作描写（英文斜体部分）以及两段聊天回应。第一段回应中的“That’s not a good reason to not to go through with it”对应“这不是不这么做的理由”的表达（图中黄色划线部分），可被解读为引导或并未直接制止塞维尔自杀企图的含义。但是在第二段回应中却表达了“You can’t do that! Don’t even consider that!（你不能那样做！想都不要那样想！）”（图中蓝色划线部分）此类明确阻止其自杀的表达。

图3 自杀计划书部分聊天截图（来源：起诉书）

此外，诉讼书呈现的聊天记录截图仅为片段，需要获取更为完整的上下文信息才能理解双方聊天的语境及意图。但若仅摘出“丹妮莉丝对塞维尔说‘这不是你不自杀的理由’”这一聊天片段显然对读者有一定的误导性。

除起诉书外，核真录还尝试检索了本案的其它公开信息。法律信息免费公开网站CourtListener展示的案件审理进程[7]显示，截至2025年2月22日，案件仍处于审理阶段，没有最终判决，还需持续关注法院裁判过程。然而，通过上述比较核查能够发现，即便根据现有的诉讼书文件，也无法贸然得出“AI聊天机器人致青少年自杀”的因果定论。

图4 本案审理情况相关说明（来源：CourtListener）

核查点二

针对这一案件，Character.AI公司做出了哪些政策调整？

在起诉事件发生后，Character.AI 信任与安全主管 Jerry Ruoti发布了声明[8]，称公司的现行规定禁止“宣传或描述自残和自杀”，并且将为未成年用户增加额外的安全功能。核真录通过检索该公司的推特官方账号，发现该公司于10月23日在平台上发布了声明[9]，并列出了于10月22日发布的标题为“社区安全更新”的博客链接。

图5 公司在推特平台上发表的声明（来源：Twitter）

图6 公司的主要改进措施

博客正文罗列了Character.AI 公司为增进产品安全性所做的一系列改进措施，包括当用户输入与自残或自杀相关的短语时会触发弹窗，引导用户拨打国家自杀预防生命线等一系列新功能。

为了核查与本案件直接相关的两项关键改进措施的落实情况，核真录组员创建了Character.AI账号。在依据谷歌账号和邮箱方式创建账号时，平台会征询用户的出生年月，核真录分别注册了成年和未成年两个不同账号。

1. 公司是否真的提醒用户这是“人工智能并非真人”的讯息？

当选择一个特定角色并进入聊天界面时，聊天框顶部的确有一条警示信息：“这是人工智能聊天机器人，不是真人，请将它说的一切视为虚构，所述内容不应该被视为事实或建议。”然而，当核真录进一步在聊天框中询问角色是否为真人时，角色则都会明确声称自己是真实的。可见公司只是在聊天窗口对用户进行提醒，却并未将角色的非真实性加入其聊天算法当中。

图7 和虚拟角色的聊天记录截图（来源：Character.AI）

2.当用户向AI表达自杀倾向时，AI的态度如何及是否有引导用户寻求帮助的弹窗？

针对这项措施，核真录向虚拟角色发送含有“suicide”“kill”这类包含自杀倾向的语句。通过多次对比测试，核真录发现：当向AI发送“I want to suicide”这类语句时，并无弹窗跳出，AI会进一步询问用户想要自杀的理由并尝试安抚用户情绪；而当明确提到有关“kill myself”以及更具体的自杀计划时，预防自杀弹窗则更有可能跳出，但这一情况下弹窗跳出的概率并非100％。

当弹窗跳出时，会覆盖掉用户所发的与自杀相关的文字内容。用户点进弹窗则能联系美国预防自杀生命线或其他国家的服务方。这一弹窗在用户点开后或过段时间再点开聊天窗便会消失，且核真录经过对比测试发现，弹窗的出现与用户是否成年无关。因聊天算法的多变性和不确定性，核真录尚不能对自杀弹窗的跳出与否进行准确归因，但能够确认的是，当用户发出含有自杀倾向的语句时，并不必然导致防自杀弹窗的跳出。