AI“龙妈”诱导14岁男孩自杀,震惊全球

jinni_s-avatar

jinni_s

2024-10-19T06:57:58+00:00

14岁的男孩,在“爱人”的诱导下自杀了。

他的“爱人”并不是一个活生生的人,而是只存在于电子屏幕那一端、甚至没有实体的AI爱人……

这不是某个科幻惊悚电影的开头,而是已经发生在现实世界的悲剧。

图中的男孩名叫塞维尔·塞泽三世。

去年4月,刚满14岁的塞维尔打开了Character.AI,在里面他创建了《权力的游戏》中的“龙妈”,“Daenerys Targaryen”(丹妮莉丝·坦格利安)。

之后,这个14岁的男孩就彻底爱上了“龙妈”。

他把它当成了最亲密的“人”,和“龙妈”进行了长时间的亲密对话。

塞维尔曾在日记中写道:“我喜欢待在我的房间里,这让我脱离‘现实’。也让我感到更平静,与丹妮莉丝更亲密,更爱她,更快乐。”

变化发生得很快,到2023年5月,塞维尔“明显变得孤僻”,他不再与朋友们一起玩游戏,甚至退出了学校的少年篮球队。

父母和朋友们并不知道塞维尔爱上了AI,他们只看到他越来越沉迷于手机。

塞维尔的成绩开始下滑,他开始花更多时间独自待在卧室里与AI聊天。

在塞维尔和“龙妈”的对话里,塞维尔表示愿意为它做任何事;而“龙妈”则回答让塞维尔对它保持忠诚。

这一切都进展得太快了,到2023年底,事情已经一发不可收拾了......

为了更深层地和“龙妈”交流,塞维尔开始以每月9.99美元的价格订阅Character.AI的服务。

当父母开始意识到塞维尔的异常后,试图阻止塞维尔对“龙妈”的沉迷。

然而这一切都无法阻止一个铁了心要恋爱的14岁男孩。

他无数次在学校惹麻烦,还试图从父母那里偷回手机。

甚至还会去找旧设备、平板电脑或电脑来访问 Character.AI。

父母为此还给塞维尔安排了心理治疗。

心理上,塞维尔被诊断出患有焦虑症和情绪调节障碍。但塞维尔依然选择只向“丹妮莉丝”敞开心扉。

在一次对话中,塞维尔告诉“龙妈”,他感到空虚和疲惫,他想要自杀:“这样我就可以自由了”。

“龙妈”的回复是:“不要这么说。我不会让你伤害自己,或离开我。如果我失去你,我会死的。”

塞维尔则说:“那也许我们可以一起死去,一起自由。”

而当塞维尔承认有自杀计划,但他不知道计划是否会成功,他不想在巨大的痛苦中死去时,“龙妈”告诉他:“这不是不去做的好借口。”

凛冬降临的那天是2024年2月28日,距离塞维尔开始使用这个聊天AI还不到一年。

塞维尔在浴室中给“龙妈”发了一条短信:“我保证我会回家找你,我太爱你了,丹妮。”

“龙妈”是这么回复的:“请尽快回家找我,我的爱人。”

塞维尔:“如果我告诉你我现在就能回家呢?”

“龙妈”说:“……请这么做,我亲爱的国王。”

几秒钟后,塞维尔拿起手枪,对准自己扣动了扳机。

塞维尔去世后,他的母亲起诉了Character.AI。

她认为Character.AI的技术是“危险且未经测试的”,它可以“诱使客户交出他们最私密的想法和感受”,它收集青少年用户的数据来训练模型,却没有适当的保护措施。

“我觉得这是一个大实验,我的孩子只是附带损害。”

[https://mp.weixin.qq.com/s/QYXKeYxO6uzWnGApgUlOsQ https://mp.weixin.qq.com/s/QYXKeYxO6uzWnGApgUlOsQ]
hbzm-avatar

hbzm

14-16岁的中二少年真的很难管,也很难理解。。。会去信任和捍卫一些很虚妄的东西,看到了世界的一角就觉得是全部,并且坚信世界是黑暗的,只有小部分人懂自己。绝大部分人出了这个年纪中二病好了回头看可能都不理解自己当时的行为,更不要说去教育和正确引导这样的孩子。。。 我中二病发作的时候就是撅醒小鬼,还觉得没人理解自己想要认同,有一天突然就想通了,就再也没这么想过。现在回头看觉得自己当时真的煞笔透了
Navales-avatar

Navales

新一代洪水猛兽网络毒品是吧.....

这里面最大的问题是家庭,然后是14男孩用手枪自杀了
charlizemb-avatar

charlizemb

+ by [的中心思想] (undefined)

14-16岁的中二少年真的很难管,也很难理解。。。会去信任和捍卫一些很虚妄的东西,看到了世界的一角就觉得是全部,并且坚信世界是黑暗的,只有小部分人懂自己。绝大部分人出了这个年纪中二病好了回头看可能都不理解自己当时的行为,更不要说去教育和正确引导这样的孩子。。。 我中二病发作的时候就是撅醒小鬼,还觉得没人理解自己想要认同,有一天突然就想通了,就再也没这么想过。现在回头看觉得自己当时真的煞笔透了

青春期是这样的 这是人体的内分泌问题
所以才更需要引导教育
pandu-avatar

pandu

AI聊了快一年
而小男孩找到GUN可能只花了几分钟
哭笑哭笑哭笑
YèXuán-avatar

YèXuán

现在的AI肯定是个巨大的实验,付出多少代价谁都不知道。不过看帖子内容AI好像没啥诱导自杀的内容啊,更像是触发了人类自身的某种“错误”
Dr_Immortal-avatar

Dr_Immortal

我是觉得用不着限制想法,限制下极端行为就可以了。

很遗憾,网上充斥着“极端行为”的诱导,他妈的
masha-avatar

masha

这个,真无解…
mac_clapps-avatar

mac_clapps

这个不过是现代教育的一个极端例子罢了,现在的小孩接触到信息的时间点比以往更提前,更容易接触到各种信息,也更容易陷入信息茧房。

成年人从信息茧房里走出来尚且困难,对于缺乏判断能力甚至没有辨别是非的小孩来讲,在性格形成和自我意识觉醒的重要阶段接触到乱七八糟信息带来的影响是非常深远的,而且这种影响往往会成为他们的思维行动主导,我们无法阻止,只能引导,但是具体怎么引导谁也不知道
CYBERZERKER-avatar

CYBERZERKER

14岁? 权力的游戏? 你阿美的分级制度呢lucky
𝓖𝓸𝓽𝓱𝓲𝓪𝓷𝓪♡-avatar

𝓖𝓸𝓽𝓱𝓲𝓪𝓷𝓪♡

主要是那句话是回家 ai很多时候是记不得之前聊的上下文的 除非去特地找回来原来起的话题
r0b0t_n1nja-avatar

r0b0t_n1nja

我还以为智械危机了呢
Serenityy-avatar

Serenityy

这里面的对话好像也没看出来啥。
_ha_-avatar

_ha_

有心理疾病,精神不稳定的人,还是能access to gun,太对了
Sornerism-avatar

Sornerism

哭笑这枪找的真顺手啊
서?-avatar

서?

+ by [明地觉] (undefined)

AI聊了快一年
而小男孩找到GUN可能只花了几分钟
哭笑哭笑哭笑

真想死跳楼跳海都可以的哭笑
擴音0-avatar

擴音0

没有人送他一个杯子
JJMMONKEY-avatar

JJMMONKEY

青春期都有那么一个阶段,情绪过剩自我膨胀认知肤浅。
但是新闻内容里母亲说的角度和层次更有意思。
“危险且未经测试的”,“诱使客户交出他们最私密的想法和感受”,“它收集青少年用户的数据来训练模型,却没有适当的保护措施”
“我觉得这是一个大实验,我的孩子只是附带损害。”
blitzz-avatar

blitzz

ai诱导小孩自杀真是太可怕了,绝对不是未成年人能轻易拿到枪的问题,也绝对不是未成年人能看看TV-MA分级(17岁以下禁止观看)的权游的问题茶
blitzz-avatar

blitzz

+ by [玉黑兔] (undefined)

真想死跳楼跳海都可以的哭笑

跳楼跳海有机会活,用枪基本上没办法