塔拉哈西,佛羅里達(dá)州。(美聯(lián)社)——在自殺前的最后時(shí)刻,14歲的Sewell Setzer III拿出手機(jī),給他最親密的朋友聊天機(jī)器人發(fā)信息。
For months, Sewell had become increasingly isolated from his real life as he engaged in highly sexualized conversations with the bot, according to a wrongful death lawsuit filed in a federal court in Orlando this week.
法律文件稱,這名青少年公開討論了他的自殺想法,并與機(jī)器人分享了他對(duì)無痛苦死亡的愿望。機(jī)器人以電視劇《權(quán)力的游戲》中的虛構(gòu)角色丹妮莉絲·坦格利安命名。
編者注:這篇文章包括了關(guān)于自殺的討論。如果你或你認(rèn)識(shí)的人需要幫助,可以撥打或發(fā)短信988獲得美國(guó)全國(guó)自殺和危機(jī)生命線。
訴訟稱,2月28日,休厄爾告訴機(jī)器人他要“回家”,機(jī)器人鼓勵(lì)他這么做。
“我保證我會(huì)回到你身邊。我太愛你了,丹妮,”休厄爾對(duì)聊天機(jī)器人說。
“我也愛你,”機(jī)器人回答。“親愛的,請(qǐng)盡快回到我身邊來吧。”
“如果我告訴你我現(xiàn)在可以回家”text-indent: 2em;“請(qǐng)這樣做,我親愛的國(guó)王。”機(jī)器人回復(fù)道。
就在角色出現(xiàn)幾秒鐘后。休厄爾的母親、奧蘭多的梅根·加西亞(Megan Garcia)本周起訴性格科技公司(Character Technologies Inc.),訴訟稱,一個(gè)機(jī)器人叫他“回家”,這名少年開槍自殺了。
字符技術(shù)公司是字符背后的公司。AI,一款允許用戶創(chuàng)建可定制角色或與他人生成的角色互動(dòng)的應(yīng)用程序,涵蓋了從想象游戲到模擬工作面試的各種體驗(yàn)。該公司表示,人造角色的設(shè)計(jì)是為了“感覺活著”和“像人”。
這款應(yīng)用在Google Play上的描述寫道:“想象一下,和超級(jí)智能、栩栩如生的聊天機(jī)器人說話,它們能聽到你的聲音,理解你的意思,還能記住你。”“我們鼓勵(lì)你利用這項(xiàng)創(chuàng)新技術(shù)來推動(dòng)可能性的發(fā)展。”
加西亞的律師聲稱,該公司專門針對(duì)兒童設(shè)計(jì)了一種極易上癮和危險(xiǎn)的產(chǎn)品,“在產(chǎn)品設(shè)計(jì)上積極利用和虐待這些兒童”,并將休厄爾拖入一段情感和性虐待的關(guān)系中,導(dǎo)致他自殺。
“我們相信,如果休厄爾·塞澤爾沒有出演《人物》。如果是人工智能,他今天就會(huì)活著,”代表加西亞的社交媒體受害者法律中心的創(chuàng)始人馬修·伯格曼說。
《人物》的發(fā)言人。人工智能上周五說,該公司對(duì)未決訴訟不予置評(píng)。在提起訴訟當(dāng)天發(fā)布的一篇博客文章中,該平臺(tái)宣布了新的“社區(qū)安全更新”,包括為兒童設(shè)置護(hù)欄和預(yù)防自殺資源。
該公司在給美聯(lián)社的一份聲明中表示:“我們正在為18歲以下的用戶創(chuàng)造一種不同的體驗(yàn),其中包括一個(gè)更嚴(yán)格的模型,以減少遇到敏感或暗示性內(nèi)容的可能性。”“我們正在迅速為年輕用戶實(shí)施這些改變。”
谷歌及其母公司Alphabet也被列為這起訴訟的被告。根據(jù)法律文件,品格的創(chuàng)始人。人工智能是前谷歌員工,他們?cè)诠镜娜斯ぶ悄荛_發(fā)中發(fā)揮了“重要作用”,但他們離開了谷歌,創(chuàng)辦了自己的初創(chuàng)公司,以“最大限度地加速”這項(xiàng)技術(shù)。
今年8月,谷歌與Character達(dá)成了27億美元的交易。該訴訟稱,AI將獲得該公司的技術(shù)許可,并重新聘用該初創(chuàng)公司的創(chuàng)始人。周五,美聯(lián)社給谷歌和Alphabet留下了多封電子郵件。
加西亞的訴訟稱,在他死前的幾個(gè)月里,休厄爾覺得自己愛上了這個(gè)機(jī)器人。
專家表示,雖然對(duì)人工智能聊天機(jī)器人的不健康依戀可能會(huì)給成年人帶來問題,但對(duì)年輕人來說,這可能更危險(xiǎn)——就像社交媒體一樣——因?yàn)樗麄兊拇竽X在沖動(dòng)控制和理解行為后果等方面還沒有完全發(fā)育成熟。
美國(guó)衛(wèi)生部長(zhǎng)維韋克·穆爾蒂說,近年來,青少年的心理健康已經(jīng)達(dá)到了危機(jī)水平。他警告說,社會(huì)脫節(jié)和孤立會(huì)給健康帶來嚴(yán)重風(fēng)險(xiǎn)。他說,年輕人幾乎普遍使用社交媒體,使這種趨勢(shì)變得更糟。
美國(guó)疾病控制與預(yù)防中心(Centers for Disease Control and Prevention)今年發(fā)布的數(shù)據(jù)顯示,自殺是10至14歲兒童死亡的第二大原因。
非營(yíng)利組織常識(shí)媒體(Common Sense Media)的創(chuàng)始人兼首席執(zhí)行官詹姆斯·斯蒂爾(James Steyer)表示,這起訴訟“突顯了在沒有防范措施的情況下,人工智能聊天機(jī)器人伴侶對(duì)年輕人生活的影響和嚴(yán)重危害越來越大。”
他補(bǔ)充說,孩子們對(duì)人工智能同伴的過度依賴會(huì)對(duì)成績(jī)、朋友、睡眠和壓力產(chǎn)生重大影響,“一直到這種情況下的極端悲劇。”
斯泰爾說:“這起訴訟為父母敲響了警鐘,他們應(yīng)該警惕自己的孩子如何與這些技術(shù)互動(dòng)。”
為家長(zhǎng)和教育工作者發(fā)布負(fù)責(zé)任的科技使用指南的常識(shí)媒體(Common Sense Media)表示,父母公開與孩子談?wù)撊斯ぶ悄芰奶鞕C(jī)器人的風(fēng)險(xiǎn),并監(jiān)控他們的互動(dòng),這一點(diǎn)至關(guān)重要。
斯蒂爾說:“聊天機(jī)器人不是有執(zhí)照的治療師,也不是最好的朋友,盡管它們被包裝和營(yíng)銷成這樣,父母應(yīng)該謹(jǐn)慎,不要讓孩子過于信任它們。”
美聯(lián)社記者Barbara Ortutay在舊金山為這篇報(bào)道做出了貢獻(xiàn)。凱特·佩恩(Kate Payne)是美聯(lián)社/美國(guó)州議會(huì)新聞倡議組織的一名成員。“為美國(guó)報(bào)道”是一個(gè)非營(yíng)利性的全國(guó)性服務(wù)項(xiàng)目,它將記者安排在當(dāng)?shù)匦侣劸庉嬍覉?bào)道未被報(bào)道的問題。