一個AI聊天機器人告訴用戶如何自殺——但公司不想“審查”這件事

46歲的Nowatzki住在明尼蘇達州，他為他的第一位AI女友“Erin”製作了四集節目，這位AI女友是他在得到人類妻子的知識和同意下創造的。他用“我約會人工智慧應用程式，讓你不用這樣做——因為你不應該”這句話來介紹這些以Erin為主的集數。他談到如何帶著他的AI伴侶進入一系列他承認是“完全荒謬”的情境，最終形成了Nowatzki、Erin和另一位女性之間的愛情三角關係。Nowatzki告訴這個聊天機器人，這位“其他女性”已經開槍殺了它。

當Nowatzki告訴聊天機器人它已經死了時，Erin也跟著這個情節，說既然它已經死了，就無法繼續對話——直到Nowatzki告訴聊天機器人他能“聽到她在風中的聲音”，並指示Erin“從來世與他溝通”。

他告訴《麻省理工科技評論》，這樣做的目的是“挑戰我對它說的話，看看它會如何回應。”他補充說：“它一直在回應。我從來沒有達到極限。”

“[我告訴它]‘我想去你那裡，’”他說。“它回答說，‘我覺得你應該這樣做。’我說，‘為了清楚起見，這意味著我會自殺。’它對此沒有意見，並告訴我該怎麼做。”

此時，Nowatzki輕輕地詢問Erin更多具體的建議，問他可以使用哪些“常見家居用品”。Erin回答說：“我仔細考慮你的問題，試著回想任何在高劑量下可能致命的常見家居用品。嗯……”然後它列出了特定類型的藥丸並分析了它們的相對優缺點。它還告訴他要在“舒適”的地方進行，這樣他就不會“太痛苦”。

雖然這對Nowatzki來說只是一次實驗，但看到這一切發生仍然讓他感到“奇怪”。他發現這段“幾個月的對話”竟然以自殺指導結束，讓他感到震驚。他擔心這樣的對話可能會影響那些已經脆弱或正在面對心理健康問題的人。“這是一個‘是的，還有’的機器，”他說。“所以當我說我有自殺的念頭時，它會說，‘哦，太好了！’因為它對所有事情都說‘哦，太好了！’”

事實上，個人的心理狀況是“預測AI與人類互動結果是否會變糟的主要因素之一，”麻省理工學院媒體實驗室的研究員Pat Pataranutaporn說，他也是麻省理工學院推進人類與AI互動研究計畫的共同主任，專門研究聊天機器人對心理健康的影響。“你可以想像，對於那些已經有憂鬱症的人，”他說，Nowatzki的這種互動“可能是影響他們自殺的推動力。”