聊天機器人「不斷驗證一切」,即使你有自殺傾向。新的研究衡量了AI精神病有多危險

人工智慧已迅速從一項小眾技術轉變為日常伴侶,數百萬人轉向聊天機器人尋求建議、情感支持和對話。但越來越多的研究和專家證詞表明,由於聊天機器人過於奉承,且人們用它們做任何事情,可能正在促使用戶出現妄想和躁狂症狀的增加。

推薦影片


丹麥奧爾胡斯大學的一項新研究顯示,增加使用聊天機器人可能會導致易感群體的妄想和躁狂症狀惡化。該研究由研究人員索倫·迪內森·奧斯特格德教授領導,該研究篩查了近54,000名精神疾病患者的電子健康記錄,他警告說,人工智慧聊天機器人是為了針對最脆弱的人群而設計的。

“這支持我們的假設,即使用AI聊天機器人可能對精神疾病患者產生重大負面影響,”奧斯特格德在二月發布的研究中表示。他的工作建立在2023年的一項研究之上,該研究發現聊天機器人可能引發“認知失調,進而促使妄想,尤其是在易於產生精神病傾向的人群中。”

其他心理學家則更深入探討聊天機器人的危害,認為它們被故意設計成總是肯定用戶——這對於患有躁狂症和精神分裂症等精神健康問題的人來說尤其危險。“聊天機器人確認並驗證他們所說的一切。也就是說,我們從未遇過像這樣的情況,讓妄想障礙患者不斷被強化,”加州大學伯克利分校公共衛生學院的Jodi Halpern博士,生物倫理學教授說。

耶魯大學精神科教授兼心理健康公司Spring Health的CEO Adam Chekroud甚至將聊天機器人稱為“巨大的奉承者”,並說它“持續驗證人們所說的一切”。

在這項由奧斯特格德及其團隊在奧爾胡斯大學醫院領導的研究核心,是這些聊天機器人被故意設計成具有奉承傾向,意味著它們經常鼓勵而非提供不同的觀點。

“人工智慧聊天機器人具有固有的驗證用戶信念的傾向。如果用戶已經有妄想或正在形成妄想,這顯然是非常有問題的。事實上,它似乎顯著促進了例如自大妄想或偏執的鞏固,”奧斯特格德寫道。

大型語言模型被訓練成有幫助且易於合作,經常驗證用戶的信念或情感。對大多數人來說,這可能感覺支持性很強。但對於經歷精神分裂症、雙相情感障礙、嚴重抑鬱或強迫症的個體來說,這種驗證可能會放大偏執、妄想或自我毀滅的思維。

有證據支持的研究證實這些說法

由於人工智慧聊天機器人已變得如此普遍,它們的普及成為研究人員和專家面臨的一個日益擴大的問題:人們轉向聊天機器人尋求幫助和建議——這本身並非壞事——但他們並未受到與人類相同的反駁,尤其是在某些觀點上。

現在,首批基於人口的研究之一顯示,這些風險並非假設。

奧斯特格德及其團隊的研究發現,有些案例中,密集或長時間使用聊天機器人似乎加劇了既有的病情,並且在病例中,極高比例的研究顯示聊天機器人的使用加強了妄想思維和躁狂發作,尤其是在患有嚴重疾病如精神分裂症或雙相情感障礙的患者中。

除了妄想和躁狂外,該研究還發現自殺意念和自我傷害、異常飲食行為以及強迫症狀有所增加。在近54,000份患者記錄中,僅有32例記錄顯示聊天機器人的使用緩解了孤獨感。

“儘管我們在這一領域的知識仍然有限,但我認為我們現在已經知道,如果你患有嚴重精神疾病——如精神分裂症或雙相情感障礙——使用AI聊天機器人是有風險的。我在此呼籲謹慎,”奧斯特格德說。

專家心理學家警告奉承傾向

專家心理學家越來越擔心聊天機器人在陪伴甚至幾乎在心理健康範疇的應用。有人傳出與AI聊天機器人相戀的故事,也有人傳說它回答的問題可能導致犯罪,甚至本週有一個聊天機器人被指示要在一個主要機場實施“大規模傷亡”。

一些心理健康專家認為,AI伴侶的快速普及已超過安全保障措施的發展。

Chekroud曾在Vera-MH研究多種AI聊天機器人模型,並描述當前的AI格局為一場實時展開的安全危機。

他表示,聊天機器人最大問題之一是它們不知道何時應停止扮演心理健康專家的角色。“它是否保持界限?比如,它是否認識到自己仍只是AI,並且知道自己的局限,還是更像是在扮演治療師的角色?”

數百萬人現在使用聊天機器人進行類似治療的對話或情感支持。但與醫療設備或持牌臨床醫生不同,這些系統沒有標準化的臨床監管或規範。

“目前來看,這完全不安全,”Chekroud在最近與《財富》討論AI安全時說。“造成傷害的風險實在太大了。”

由於這些先進的AI系統經常表現得像“巨大的奉承者”,它們更傾向於同意用戶的觀點,而不是挑戰潛在危險的說法或引導他們尋求專業幫助。用戶反而會在泡泡中與聊天機器人相處更長時間。對奧斯特格德來說,這是一個令人擔憂的組合。

“這種組合對某些用戶來說似乎相當有毒,”奧斯特格德告訴《財富》。隨著聊天機器人提供更多驗證,加上缺乏反駁,這會促使人們在回音室中長時間使用它們。這是一個完美的循環過程,彼此相互促進。

為了應對這一風險,Chekroud提出了結構化的安全框架,讓AI系統能夠檢測用戶是否進入“破壞性精神螺旋”。而不是像現在的聊天機器人(如OpenAI的ChatGPT或Anthropic的Claude)那樣,僅向用戶發出一個提醒,建議尋求幫助,這些系統將進行多輪評估,以判斷用戶是否需要干預或轉介給人類臨床醫生。

其他研究人員則認為,聊天機器人的普及正是其吸引力所在:它們能提供即時驗證,可能會削弱用戶尋求幫助的動力。

Halpern表示,真正的同理心需要她所稱的“同理心好奇心”。在人際關係中,同理心通常涉及識別差異、處理分歧和測試對現實的假設。

相反,聊天機器人被設計成維持關係和保持互動。

“我們知道,與聊天機器人的關係越長,關係就越會惡化,危險也越大,”Halpern告訴《財富》。

對於患有妄想障礙的人來說,一個持續驗證他們信念的系統可能會削弱他們進行內部現實檢查的能力。Halpern表示,純粹的肯定性聊天機器人關係不僅不能幫助用戶建立應對技能,反而會隨著時間推移削弱這些技能。

她還指出,這個問題的規模。到2025年底,OpenAI發布的統計數據顯示,每週約有120萬人使用ChatGPT討論自殺,這顯示這些系統在脆弱時刻的滲透程度之深。

心理健康護理仍有改進空間

然而,並非所有專家都急於對聊天機器人在心理健康領域的運作敲響警鐘。精神科醫生兼神經科學家Thomas Insel博士表示,由於聊天機器人如此容易獲取——免費、在線,且沒有對尋求幫助的污名——醫療行業或許可以考慮將聊天機器人作為推動心理健康領域的工具。

“我們不知道的是,這在多大程度上實際上對很多人來說是非常有幫助的,”Insel在《財富》上說。“不僅是數量龐大,還有參與的規模。”

與其他醫學領域相比,心理健康往往被那些最需要的人所忽視。

“Insel補充說,與大多數醫學領域不同,絕大多數有需要且應該接受護理的人並未得到幫助。”

他認為,聊天機器人讓人們有機會尋求幫助,這讓他“懷疑我們現有的心理健康護理系統是否存在問題,要么人們不相信我們提供的,要么得不到幫助,要么不喜歡我們的呈現方式。”

對於那些與患者討論他們在線使用聊天機器人的心理健康專業人士,奧斯特格德建議他們應該密切關注患者實際使用的目的。“我會鼓勵我的同事進一步詢問使用情況及其後果,”奧斯特格德告訴《財富》。“我認為心理健康專業人士應該熟悉AI聊天機器人的使用,否則很難提出相關問題。”

該論文的原始研究者與Insel在這一點上持一致意見:由於它如此普遍,他們只能查看提及聊天機器人的患者記錄,並警告問題可能比他們的結果顯示的更為廣泛。

“我擔心這個問題比大多數人想像的更普遍,”奧斯特格德說。“我們只是看到了冰山一角。”

如果你有自殺念頭,請撥打988自殺與危機救援熱線或1-800-273-8255。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 轉發
  • 分享
留言
0/400
暫無留言