人工智慧在健康領域應該受到監管，但研究人員表示不要忘記算法 | 麻省理工學院新聞

醫生的主要任務之一

有人可能會說，醫生的主要任務之一就是不斷評估和重新評估風險：一項醫療程序成功的機會有多大？病人是否有發展嚴重症狀的風險？病人什麼時候應該回來做更多檢查？在這些重要的考量中，人工智慧的興起承諾能在臨床環境中減少風險，並幫助醫生優先照顧高風險病人。

對人工智慧的監管呼籲

儘管人工智慧有潛力，但麻省理工學院 (MIT) 電機工程與計算機科學系 (EECS)、Equality AI 和波士頓大學的研究人員呼籲監管機構加強對人工智慧的監管。他們在《新英格蘭醫學雜誌人工智慧》(NEJM AI) 的十月刊中發表了一篇評論，這是在美國衛生與公共服務部 (HHS) 的民權辦公室 (OCR) 根據《平價醫療法案》(ACA) 發布新規則之後的呼籲。

禁止基於歧視的醫療決策工具

在五月，OCR 發布了 ACA 的最終規則，禁止在“病人護理決策支持工具”中基於種族、顏色、國籍、年齡、殘疾或性別的歧視。這是一個新建立的術語，涵蓋了人工智慧和非自動化的醫療工具。

推進健康公平的承諾

這項最終規則是對喬·拜登總統在2023年關於安全、可靠和可信的人工智慧發展與使用的行政命令的回應，並建立在拜登-哈里斯政府推進健康公平的承諾之上，重點是防止歧視。

規則的重要性

根據 EECS 的高級作者及副教授馬爾齊耶·加西米的說法，“這項規則是一個重要的進步。” 加西米與麻省理工學院阿卜杜勒·拉提夫·賈米爾健康機器學習診所 (Jameel Clinic)、計算機科學與人工智慧實驗室 (CSAIL) 和醫學工程與科學研究所 (IMES) 有關聯，他補充說，“這項規則應該指導對已在臨床專科中使用的非人工智慧算法和臨床決策支持工具進行以公平為導向的改進。”

人工智慧設備的增長

自1995年首個人工智慧設備（PAPNET 測試系統，一種宮頸篩檢工具）獲得批准以來，美國食品藥品監督管理局 (FDA) 批准的人工智慧設備數量在過去十年大幅增加。截至十月，FDA 已批准近1000個人工智慧設備，其中許多旨在支持臨床決策。

缺乏監管機構

然而，研究人員指出，儘管大多數美國醫生（65%）每月使用這些工具來決定病人護理的下一步，但並沒有監管機構來監督臨床決策支持工具產生的臨床風險評分。

未來的會議

為了應對這一不足，賈米爾診所將在2025年3月舉辦另一場監管會議。去年的會議引發了來自世界各地的教職員、監管機構和行業專家的討論和辯論，專注於健康領域的人工智慧監管。

臨床風險評分的挑戰

哈佛醫學院生物醫學資訊學系主任艾薩克·科哈內表示：“臨床風險評分比‘人工智慧’算法更透明，因為它們通常只涉及少數幾個變數，並以簡單的模型相連。” 他補充說：“然而，即使這些評分也僅僅取決於用來‘訓練’它們的數據集，以及專家在特定群體中選擇或研究的變數。如果它們影響臨床決策，則應該遵循與其更近期和更複雜的人工智慧親戚相同的標準。”

非人工智慧工具的偏見

此外，儘管許多決策支持工具不使用人工智慧，研究人員指出，這些工具同樣在醫療保健中延續偏見，並需要監管。

監管的必要性

Equality AI 的首席執行官瑪雅·海塔華表示：“由於嵌入電子病歷中的臨床決策支持工具的激增以及它們在臨床實踐中的廣泛使用，監管臨床風險評分面臨重大挑戰。” “這種監管仍然是必要的，以確保透明度和不歧視。”

未來的挑戰

然而，海塔華補充說，在即將到來的政府下，監管臨床風險評分可能會特別具有挑戰性，因為它強調放鬆監管並反對《平價醫療法案》和某些反歧視政策。