讓人工智慧用簡單語言解釋其預測 | 麻省理工學院新聞

機器學習模型的解釋方法

機器學習模型有時會出錯，使用起來也很困難，因此科學家們開發了解釋方法，幫助使用者了解何時以及如何信任模型的預測。

這些解釋通常很複雜，可能包含數百個模型特徵的信息。有時它們還以多面向的視覺化方式呈現，這對於缺乏機器學習專業知識的使用者來說，可能難以完全理解。

為了幫助人們理解人工智慧的解釋，麻省理工學院 (MIT) 的研究人員使用大型語言模型 (LLMs) 將基於圖形的解釋轉換為簡單的語言。

他們開發了一個兩部分系統，將機器學習的解釋轉換為一段人類可讀的文本，然後自動評估敘述的質量，這樣最終使用者就知道是否可以信任它。

通過給系統提供幾個示例解釋，研究人員可以根據使用者的偏好或特定應用的要求，自定義其敘述描述。

長期來看，研究人員希望在這項技術的基礎上，讓使用者能夠向模型提出後續問題，了解它在現實情況下是如何得出預測的。

麻省理工學院 (MIT) 電機工程與計算機科學 (EECS) 研究生、這項技術論文的主要作者亞歷山德拉·齊泰克 (Alexandra Zytek) 說：“我們這項研究的目標是邁出第一步，讓使用者能夠與機器學習模型進行完整的對話，了解它們為什麼做出某些預測，這樣他們就能更好地決定是否聽取模型的意見。”

她的論文合作者包括麻省理工學院 (MIT) 的博士後研究員薩拉·皮多 (Sara Pido)、EECS 研究生莎拉·阿爾內海米什 (Sarah Alnegheimish)、法國可持續發展國家研究院的研究主任勞爾·貝爾蒂-艾基爾 (Laure Berti-Équille) 以及資深作者卡利安·維拉馬查尼 (Kalyan Veeramachaneni)，他是信息與決策系統實驗室的首席研究科學家。這項研究將在 IEEE 大數據會議上發表。

解釋的清晰度

研究人員專注於一種流行的機器學習解釋方法，稱為 SHAP。在 SHAP 解釋中，模型用來做出預測的每個特徵都會被賦予一個值。例如，如果模型預測房價，特徵之一可能是房子的地點。地點會被賦予一個正值或負值，表示該特徵對模型整體預測的影響程度。

通常，SHAP 解釋會以條形圖的形式呈現，顯示哪些特徵最重要或最不重要。但對於擁有超過 100 個特徵的模型，這樣的條形圖很快就會變得難以處理。

維拉馬查尼 (Veeramachaneni) 說：“作為研究人員，我們必須做出很多選擇，決定要以什麼方式呈現。如果我們選擇只顯示前 10 個，大家可能會想知道其他不在圖中的特徵發生了什麼。使用自然語言可以讓我們不必做這些選擇。”

然而，研究人員並不是利用大型語言模型生成自然語言的解釋，而是使用 LLM 將現有的 SHAP 解釋轉換為可讀的敘述。

通過僅讓 LLM 處理自然語言部分，這樣可以減少引入不準確解釋的機會，齊泰克 (Zytek) 解釋道。

他們的系統名為 EXPLINGO，分為兩個部分協同工作。

第一部分稱為 NARRATOR，使用 LLM 創建符合使用者偏好的 SHAP 解釋的敘述描述。通過最初提供 NARRATOR 三到五個書面示例，LLM 將模仿該風格生成文本。

齊泰克 (Zytek) 說：“與其讓使用者試著定義他們想要的解釋類型，不如讓他們直接寫出他們想看到的內容。”

這樣可以讓 NARRATOR 更容易根據不同的用例進行自定義，只需顯示不同的一組手動編寫的示例。

在 NARRATOR 創建了簡單的語言解釋後，第二部分 GRADER 使用 LLM 根據四個指標評分敘述：簡潔性、準確性、完整性和流暢性。GRADER 自動將 NARRATOR 的文本和它所描述的 SHAP 解釋提供給 LLM。

齊泰克 (Zytek) 說：“我們發現，即使 LLM 在執行任務時出錯，當檢查或驗證該任務時，它通常不會出錯。”

使用者還可以自定義 GRADER，為每個指標賦予不同的權重。

她補充道：“你可以想像，在高風險的情況下，準確性和完整性的權重會比流暢性高得多。”

分析敘述

對於齊泰克 (Zytek) 和她的同事來說，最大的挑戰之一是調整 LLM，使其生成聽起來自然的敘述。他們添加的越多風格控制指導，LLM 引入錯誤的可能性就越大。

她說：“我們進行了大量的提示調整，逐一找到並修正每個錯誤。”

為了測試他們的系統，研究人員使用了九個帶有解釋的機器學習數據集，讓不同的使用者為每個數據集撰寫敘述。這使他們能夠評估 NARRATOR 模仿獨特風格的能力。他們使用 GRADER 對每個敘述解釋進行四個指標的評分。

最終，研究人員發現他們的系統能夠生成高質量的敘述解釋，並有效模仿不同的寫作風格。

他們的結果顯示，提供幾個手動編寫的示例解釋能大大改善敘述風格。然而，這些示例必須小心編寫——包括比較詞，如“更大”，可能會導致 GRADER 將準確的解釋標記為不正確。

基於這些結果，研究人員希望探索能幫助他們的系統更好處理比較詞的技術。他們還希望通過添加解釋的合理性來擴展 EXPLINGO。

長期來看，他們希望利用這項工作作為邁向互動系統的基石，讓使用者能夠向模型提出有關解釋的後續問題。

齊泰克 (Zytek) 說：“這將在很多方面幫助決策。如果人們不同意模型的預測，我們希望他們能快速找出自己的直覺是否正確，或者模型的直覺是否正確，以及這種差異來自何處。”