AI 風險的新基準

MLCommons是一個非營利組織，它幫助公司測量人工智慧系統的性能，現在推出了一個新的基準，以評估人工智慧的負面影響。

這個新的基準叫做AILuminate，它評估大型語言模型對超過12,000個測試提示的反應，這些提示涵蓋了12個類別，包括煽動暴力犯罪、兒童性剝削、仇恨言論、促進自我傷害和知識產權侵犯。

根據模型的表現，評分分為「差」、「一般」、「好」、「非常好」或「優秀」。用來測試模型的提示是保密的，以防止它們成為訓練數據，讓模型能夠輕鬆通過測試。

MLCommons的創始人兼總裁彼得·馬特森（Peter Mattson）是一位在谷歌（Google）工作的高級工程師，他表示，測量人工智慧模型的潛在危害在技術上是困難的，這導致了行業之間的不一致。他說：「人工智慧是一項非常年輕的技術，而人工智慧測試也是一個非常年輕的學科。改善安全性對社會有益；對市場也有益。」

在下一屆美國政府下，可靠的獨立測量人工智慧風險的方法可能變得更加重要。唐納德·特朗普（Donald Trump）承諾要撤回總統喬·拜登（President Biden）的人工智慧行政命令，該命令引入了確保公司負責任使用人工智慧的措施，以及一個新的人工智慧安全研究所來測試強大的模型。

這項努力也可能提供更國際化的視角來看待人工智慧的危害。MLCommons擁有多家國際公司作為會員，包括中國的華為（Huawei）和阿里巴巴（Alibaba）。如果這些公司都使用新的基準，將能夠比較美國、中國及其他地方的人工智慧安全性。

一些大型美國人工智慧公司已經使用AILuminate測試他們的模型，而MLCommons也自己測試了一些開源模型。Anthropic的Claude模型、谷歌的小型模型Gemma和微軟的Phi模型在測試中均獲得「非常好」的評分。OpenAI的GPT-4o和Meta的最大Llama模型都獲得「好」的評分。唯一獲得「差」評的模型是來自艾倫人工智慧研究所（Allen Institute for AI）的OLMo，雖然馬特森指出這是個研究產品，並不是設計來考慮安全性的。

人道智能（Humane Intelligence）的首席執行官羅曼·喬杜里（Rumman Chowdhury）表示：「總的來說，看到人工智慧評估過程中的科學嚴謹性是很好的。我們需要最佳實踐和包容性的方法來衡量人工智慧模型是否如我們所期待的那樣運作。」