安索普呼籲對人工智慧進行監管以避免災難

Anthropic 提出 AI 系統的潛在風險與規範建議

Anthropic 提醒大家，AI 系統可能帶來的風險非常重要，因此需要有良好的規範來避免潛在的災難。這個組織認為，針對性的規範是必要的，這樣才能在享受 AI 帶來的好處的同時，減少它的危險。

隨著 AI 系統在數學、推理和編碼等能力上不斷進步，它們在網路安全或生物、化學等領域的濫用潛力也大幅增加。

Anthropic 警告說，未來 18 個月對於政策制定者來說是關鍵時期，因為主動預防的機會正在減少。特別是，Anthropic 的 Frontier Red Team 強調，目前的模型已經能夠參與各種網路攻擊相關的任務，未來的模型預計會更有效。

特別令人擔憂的是，AI 系統可能會加劇化學、生物、放射性和核（CBRN）濫用的風險。英國 AI 安全研究所發現，幾個 AI 模型現在能夠達到博士級人類專家的水平，能夠回答科學相關的問題。

為了應對這些風險，Anthropic 在 2023 年 9 月發布了負責任擴展政策（Responsible Scaling Policy, RSP），作為強有力的對策。RSP 要求根據 AI 能力的複雜性增加安全和保護措施。

RSP 框架設計為可調整和循環的，定期評估 AI 模型，以便及時改進安全協議。Anthropic 表示，該公司致力於在各種團隊擴展中維持和提升安全性，特別是在安全性、可解釋性和信任等領域，確保符合 RSP 設定的嚴格安全標準。

Anthropic 認為，AI 行業廣泛採用 RSP 雖然主要是自願的，但對於應對 AI 風險至關重要。

透明且有效的規範對於讓社會相信 AI 公司遵守安全承諾非常重要。然而，規範框架必須具戰略性，激勵良好的安全實踐，而不會施加不必要的負擔。

Anthropic 設想的規範應該是清晰、專注且能隨著技術變化而調整，認為這對於在減少風險和促進創新之間取得平衡至關重要。

在美國，Anthropic 建議聯邦立法可能是應對 AI 風險規範的最佳解決方案，儘管如果聯邦行動緩慢，州政府的倡議可能需要介入。各國制定的立法框架應該允許標準化和相互認可，以支持全球 AI 安全議程，減少不同地區合規的成本。

此外，Anthropic 也針對對於規範的懷疑進行回應，強調過於廣泛的用例導向規範對於一般 AI 系統來說效率不高，因為這些系統有著多樣的應用。相反，規範應該針對 AI 模型的基本特性和安全措施。

雖然涵蓋了廣泛的風險，Anthropic 承認一些即時威脅，例如深度偽造（deepfakes），並不是他們目前提案的重點，因為其他倡議正在處理這些較短期的問題。

最終，Anthropic 強調制定促進創新的規範比抑制創新更為重要。雖然初期的合規負擔是不可避免的，但可以通過靈活且精心設計的安全測試來最小化。適當的規範甚至可以幫助保護國家利益和私營部門的創新，確保知識產權不受內外威脅。

通過專注於經驗測量的風險，Anthropic 計劃建立一個不偏向開源或閉源模型的規範環境。目標依然明確：以嚴謹但可調整的規範來管理前沿 AI 模型的重大風險。

(圖片來源：Anthropic)

參考：拜登總統發布首份有關 AI 的國家安全備忘錄

想了解更多來自行業領袖的 AI 和大數據知識嗎？請查看在阿姆斯特丹、加州和倫敦舉行的 AI & 大數據博覽會。這個綜合性活動與其他領先活動同時舉行，包括智能自動化會議、BlockX、數位轉型周和網路安全與雲端博覽會。

探索 TechForge 提供的其他即將舉行的企業科技活動和網路研討會。