微軟 AI 剛剛發布 Phi-4：一個可在 Hugging Face 上以 MIT 授權使用的小型語言模型

微軟（Microsoft）在 Hugging Face 上發布了 Phi-4，這是一個小型且高效的語言模型，並且是根據 MIT 許可證開放的。這個決定顯示出人工智慧（AI）社群在透明度和合作方面的轉變，為開發者和研究人員提供了新的機會。

什麼是微軟 Phi-4？

Phi-4 是一個擁有 140 億個參數的語言模型，專注於數據質量和效率。與許多依賴自然數據來源的模型不同，Phi-4 結合了通過多代理提示、指令反轉和自我修訂工作流程等創新方法生成的高品質合成數據。這些技術增強了它的推理和解決問題的能力，使其適合需要細緻理解的任務。

Phi-4 基於僅解碼器的 Transformer 架構，具有 16,000 個標記的擴展上下文長度，確保在處理大型輸入時的多樣性。它的預訓練涉及約 10 萬億個標記，利用合成數據和高度策劃的自然數據的混合，以在 MMLU 和 HumanEval 等基準上取得優異表現。

特點和好處

• 緊湊且可訪問：能在消費級硬體上有效運行。
• 推理增強：在 STEM（科學、技術、工程和數學）相關任務中表現超過前任和更大型的模型。
• 可自定義：支持使用多樣的合成數據集進行微調，以滿足特定領域的需求。
• 易於整合：在 Hugging Face 上提供，並附有詳細的文檔和 API。

為什麼開放源碼？

開放源碼 Phi-4 促進了合作、透明度和更廣泛的採用。主要動機包括：

• 合作改進：研究人員和開發者可以改進模型的性能。
• 教育訪問：免費的工具使學習和實驗變得可能。
• 開發者的多樣性：Phi-4 的性能和可訪問性使其成為現實應用的吸引選擇。

Phi-4 的技術創新

Phi-4 的開發遵循三個支柱：

• 合成數據：使用多代理和自我修訂技術生成的合成數據是 Phi-4 訓練過程的核心，增強了推理能力並減少了對自然數據的依賴。
• 訓練後增強：如拒絕抽樣和直接偏好優化（DPO）等技術提高了輸出質量和與人類偏好的對齊。
• 去污染的訓練數據：嚴格的過濾過程確保排除了與基準重疊的數據，改善了泛化能力。

Phi-4 還利用關鍵標記搜尋（Pivotal Token Search, PTS）來識別其回應中的關鍵決策點，精煉其處理推理密集型任務的能力。

如何訪問 Phi-4

Phi-4 在 Hugging Face 上根據 MIT 許可證托管。用戶可以：

• 訪問模型的代碼和文檔。
• 使用提供的數據集和工具對其進行特定任務的微調。
• 利用 API 進行無縫整合到項目中。

對 AI 的影響

通過降低高級 AI 工具的進入門檻，Phi-4 促進了：

• 研究增長：促進在 STEM 和多語言任務等領域的實驗。
• 增強教育：為學生和教育者提供實用的學習資源。
• 行業應用：為客戶支持、翻譯和文檔摘要等挑戰提供成本效益的解決方案。

社群與未來

Phi-4 的發布受到廣泛好評，開發者們分享了微調的適應版本和創新應用。它在 STEM 推理基準中的優異表現顯示了它重新定義小型語言模型所能達到的潛力。微軟與 Hugging Face 的合作預計將導致更多的開源計劃，進一步推動 AI 的創新。

結論

Phi-4 的開放源碼反映了微軟對民主化 AI 的承諾。通過免費提供一個強大的語言模型，該公司使全球社群能夠創新和合作。隨著 Phi-4 繼續找到多樣的應用，它展示了開源 AI 在推進研究、教育和行業方面的變革潛力。