微軟 AI 發布 Phi-4-multimodal 和 Phi-4-mini：微軟小型語言模型 (SLMs) Phi 家族的最新模型

在當今快速發展的科技環境中，開發者和組織常常面臨一系列實際挑戰。其中一個最大的難題是如何在單一系統中有效處理各種數據類型——文本、語音和視覺。傳統的方法通常需要為每種模式建立獨立的處理管道，這樣會導致系統變得更加複雜、延遲增加以及計算成本上升。在許多應用中，從醫療診斷到金融分析，這些限制可能會妨礙響應式和自適應人工智慧解決方案的發展。因此，平衡穩定性和效率的模型需求變得更加迫切。在這樣的背景下，微軟最近在小型語言模型 (SLMs) 上的研究提供了一個有希望的解決方案，努力將能力整合在一個緊湊而多功能的包裝中。

微軟人工智慧最近推出了 Phi-4-multimodal 和 Phi-4-mini，這是其 Phi 系列小型語言模型的最新成員。這些模型的開發明確聚焦於簡化多模態處理。Phi-4-multimodal 設計用來同時處理文本、語音和視覺輸入，所有這些都在一個統一的架構中進行。這種整合的方法意味著現在只需一個模型，就可以根據不同的數據類型進行解釋和生成回應，而不需要獨立的專門系統。

相對而言，Phi-4-mini 專門針對基於文本的任務進行調整。儘管它的體積更小，但它被設計得非常出色，能夠在推理、編碼和遵循指令方面表現優異。這兩個模型都可以通過 Azure AI Foundry 和 Hugging Face 等平台獲得，確保來自各行各業的開發者可以試驗並將這些模型整合到他們的應用中。這次平衡的發布代表了向使先進人工智慧更實用和可獲得的邁出了一步。

技術細節和好處

在技術層面上，Phi-4-multimodal 是一個擁有 56 億個參數的模型，採用了混合 LoRAs 的方法，這種方法允許語音、視覺和文本在單一表示空間中整合。這種設計顯著簡化了架構，消除了需要獨立處理管道的需求。因此，該模型不僅降低了計算負擔，還實現了更低的延遲，這對於實時應用特別有利。

Phi-4-mini 擁有 38 億個參數，作為一個密集的僅解碼器變壓器構建。它具有分組查詢注意力，並擁有 200,000 個詞彙，使其能夠處理長達 128,000 個詞的序列。儘管體積較小，Phi-4-mini 在需要深度推理和語言理解的任務中表現出色。其突出的特點之一是功能調用能力，這使得它能夠與外部工具和 API 互動，從而在不需要更大、更資源密集的模型的情況下擴展其實用性。

這兩個模型都已針對設備執行進行了優化。這種優化對於在計算資源有限的環境或邊緣計算場景中的應用特別重要。模型降低的計算需求使其成為一個具有成本效益的選擇，確保即使在處理能力不強的設備上也能部署先進的人工智慧功能。

性能洞察和基準數據

基準測試結果清楚地顯示了這些模型在實際場景中的表現。例如，Phi-4-multimodal 在自動語音識別 (ASR) 任務中顯示出令人印象深刻的字詞錯誤率 (WER) 為 6.14%。這比之前的模型 WhisperV3 的 6.5% 有所改善。這樣的改進在語音識別準確性至關重要的應用中尤其重要。

除了 ASR，Phi-4-multimodal 在語音翻譯和摘要等任務中也表現出色。它在處理視覺輸入方面的能力在文檔推理、圖表理解和光學字符識別 (OCR) 等任務中尤為顯著。在多個基準測試中，從合成語音解釋視覺數據到文檔分析，該模型的表現始終與更大、更資源密集的模型相當或超過。

同樣，Phi-4-mini 在各種語言基準測試中也表現不俗，儘管它的設計更為緊湊。它在推理、處理複雜數學問題和編碼任務方面的能力突顯了其在基於文本的應用中的多樣性。功能調用機制的加入進一步豐富了它的潛力，使模型能夠無縫地調用外部數據和工具。這些結果強調了多模態和語言處理能力的穩步提升，提供了明確的好處，而不過分誇大其性能。

結論

微軟推出的 Phi-4-multimodal 和 Phi-4-mini 標誌著人工智慧領域的一個重要進展。這些模型不再依賴龐大且資源需求高的架構，而是提供了效率和性能之間的精緻平衡。通過在單一、統一的框架中整合多種模態，Phi-4-multimodal 簡化了多模態處理中固有的複雜性。與此同時，Phi-4-mini 為文本密集型任務提供了一個穩健的解決方案，證明了較小的模型確實可以提供顯著的能力。

請查看 Hugging Face 上的技術細節和模型。所有研究的功勞都歸功於該項目的研究人員。此外，隨時在 Twitter 上關注我們，別忘了加入我們的 80k+ ML SubReddit。

🚨 推薦閱讀 – LG AI Research 發布 NEXUS：一個先進的系統，整合代理 AI 系統和數據合規標準，以解決 AI 數據集中的法律問題。