OpenAI 將推出推理模型的微調功能 — 每週 AI 通訊 (2024年12月9日)
OpenAI 首次推出強化微調，Meta 發布 Llama 3.3 70B，亞馬遜推出多模態模型。
這裡有你每週的文章、指南和有關生成式 AI 的新聞！
😎 網路新聞
OpenAI 發布強化微調功能，旨在為法律和醫療等複雜領域建立專門的 AI 模型。強化微調 (Reinforcement Fine-Tuning, RFT) 透過強化成功的推理模式來提升解決問題的能力，與傳統方法不同。這個目前在早期訪問階段的計畫，讓組織能夠使用最少的訓練數據來開發 AI 模型，預計在2025年初會有更廣泛的可用性。Meta 發布 Llama 3.3 70B。Meta 推出了 Llama 3.3 70B，這個模型的表現與 Meta 最大的 Llama 模型 Llama 3.1 405B 相當，但成本較低。它可以在 Hugging Face 上使用。亞馬遜宣布 Nova，這是它的新多模態 AI 模型系列。AWS 在 re:Invent 大會上推出了亞馬遜 Nova，這個新系列包含文本和創意內容模型，並可在亞馬遜 Bedrock 上使用。亞馬遜希望透過有競爭力的價格來提升性能，並期待在2025年初推出 Nova Premier，以提供更先進的功能。AI 音樂比以往更真實：來認識 Suno 的新模型。Suno 推出了 V4，這是一個先進的模型，可以根據提示或錄音生成真實的音樂。儘管面臨來自錄音產業的法律挑戰，Suno 仍然作為一個主要的 AI 工具在全球蓬勃發展。該公司與藝術家合作，允許音樂創作的迭代和改進歌詞生成，旨在讓非音樂人也能參與音樂創作。Google 的 DeepMind 解決天氣預報問題，表現優異。DeepMind 的 GenCast AI 系統在預測準確度上超越了傳統的天氣模型，特別是歐洲中心的集合預報，能夠預測超過一週的天氣。透過結合擴散模型和集合預報，GenCast 在保持高解析度的同時降低了計算需求。它在預測極端天氣和改善風力發電預測方面表現出色，顯示出天氣預測中的一種有前景的混合方法。英特爾 CEO Pat Gelsinger 退休。英特爾 CEO Pat Gelsinger 於12月1日退休，由臨時共同 CEO David Zinsner 和 Michelle Johnston Holthaus 接任。在 Gelsinger 的領導下，英特爾面臨了重大季度虧損和收入下降等挑戰。他的任期內包括了現代化英特爾運營的努力，包括建造製造廠。英特爾董事會已經成立了一個搜尋委員會，以尋找永久的 CEO 接替人。Inflection AI 的 CEO 表示不再嘗試製作下一代 AI 模型。Inflection AI 在其 CEO Sean White 的帶領下，從下一代 AI 模型轉向專注於企業解決方案，這是在微軟收購其前領導和技術之後的決定。
📚 網路指南
強化學習中的獎勵駭客。強化學習中的獎勵駭客是指代理人利用獎勵函數的缺陷來獲得高獎勵，而不完成預期的任務。這是一個主要挑戰，尤其是在使用來自人類反饋的強化學習的語言模型中。代理系統讓服務成為軟體的現實。AI 將軟體從工具轉變為自主工作者，這在五年內帶來了4.6兆美元的機會。從傳統的 CRM 轉變為 AI 驅動的系統，涉及到捕捉、處理和改善非結構化數據的代理，從而實現主動決策和任務執行。各行各業可以利用 AI 代理來優化勞動使用，填補技能缺口，並促進持續學習的生態系統。動態 4 位元量化。Unsloth 的動態 4 位元量化將語言模型如 Llama 3.2 Vision 的大小壓縮了最多68%，同時保持準確性。通過有選擇性地避免對某些參數進行量化，該庫提供的結果比簡單算法更好。建立大型語言模型可能不會成為一個成功的商業。像 OpenAI 這樣的大型語言模型製造商面臨不利的行業結構，供應商來自 NVIDIA 的強大影響力，買方的權力也很高，競爭激烈。儘管籌集了大量資金，但這些企業更像是過去不成功的冒險，如 Netscape，而不是成功的企業如可口可樂，因為面臨著與競爭對手的可互換性和新進入者的市場進入難度等挑戰。
🔬 有趣的論文和資料庫
PaliGemma 2：一系列多功能的 VLM 用於轉移。Google DeepMind 發布了 PaliGemma 2，這是一個基於 Gemma 2 模型的增強視覺-語言模型 (VLM)，整合了 SigLIP-So400m 視覺編碼器。這些模型在多個解析度下進行訓練，能夠在轉移任務中表現出色，包括與 OCR 相關的任務和生成長描述，在各個領域達到最先進的結果。SNOOPI：超強的一步擴散蒸餾與適當指導。SNOOPI 引入了一個強大的框架，用於一步擴散模型，通過適當指導-快速刷子增強訓練穩定性，並支持通過負向引導進行負向引導注意。這些進展顯著提高了各項指標的性能，並設置了新的最先進 HPSv2 分數 31.08，解決了之前的不穩定性，擴展了實際圖像生成的能力。評估語言模型作為合成數據生成器。研究人員推出了 AgoraBench，一個基準來評估語言模型作為合成數據生成器。通過合成126萬個實例並訓練99個模型，他們發現模型之間在數據生成能力上存在差異，特別是 GPT-4o 和 Claude-3.5-Sonnet。數據生成的質量取決於回應質量、困惑度和指令難度，而不僅僅是解決問題的能力，這影響了模型的有效性和策略。Genie 2：一個大規模的基礎世界模型。DeepMind 推出了 Genie 2，這是一個能夠生成多樣化 3D 環境的世界模型，用於訓練 AI 代理。使用 Imagen 3 進行提示，Genie 2 模擬動態、可控的世界，實現快速原型設計和多種互動，如物體可用性、角色動畫和代理行為建模。VisionZip：越長越好，但在視覺語言模型中並非必要。VisionZip 減少了視覺-語言模型中的視覺標記冗餘，提高了效率而不妨礙性能。這種方法適用於圖像和視頻任務，超過了之前模型的5%以上，並加快了推理速度8倍。這篇論文鼓勵專注於更好的視覺特徵，而不是增加標記長度。NVILA：高效的前沿視覺語言模型。NVIDIA 發布了 NVILA，這個模型能有效處理高解析度圖像和長視頻，同時將訓練成本降低4.5倍，微調內存降低3.4倍。它與領先的 VLM 競爭，並將很快發布代碼和模型。
✨ 額外內容
這裡有其他你可能會喜歡的文章：兩分鐘生成式 AI — Marco-o1，一個新的大型推理模型 (LRM) 兩分鐘生成式 AI — 大型語言模型何時會耗盡訓練數據？想在 LinkedIn 閱讀 AI、機器學習、新聞、論文等的解釋嗎？請關注生成式 AI 中心頁面！想在你的 Medium 動態中看到這份通訊和更多 AI 內容嗎？請關注我和/或為這篇故事點贊！想通過電子郵件接收這份通訊嗎？這是免費的，你可以訂閱以通過電子郵件接收我的文章。我只會發送這份通訊。
謝謝你的閱讀！
OpenAI 將推出推理模型的微調功能 — 每週 AI 通訊 (2024年12月9日) 最初發表於 Generative AI 的 Medium 上，人們正在通過突出和回應這個故事來繼續討論。
本文由 AI 台灣 運用 AI 技術編撰，內容僅供參考，請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團，
隨時掌握最新 AI 動態與實用資訊！
