每個人都在開發推理模型 — 每週AI新聞快報（2024年12月2日）
Qwen推出“QwQ-32B-Preview”推理模型，OpenAI的Sora測試者抗議，還有另一個開源競爭者AlphaFold3（Boltz-1）
這裡是你每週的生成AI文章、指南和新聞！
😎 網路新聞
QwQ：深入思考未知的邊界。QwQ-32B-Preview由Qwen團隊開發，增強了AI的推理能力，具備強大的數學和程式設計能力。在GPQA、AIME、MATH-500和LiveCodeBench等基準測試中表現出色。OpenAI的Sora視頻生成器似乎遭到洩漏。一群人洩漏了OpenAI的Sora視頻生成器的訪問權限，抗議對測試者的壓力和不充分的補償。他們在Hugging Face上建立了一個項目，生成短的帶水印視頻。OpenAI暫時停止了訪問，表示Sora仍在“研究預覽”階段，強調自願參與和安全性。介紹Boltz-1：民主化生物分子互動建模。麻省理工學院Jameel診所推出了Boltz-1，這是一個開源的生物分子建模工具，其3D結構預測的準確性與AlphaFold3相當。Boltz-1在CASP15上超越了Chai-1，在蛋白質-配體和蛋白質-蛋白質建模中顯示出更高的指標。Ai2 OpenScholar：使用檢索增強語言模型進行科學文獻綜述。Ai2 OpenScholar由華盛頓大學和艾倫人工智慧研究所開發，利用檢索增強模型來改善文獻綜述。OpenScholar在事實性和引用準確性方面超越了現有的AI模型，為科學查詢提供高效可靠的回應。ElevenLabs的新功能是NotebookLM競爭者，用於創建生成AI播客。ElevenLabs在其iOS應用程序ElevenLabs Reader上推出了GenFM，這是一個使AI生成多講者播客的功能。GenFM支持32種語言，利用YouTube視頻或文本創建具有自然人類元素的播客。介紹模型上下文協議。Anthropic推出了模型上下文協議（MCP），這是一個開放標準，用於將AI助手連接到各種數據系統，包括企業工具。它通過提供通用協議簡化數據訪問，使開發者能夠輕鬆建立安全連接。Anthropic表示Claude AI可以匹配你的獨特寫作風格。Anthropic為Claude AI引入了可自定義的風格，允許用戶訓練聊天機器人以匹配他們的寫作風格，或從三個預設選擇：正式、簡潔和解釋性。這個功能增強了個性化回應，與OpenAI和Google的類似產品競爭，有效地自動化了針對不同溝通需求的提示工程。
📚 網路指南
2024年AI的進步：10篇突破性研究論文的亮點。領先的研究人員在2024年推進了AI，實現了序列建模、互動環境、高解析度圖像合成、生物分子互動預測和多模態能力的突破。你可能設計了最先進的位置編碼。作者討論了在變壓器模型中開發最先進的位置編碼，導致了在LLama 3.2中使用的旋轉位置編碼（RoPE）。這一創新解決了在序列中有效編碼標記位置的關鍵挑戰，增強了自注意力機制。RoPE通過從加法方法轉向乘法方法來實現這一點。LLM和棋類遊戲之間發生了一些奇怪的事情。在最近的測試中，只有GPT-3.5-turbo-instruct在下棋方面表現出色，這表明大型語言模型在這個遊戲中表現不佳，可能是由於指令調整或與其他數據類型的競爭。對於其他模型如LLAMA和Qwen的嘗試始終表現不佳，突顯了模型訓練和能力的深刻差異。Coalescence：使LLM推理速度提高5倍。Coalescence通過優化結構化輸出生成顯著加速大型語言模型的推理。通過將JSON模式轉換為有限狀態機（FSM）並合併標記，Coalescence減少了不必要的模型轉換，提升速度高達五倍，而不增加額外的推理成本。
🔬 有趣的論文和資料庫
andrewyng/aisuite：簡單統一的多個生成AI提供者的介面。Aisuite為開發者提供了一個簡單的介面，以標準化系統與多個生成AI提供者（如OpenAI和Anthropic）互動。通過使用Python客戶端庫，Aisuite允許無需修改代碼即可無縫切換和測試來自各種LLM的回應。生成代理模擬1,000人。研究人員開發了一種生成代理架構，模擬1,052個個體，使用定性訪談和大型語言模型。這些代理準確地複製了態度和行為，與參與者在一般社會調查和人格測量中的反應相當。這項研究為社會科學中個體和集體行為的研究提供了基礎。我們需要RNN嗎？這篇論文重新審視了循環神經網絡，突顯了簡化這些模型的LSTM和GRU的最小版本，使其能夠進行並行訓練。這些精簡版本使用較少的參數，實現了競爭性能，挑戰了對複雜架構的主流趨勢，為各種任務提供輕量級、可調整的解決方案。星際注意力：對長序列的高效LLM推理。星際注意力通過使用區塊稀疏近似來降低自注意力的複雜性，為基於變壓器的LLM提供高效推理。它在分佈式區塊中處理上下文，允許查詢全局訪問緩存數據。與許多LLM兼容，這種方法在保持95-100%準確性的同時，實現了高達11倍的推理速度。AnchorAttention：通過改進的注意力機制增強LLM的長上下文訓練。AnchorAttention機制通過解決BFloat16精度下旋轉位置嵌入的數值問題，增強了大型語言模型的長上下文訓練。它在RULER和LongBench等長上下文任務上提高了性能，將訓練時間減少了50%以上，並與FlashAttention2和FlexAttention集成。
✨ 額外內容
這裡有其他你可能喜歡的文章：兩分鐘生成AI — Marco-o1，一個新的大型推理模型（LRM）兩分鐘生成AI — 大型語言模型何時會耗盡訓練數據？想在LinkedIn上閱讀AI、機器學習、新聞、論文等的解釋嗎？關注生成AI中央頁面！想在你的Medium動態中看到這份新聞快報和更多AI內容嗎？關注我和/或為這篇文章點贊！想通過電子郵件接收這份新聞快報嗎？這是免費的，你可以訂閱以通過電子郵件接收我的文章。我只會發送這份新聞快報。
謝謝你的閱讀！
每個人都在開發推理模型 — 每週AI新聞快報（2024年12月2日）最初發表在Generative AI的Medium上，大家仍在通過強調和回應這個故事來繼續討論。
本文由 AI 台灣 運用 AI 技術編撰，內容僅供參考，請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團，
隨時掌握最新 AI 動態與實用資訊！
