2024年NeurIPS五篇必讀頂尖論文

NeurIPS 2024 最佳論文獎的得主已經公布，這些獎項表彰了在機器學習領域的傑出貢獻。今年共提交了 15,671 篇論文，其中 4,037 篇被接受，接受率為 25.76%。這些享有盛譽的獎項是由專業委員會經過嚴格評估後頒發的，委員會成員包括擁有不同專業背景的知名研究人員，這些成員由會議的程序、總體和 DIA 主席提名和批准。為了保持 NeurIPS 盲評過程的公正性，這些委員會專注於科學價值，以識別最優秀的研究成果。

什麼是 NeurIPS？

神經信息處理系統會議 (NeurIPS) 是人工智慧 (AI) 和機器學習 (ML) 領域最具聲望和影響力的會議之一。自 1987 年成立以來，NeurIPS 已經成為研究人員、實踐者和思想領袖的重要活動，匯聚了 AI、ML、神經科學、統計學和計算科學的前沿發展。

得獎者：突破性研究

今年，有五篇論文獲得了獎項，其中四篇來自主題軌道，一篇來自數據集和基準軌道，這些論文因其變革性的想法而受到認可。這些研究提出了針對機器學習中關鍵挑戰的新方法，涵蓋了圖像生成、神經網絡訓練、大型語言模型 (LLMs) 和數據集對齊等主題。以下是這些獲獎論文的詳細介紹：

NeurIPS 2024 主題軌道最佳論文

論文 1：視覺自回歸建模：通過下一尺度預測進行可擴展的圖像生成

這篇論文：連結

作者：田珂宇、江怡、袁澤煥、彭冰月、王立偉

這篇論文介紹了一種革命性的視覺自回歸 (VAR) 模型，用於圖像生成。與傳統的自回歸模型不同，傳統模型根據任意順序預測後續的圖像區塊，而 VAR 模型則迭代預測圖像的下一個更高解析度。其關鍵組件是創新的多尺度 VQ-VAE 實現，這提高了可擴展性和效率。VAR 模型在速度上超越了當前的自回歸方法，並在與基於擴散的模型的競爭中表現出色。這項研究的深刻見解，得到了實驗驗證和擴展法則的支持，標誌著圖像生成技術的一次重大飛躍。

論文 2：隨機泰勒導數估計器：對任意微分運算符的高效攤銷

這篇論文：連結

作者：施澤坤、胡哲源、林敏、川口賢司

這篇論文針對使用高階導數進行監督訓練神經網絡 (NN) 的挑戰，提出了隨機泰勒導數估計器 (STDE)。傳統方法在擬合偏微分方程 (PDEs) 的物理知識神經網絡中計算成本高且不實用。STDE 通過同時對大維度 (高 ddd) 和高階 (高 kkk) 導數運算進行高效攤銷，減輕了這些限制。這項工作為更複雜的科學應用鋪平了道路，並促進了高階導數知識的監督學習的廣泛應用。

NeurIPS 2024 主題軌道最佳論文亞軍

論文 3：並非所有標記都是預訓練所需的

這篇論文：連結

作者：林正浩、勾志斌、龔業雲、劉曉、沈業龍、徐若晨、林晨、楊宇久、焦建、段南、陳偉珠

這篇論文提出了一種創新的標記過濾機制，以提高大型語言模型 (LLMs) 的預訓練效率。通過利用高質量的參考數據集和參考語言模型，為來自更大語料庫的標記分配質量分數。高排名的標記指導最終的訓練過程，增強了對齊和數據集質量，同時丟棄低質量數據。這種實用而有效的方法確保 LLMs 在更精緻和有影響力的數據集上進行訓練。

論文 4：用自身的劣質版本引導擴散模型

這篇論文：連結

作者：特羅·卡拉斯、米卡·艾塔拉、圖馬斯·金卡尼米、雅科·雷希寧、蒂莫·艾拉、薩穆利·萊內

這篇論文挑戰了用於文本到圖像 (T2I) 擴散模型的傳統無分類器引導 (CFG)，引入了自動引導 (Autoguidance)。自動引導不依賴於無條件項（如 CFG），而是使用同一擴散模型的訓練不足、噪聲較大的版本。這種方法通過解決 CFG 的限制，如生成多樣性降低，來改善圖像的多樣性和質量。這篇論文的創新策略為增強提示對齊和 T2I 模型輸出提供了新的視角。

NeurIPS 2024 數據集與基準軌道最佳論文

以下是數據集與基準軌道的最佳論文：

PRISM 對齊數據集：參與性、代表性和個性化的人類反饋對大型語言模型的主觀和多元文化對齊的啟示

這篇論文：連結

作者：漢娜·羅斯·柯克、亞歷山大·懷特菲爾德、保羅·羅特格、安德魯·邁克爾·比恩、卡特里娜·馬爾加蒂娜、拉斐爾·莫斯克拉、胡安·曼努埃爾·西羅、麥克斯·巴托洛、阿迪娜·威廉姆斯、何何、伯蒂·維根、斯科特·A·黑爾

PRISM 數據集因其關注大型語言模型 (LLMs) 與多樣人類反饋的對齊而脫穎而出。該數據集來自 75 個國家，涵蓋不同的人口統計，突顯了主觀和多元文化的觀點。作者對 20 多個最先進的模型進行了基準測試，揭示了強化學習與人類反饋 (RLHF) 中的多元主義和分歧。這篇論文對社會價值特別重要，促進了研究 AI 系統與全球多樣人類價值的對齊。

背後的卓越委員會

最佳論文獎委員會由受尊敬的專家領導，確保評估的公平和徹底：

主題軌道委員會：馬爾科·庫圖里（負責人）、澤伊內普·阿卡塔、金·布蘭森、沙基爾·穆罕默德、雷米·穆諾斯、唐杰、理查德·澤梅爾、盧克·澤特爾莫耶。

數據集與基準軌道委員會：尤莉亞·蓋爾、路德維希·施密特、艾琳娜·辛佩爾、霍金·范斯霍倫、謝興。

以下是去年的論文：在 NeurIPS 上展示的 11 篇優秀論文

NeurIPS 2024 年級

1. 全球頂尖貢獻者

麻省理工學院 (MIT) 以 3.58% 的貢獻率領先。

其他頂尖機構包括：

史丹佛大學：2.96%

微軟：2.96%

哈佛大學：2.84%

Meta：2.47%

清華大學 (中國)：2.71%

新加坡國立大學 (NUS)：2.71%

2. 區域洞察

北美 (紫色)

美國機構主導 AI 研究貢獻。主要貢獻者包括：

麻省理工學院 (3.58%)

史丹佛大學 (2.96%)

哈佛大學 (2.84%)

卡內基梅隆大學 (2.34%)

美國的一些知名科技公司，如微軟 (2.96%)、谷歌 (2.59%)、Meta (2.47%) 和英偉達 (0.86%)，在此領域也扮演著重要角色。

加州大學伯克利分校 (2.22%) 和華盛頓大學 (1.48%) 等大學也名列前茅。

亞太地區 (黃色)

中國在亞洲的 AI 研究中領先，主要貢獻者包括：

清華大學：2.71%

北京大學：2.22%

上海交通大學：2.22%

中國科學院：1.97%

上海 AI 實驗室：1.48%

新加坡的機構也相當突出：

新加坡國立大學 (NUS)：2.71%

其他貢獻者包括浙江大學 (1.85%) 和香港的機構。

歐洲 (紅色)

歐洲的研究雖然強勁，但較為分散：

谷歌 DeepMind 在歐洲的貢獻率為 1.85%。

ETH 蘇黎世和 Inria 的貢獻率均為 1.11%。

劍橋大學、牛津大學和其他德國機構的貢獻率均為 1.11%。

如 CNRS (0.62%) 和馬克斯·普朗克研究所 (0.49%) 等機構仍然是重要的貢獻者。

世界其他地區 (綠色)

來自加拿大的貢獻值得注意：

蒙特利爾大學：1.23%

麥吉爾大學：0.86%

多倫多大學：1.11%

新興貢獻者包括：

韓國科學技術院 (KAIST)：0.86%

穆罕默德·本·扎耶德人工智慧大學：0.62%

3. 主要模式和趨勢

美國和中國主導：來自美國和中國的機構在全球 AI 研究中領先，佔據了大部分貢獻。

科技公司的角色：微軟、谷歌、Meta、英偉達和谷歌 DeepMind 等公司是重要的貢獻者，突顯了產業在 AI 進步中的作用。

亞太地區的崛起：中國和新加坡的貢獻穩步增長，顯示出亞洲對 AI 研究的強烈關注。

歐洲的分散化：雖然歐洲有許多貢獻者，但其個別貢獻率相對於美國或中國的機構較小。

NeurIPS 2024 的貢獻強調了美國機構和科技公司的主導地位，同時中國在學術界和產業研究中的崛起。歐洲和加拿大仍然是重要的參與者，而亞洲太平洋地區如新加坡的勢頭也在增長。

結論

NeurIPS 2024 最佳論文獎慶祝了推動機器學習邊界的研究。從提高大型語言模型的效率到開創圖像生成和數據集對齊的新方法，這些論文反映了會議對推進 AI 的承諾。這些作品不僅展示了創新，還解決了關鍵挑戰，為機器學習及其應用的未來奠定了基礎。