神經資訊處理系統 (NeurIPS) 2024

蘋果公司 (Apple Inc.) 在每年一度的神經資訊處理系統會議 (NeurIPS) 上發表新的研究成果，會議將於 12 月 10 日至 15 日在加拿大溫哥華舉行。我們很自豪再次贊助這個多軌道的跨學科會議，這個會議將科學和工業研究社群聚集在一起，專注於機器學習。以下是蘋果公司在 NeurIPS 2024 的參與概覽。

演示

MLX

MLX 是一個靈活的數組框架，專為蘋果矽 (Apple silicon) 優化，由蘋果的機器學習研究團隊提供。它能夠在蘋果矽驅動的設備上以簡潔和靈活的方式訓練和推理任意複雜的模型。演示將展示在 iPhone 上微調 7B 參數的 LLM、在 iPad 上使用大型擴散模型生成圖像，以及在 M2 Ultra 上使用多個大型語言模型生成文本的例子。這個演示將在星期二到星期四的展位時間內進行。了解更多關於 MLX 的信息。

MobileCLIP：實時圖像-文本模型

MobileCLIP 是一系列適合移動設備的圖像-文本模型，具有混合的 CNN/Transformer 架構。這些模型的組合達到了最佳的準確性-延遲權衡。MobileCLIP-B 獲得了最先進的結果。這個演示將在星期二到星期四的展位時間內進行。了解更多關於 MobileCLIP 的信息。

所有會議參加者都被邀請來我們的展位親自體驗這些演示。

接受的論文

會後將添加帶有 ◊ 的論文鏈接，隨著它們的可用性而更新。

4M-21：一個適用於多任務和多模態的任意到任意視覺模型

Roman Bachmann、Oguzhan Kar、David Mizrahi、Ali Garjani、Mingfei Gao、David Griffiths、Jimmy Hu、Afshin Dehghan、Amir Zamir

聚合和適應自然語言提示以促進 CLIP 的下游泛化

Chen Huang、Skyler Seto、Samira Abnar、David Grangier、Navdeep Jaitly、Josh Susskind

DataComp-LM：尋找下一代語言模型的訓練集

Jeffrey Li、Alex Fang、Georgios Smyrnis、Matt Jordan、Maor Igvi、Hadi Pour Ansari、Fartash Faghri、Alaaeldin Mohamed Elnouby Ali、Alexander Toshev、Alex Dimakis 等。

數據集分解：使用可變序列長度課程加速 LLM 訓練

Hadi Pour Ansari、Chun-Liang Li、Rick Chang、Pavan Kumar Anasosalu Vasu、Cem Koc、Vaishaal Shankar、Oncel Tuzel

GENOT：具有單細胞基因組學應用的熵 (Gromov) 瓦瑟斯坦流匹配

Dominik Klein、Theo Uscidda、Fabian Theis、Marco Cuturi Cameto

用戶級私有隨機凸優化的更快算法

Hilal Asi、Daogao Liu、Andrew Lowy

多模態大型語言模型在行動空間中的基礎 ◊

Andrew Szot、Bogdan Mazoure、Harsh Agrawal、Devon Hjelm、Zsolt Kira、Alexander Toshev

變壓器能推理多遠？全球性障礙和歸納草稿

Emmanuel Abbe、Samy Bengio、Aryo Lotfi、Colin Sandon、Omid Saremi

JEPA 如何避免噪聲特徵：深度線性自蒸餾網絡的隱性偏見

Etai Littwin、Omid Saremi、Madhu Advani、Chen Huang、Preetum Nakkiran、Josh Susskind、Vimal Thilak

在瓦瑟斯坦距離中進行實例最佳私有密度估計

Vitaly Feldman、Audra McMillan、Satchit Sivakumar、Kunal Talwar

Kaleido 擴散：通過自回歸潛在建模改進條件擴散模型

Jiatao Gu、Ying Shen、Shuangfei Zhai、Yizhe Zhang、Navdeep Jaitly、Josh Susskind

學習空間對齊的文本和音頻表示 ◊

Bhavika Devnani、Skyler Seto、Zak Aldeneh、Alessandro Toso、Elena Menyaylenko、Barry Theobald、Jonathan Sheaffer、Miguel Sarabia del Castillo

學習彈性成本以塑造 Monge 位移

Michal Klein、Aram Alexandre Pooladian、Pierre Ablin、Eugene Ndiaye、Jonathan Niles Weed、Marco Cuturi

ODGEN：使用擴散模型生成特定領域的物體檢測數據

JingYuan Zhu、Shiyu Li、Andy Liu、Ping Huang、Jiulong Shan、Huimin Ma、Jian Yuan

PFL-研究：加速私有聯邦學習研究的模擬框架

Filip Granqvist、Congzheng Song、Aine Cahill、Rogier van Dalen、Martin Pelikan、Yi Sheng Chan、Xiaojun Feng、Natarajan Krishnaswami、Vojta Jina、Mona Chitnis

在聯邦環境中進行私有和個性化頻率估計

Amrith Setlur、Vitaly Feldman、Kunal Talwar

通過懶惰算法進行私有在線學習

Hilal Asi、Daogao Liu、Tomer Koren、Kunal Talwar

具有重尾的私有隨機凸優化

Hilal Asi、Daogao Liu、Kevin Tian

漸進熵最佳運輸求解器

Parnian Kassraie、Aram Alexandre Pooladian、Michal Klein、James Thornton、Jonathan Niles-Weed、Marco Cuturi

戰略線性上下文強盜

Aadi Saha、Thomas Kleine Buening、Christos Dimitrakakis、Haifeng Xu

變換不變學習和 OOD 泛化的理論保證 ◊

Omar Montasser、Han Shao、Emmanuel Abbe

多重校準後處理何時是必要的？

Dutch Hansen、Siddartha Devic、Preetum Nakkiran、Vatsal Sharan

接受的工作坊論文

會後將添加帶有 ◊ 的工作坊論文鏈接，隨著它們的可用性而更新。

AdEMAMix：利用非常舊的梯度的驚人相關性 ◊

Matteo Pagliardini、Pierre Ablin、David Grangier

無分類器引導是一種預測-校正器

Arwen Bradley、Preetum Nakkiran

訓練小規模大型語言模型的計算瓶頸

Saleh Ashkboos、Iman Mirzadeh、Keivan Alizadeh、Mohammad Hossein Sekhavat、Moin Nabi、Mehrdad Farajtabar、Fartash Faghri

針對後續對話的設備導向語音檢測，使用大型語言模型

Oggi Rudovic、Pranay Dighe、Yi Su、Vineet Garg、Sameer Dharur、Xiaochuan Niu、Ahmed Hussen Abdelaziz、Saurabh Adya、Ahmed Tewfik

壓縮的 LLM 是否會忘記知識？一項具有實際意義的實驗研究

Scott Hoang、Minsik Cho、Thomas Merth、Atlas Wang、Mohammad Rastegari、Devang Naik

LLM 在遵循指令時是否能很好地估計不確定性？

Juyeon Heo、Miao Xiong、Christina Heinze-Deml、Jaya Narain

LLM 內部是否“知道”它們何時遵循指令？

Juyeon Heo、Christina Heinze-Deml、Shirley Ren、Oussama Elachqar、Udhay Nallasamy、Andy Miller、Jaya Narain

在黑暗中對抗：一種有效且最佳的 O(√T) 鏡面下降方法，用於對抗對抗性偏好 ◊

Aadi Saha、Yonathan Efroni、Barry Theobald

Duo-LLMs：研究大型語言模型中的自適應計算的框架

Keivan Alizadeh Vahid、Iman Mirzadeh、Mohammad Sekhavat、Minsik Cho、Dmitry Belenko、Frank Sun、Hooman Shahrokhi、Moin Nabi、Mehrdad Farajtabar

高效且有效的 LLM 不確定性量化 ◊

Miao Xiong、Andrea Santilli、Michael Kirchhof、Adam Golinski、Sinead Williamson

通過空間條件增強 JEPA：穩健且高效的表示學習

Etai Littwin、Vimal Thilak、Anand Gopalakrishnan

評估預訓練和提示調整語言模型之間的性別偏見轉移 ◊

Niv Sivakumar、Natalie Mackraz、Samira Khorshidi、Krishna Patel、Barry Theobald、Luca Zappella、Nick Apostoloff

訓練過程中的公平性動態 ◊

Krishna Patel、Niv Sivakumar、Barry Theobald、Luca Zappella、Nick Apostoloff

通過輕量不變特徵學習對稱矩陣和點雲上的函數 ◊

Ben Blum-Smith、Teresa Huang、Marco Cuturi、Soledad Villar

利用周期性增強多模態情緒模式模型的穩健性

Jaya Narain、Jenny Sun、Oussama Elachqar、Haraldur Hallgrimsson、Feng Zhu、Shirley Ren

通過蒸餾實現記憶保留的微調

Zitong Yang、Aonan Zhang、Sam Wiseman、Xiang Kong、Ke Ye、Dong Yin

非同步私有聯邦學習中的動量近似 ◊

Tao Yu、Congzheng Song、Jianyu Wang、Mona Chitnis

在生成 QA 任務中不確定性分數和答案評估指標之間的虛假交互 ◊

Andrea Santilli、Miao Xiong、Michael Kirchhof、Pau Rodriguez Lopez、Federico Danieli、Xavier Suau Cuadros、Luca Zappella、Sinead Williamson、Adam Golinski

促進跨模態表示以改善生理信號的多模態基礎模型

Ching Fang、Chris Sandino、Behrooz Mahasseni、Juri Minxha、Hadi Pour Ansari、Erdrin Azemi、Ali Moin、Ellen Zippi

SALSA：基於湯的對齊學習以增強 RLHF 中的適應性 ◊

Atoosa Malemir Chegini、Hamid Kazemi、Iman Mirzadeh、Dong Yin、Max Horton、Moin Nabi、Mehrdad Farajtabar、Keivan Alizadeh Vahid

智能擴展：通過小模型初始化加速大型語言模型的預訓練

Mohammad Samragh Razlighi、Iman Mirzadeh、Keivan Alizadeh Vahid、Fartash Faghri、Minsik Cho、Moin Nabi、Devang Naik、Mehrdad Farajtabar

TiC-LM：持續預訓練語言模型的多年度基準 ◊

Jeffrey Li、Mohammadreza Armandpour、Iman Mirzadeh、Sachin Mehta、Vaishaal Shankar、Raviteja Vemulapalli、Oncel Tuzel、Mehrdad Farajtabar、Hadi Pour Ansari、Fartash Faghri

朝著時間序列推理的 LLM

Winnie Chow、Lauren Gardiner、Haraldur Hallgrimsson、Maxwell A. Xu、Shirley Ren

朝著數據中心的 RLHF：偏好數據集比較的簡單指標

Judy Hanwen Shen、Archit Sharma、Jun Qin

朝著低位元通信的張量並行 LLM 推理

Harry Dong、Tyler Johnson、Minsik Cho、Emad Soroush

理解稀疏專家混合語言模型中的計算-參數權衡 ◊

Harshay Shah、Samira Abnar、Vimal Thilak、Dan Busbridge、Alaaeldin Mohamed Elnouby Ali、Josh Susskind

致謝

Samy Bengio 是董事會成員。

Kunal Talwar、Marco Cuturi、Pierre Ablin、Samy Bengio 和 Sinead Williamson 是高級區域主席。

Aadirupa Saha、Byeongjoo Ahn、Natalie Schluter、Navdeep Jaitly、Oncel Tuzel、Pau Rodriguez Lopez、Preetum Nakkiran、Shams Azam、Tatiana Likhomanenko 和 Yizhe Zhang 是區域主席。

Audra McMillan 是倫理審查員。

Arno Blaas、Dapeng Hu、Enrico Fini、Harsh Sharma、Josh Gardner、Louis Béthune、Maartje ter Hoeve、Miguel Sarabia、Mohammad Sekhavat、Niv Sivakumar、Pau Rodriguez Lopez、Ramprasaath Ramasamy Selvaraju、Richard Bai、TT Guo、Vimal Thilak 和 Yuyang Wang 是會議審查員。

Antoine Wehenkel、Arno Blaas、Pau Rodriguez Lopez、Rin Metcalf Susa 和 Xavier Suau Cuadros 是工作坊組織者。

Samira Abnar 和 Vimal Thilak 是工作坊審查員。