Meta AI 推出一種名為「偏好識別」的範式，並由一個名為「Mender」的生成檢索模型支持

序列推薦系統在各種平台上創造個性化用戶體驗中扮演著重要角色，但它們也面臨持續的挑戰。傳統上，這些系統依賴用戶的互動歷史來預測偏好，這常常導致推薦結果過於一般化。雖然整合輔助數據，如商品描述或意圖預測，可以提供一些改善，但這些系統在實時適應用戶偏好方面仍然困難。此外，缺乏全面的基準來評估偏好識別的能力，限制了在不同場景中評估其有效性的能力。

為了解決這些問題，來自Meta AI、ELLIS單位、LIT AI實驗室、奧地利JKU林茲機器學習研究所和威斯康辛大學麥迪遜分校的研究團隊引入了一種名為偏好識別的範式，並支持一個名為Mender（多模態偏好識別器）的生成檢索模型。這種方法明確地將推薦系統的條件設置在用戶用自然語言表達的偏好上。利用大型語言模型（LLMs），該框架從評價和商品特定數據中提取偏好，將其轉化為可行的見解。

Mender在兩個層面上捕捉商品：語義ID和自然語言描述。這種多模態的方法確保了對用戶偏好的更細緻理解。通過結合偏好近似（從用戶數據中推導偏好）和偏好條件設置，Mender使系統能夠動態適應特定用戶的偏好。此外，Meta AI還引入了一個基準，評估偏好識別的五個維度：基於偏好的推薦、情感跟隨、細粒度和粗粒度引導以及歷史整合，為評估個性化設立了新標準。

Mender的技術特點和優勢

Mender的設計專注於無縫整合用戶偏好和互動數據。它使用預訓練的語言模型來編碼偏好和互動歷史的自然語言。其交叉注意機制使解碼器能夠預測推薦商品的語義ID。Mender有兩個變體：

• MenderTok：整體處理偏好和商品序列，支持微調。
• MenderEmb：預計算嵌入以提高訓練效率。

Mender的主要好處包括：

• 偏好引導：根據用戶指定的偏好動態調整推薦。
• 情感整合：利用用戶情感來提高準確性。
• 歷史整合：將新偏好與歷史數據合併，以精煉結果。

結果和見解

Meta AI對Mender的評估顯示其在Amazon評價和Steam等數據集上有顯著的性能提升。例如：

• 在Amazon美容子集上，MenderTok的Recall@10提高了超過45%，相比基準模型。
• 在情感跟隨方面，Mender有效識別並響應用戶情感，超越其他方法達86%。
• 在細粒度引導方面，Mender實現了70.5%的相對提升，顯示出其能夠使推薦與細緻的偏好對齊。

結論

Meta AI的偏好識別範式為序列推薦系統提供了一個新視角，專注於用自然語言表達的明確用戶偏好。通過整合LLMs、多模態表示和強大的基準，這種方法改善了個性化，同時為未來的發展提供了框架。Meta AI計劃開源基礎代碼和基準，這項工作有潛力惠及廣泛的應用，推進個性化推薦的領域。

查看論文。所有研究的功勞都歸於這個項目的研究人員。此外，別忘了在Twitter上關注我們，加入我們的Telegram頻道和LinkedIn小組。還有，別忘了加入我們的60k+ ML SubReddit。

🚨 熱門消息：LG AI研究發布EXAONE 3.5：三個開源雙語前沿AI級模型，提供無與倫比的指令跟隨和長上下文理解，為生成AI卓越的全球領導地位鋪平道路……。