Google DeepMind 研究發布 SigLIP2：一系列新的多語言視覺-語言編碼器，具備改進的語義理解、定位和密集特徵

現代的視覺語言模型改變了我們處理視覺數據的方式，但在精確定位和提取細節特徵方面，這些模型常常表現不佳。許多傳統模型專注於高層次的語義理解和零樣本分類，但在細緻的空間推理上卻有困難。這些限制可能會影響需要精確定位的應用，例如文件分析或物體分割。

此外，主要依賴對比損失的模型在需要精細空間線索的任務中，有時表現不佳。支持多語言和確保在不同文化背景中公平代表也是一個挑戰。解決這些問題對於創建技術上穩健且社會負責的模型至關重要。

谷歌深度學習研究（Google DeepMind Research）推出了SigLIP2：一系列新的多語言視覺語言編碼器，具有改進的語義理解、定位和密集特徵。SigLIP 2通過將基於標題的預訓練與自我監督的方法（如自我蒸餾和遮蔽預測）結合，擴展了原始的圖像-文本訓練目標。這種組合旨在增強整體語義表示和模型捕捉局部細節特徵的能力。訓練過程還包括多語言數據的混合，主要是英語，並使用去偏見方法以確保更公平的結果。

技術細節和好處

SigLIP 2的核心是基於視覺變壓器（Vision Transformers），確保與早期版本的向後兼容性。這意味著用戶可以替換模型權重，而無需徹底改造整個系統。該模型使用sigmoid損失，而不是傳統的對比損失，這使得全局和局部特徵的學習更加平衡。

除了sigmoid損失外，SigLIP 2還結合了基於解碼器的損失。這有助於學習圖像標題和特定區域的定位任務，最終在密集預測任務中表現更佳。該模型的設計還包括一個MAP頭，用於從圖像和文本組件中提取特徵，確保學習到的表示既穩健又詳細。另一個值得注意的技術特點是NaFlex變體的引入。NaFlex通過使用單一檢查點處理不同解析度的圖像，支持原生的長寬比。這種方法有助於保持圖像的空間信息的完整性，這在長寬比可能影響結果的任務中尤為重要，例如文件理解或光學字符識別（OCR）。

此外，自我蒸餾和遮蔽預測的使用提高了局部特徵的質量。通過訓練模型預測被遮蔽的區域，它學會專注於對於分割和深度估計等任務至關重要的細微細節。這種精心設計使得即使是較小的模型也能通過增強的蒸餾技術實現更好的性能。

結果、數據洞察和評估

論文中的實驗結果支持了SigLIP 2所做的技術選擇。在多個基準測試中，包括在ImageNet、ObjectNet和ImageNet ReaL上的零樣本分類測試，該模型顯示出相較於早期模型的一致改進。這些好處在需要詳細空間理解的任務中尤為明顯。

在多語言圖像-文本檢索任務中，例如在Crossmodal-3600上進行的評估，SigLIP 2的表現與專為多語言數據設計的模型相當。同時，它在以英語為中心的任務中也保持強勁的表現。這種平衡是通過仔細的數據策劃和強調語義豐富性與定位精確性的訓練方法實現的。在密集預測任務中，例如語義分割、深度估計和表面法線預測，該模型的優勢再次顯而易見。在開放詞彙分割框架（如Cat-Seg）上測試時，SigLIP 2的平均交集聯合（mIoU）得分始終高於其前身和其他開放權重模型。這些結果證明了該模型捕捉圖像中複雜細節的能力。

定位任務也受益於該模型的精細訓練。例如，在參考表達理解和開放詞彙檢測中，性能的改善十分明顯。該模型不僅能更有效地對齊文本和圖像特徵，還顯示出減少偏見聯想的趨勢。在對表示偏見的評估中，SigLIP 2顯示出不公平的物體與性別聯想顯著減少，這突顯了訓練過程中使用的去偏見技術的重要性。研究提供了一系列比較表和圖形，詳細說明了這些改進。數據顯示，隨著模型大小的增加，這些訓練增強的好處變得更加明顯。在各種配置和解析度下，該模型的性能仍然穩健，使其成為研究和實際應用的強有力候選者。

結論

總之，SigLIP 2代表了視覺語言模型發展中的一個穩健且精心設計的進步。它將已建立的技術與深思熟慮的創新相結合，以解決已知的挑戰，如精細定位、密集預測和多語言支持。通過不再僅依賴對比損失並結合額外的自我監督目標，SigLIP 2實現了對視覺數據更平衡的表示。通過NaFlex變體對原生長寬比的精心處理，進一步提高了其在現實場景中的適用性，特別是在圖像完整性至關重要的情況下。

多語言數據和去偏見措施的納入反映了對這些模型運作的多樣背景的認識。這種方法不僅提高了在各種基準上的性能，還確保模型更好地符合AI中的更廣泛倫理考量。總體而言，SigLIP 2的發布對視覺語言研究社區是一個令人鼓舞的發展。它提供了一個多功能的、向後兼容的框架，可以輕鬆集成到現有系統中。該模型在各種任務中提供可靠性能的能力，同時保持公平性和包容性，為未來該領域的研究設定了一個深思熟慮的基準。