細胞分割與分類是空間組學數據分析中的重要任務，為細胞結構和組織功能提供了前所未有的洞察。最近在空間組學技術方面的進展使得對完整組織的高解析度分析成為可能，支持了人類腫瘤圖譜網絡和人類生物分子圖譜計劃等倡議，以映射健康和病變狀態下的空間組織。傳統的工作流程將分割和分類視為分開的步驟，依賴於基於CNN的方法，如Mesmer、Cellpose和CELESTA。然而，這些方法通常缺乏計算效率，對不同組織類型的一致性表現不足，並且在分割中缺乏信心評估，因此需要先進的計算解決方案。
儘管CNN在生物醫學圖像的分割和分類上有所改善，但其限制妨礙了在組織圖像中整合語義信息。基於變壓器的模型，如DETR、DINO和MaskDINO，在物體檢測和分割任務中超越了CNN，顯示出在生物醫學成像中的潛力。然而，它們在多重組織圖像中的細胞和細胞核分割的應用仍需進一步探索。多重圖像以其更高的維度和重疊結構帶來了獨特的挑戰。雖然MaskDINO在自然RGB圖像上表現出色，但其在空間組學數據分析中的適應性可以彌補關鍵的空白，使得分割和分類更加準確高效。
CelloType是由賓夕法尼亞大學和愛荷華大學的研究人員開發的一種先進模型，旨在同時執行基於圖像的空間組學數據的細胞分割和分類。與傳統的兩步驟方法不同，它採用了多任務學習框架，利用基於變壓器的架構增強兩個任務的準確性。該模型整合了DINO和MaskDINO模塊，用於物體檢測、實例分割和分類，通過統一的損失函數進行優化。CelloType還支持多尺度分割，使得在組織分析中能夠精確標註細胞和非細胞結構，在多樣化數據集上顯示出優越的性能，包括多重熒光和空間轉錄組圖像。
CelloType包含三個主要模塊：（1）基於Swin變壓器的特徵提取模塊，為DINO和MaskDINO生成多尺度圖像特徵；（2）用於物體檢測和分類的DINO模塊，利用位置和內容查詢、錨盒精煉和去噪訓練；（3）用於實例分割的MaskDINO模塊，通過掩碼預測分支增強檢測。訓練過程中採用了綜合損失函數，平衡分類、邊界框和掩碼預測。CelloType使用Detectron2實現，利用COCO預訓練權重、Adam優化器以及系統評估以提升準確性，支持在Xenium和MERFISH等數據集上使用多模態空間信號的分割任務。
CelloType是一個深度學習框架，旨在對生物醫學顯微鏡圖像（如分子、組織學和明場圖像）進行多尺度分割和分類。它使用Swin變壓器提取多尺度特徵，DINO進行物體檢測和邊界框預測，MaskDINO進行精細分割。CelloType在多樣化數據集上優於Mesmer和Cellpose等方法，特別是在其信心評分變體CelloType_C上，達到了更高的精度。它有效地處理了多重的、多樣的顯微鏡和空間轉錄組數據集上的分割任務。此外，它在同時進行分割和分類方面表現優越，在結直腸癌CODEX數據上展現出高精度和適應性。
總之，CelloType是一個端到端的模型，用於空間組學數據中的細胞分割和分類，通過多任務學習將這些任務結合起來，以提高整體性能。先進的基於變壓器的技術，包括Swin變壓器和DINO模塊，改善了物體檢測、分割和分類的準確性。與傳統方法不同，CelloType整合了這些過程，在多重熒光和空間轉錄組圖像上取得了優越的結果。它還支持細胞和非細胞結構的多尺度分割，展示了其在自動組織標註中的實用性。未來的改進，包括少量樣本和對比學習，旨在解決訓練數據的限制和空間轉錄組分析中的挑戰。
查看論文。所有的研究成果都歸功於這個項目的研究人員。此外，別忘了在Twitter上關注我們，加入我們的Telegram頻道和LinkedIn小組。如果你喜歡我們的工作，你會喜歡我們的通訊。別忘了加入我們的55k+ ML SubReddit。
🎙️ 🚨 ‘大型語言模型脆弱性的評估：紅隊技術的比較分析’ 閱讀完整報告（推廣）
