深度學習技術越來越多地應用於神經影像分析，其中3D CNN在體積成像方面提供了卓越的性能。然而，它們對大型數據集的依賴使得醫療數據的收集和標註成本高昂且費時。作為替代方案，2D CNN利用3D圖像的2D投影，這往往限制了體積背景，影響診斷準確性。像轉移學習和知識蒸餾（KD）等技術通過利用預訓練模型並將知識從複雜的教師網絡轉移到更簡單的學生模型來解決這些挑戰。這些方法在資源受限的醫療成像任務中增強了性能，同時保持了通用性。
在神經影像分析中，2D投影方法適應3D體積成像以用於2D CNN，通常通過選擇代表性切片來實現。像香農熵這樣的技術已被用來識別診斷相關的切片，而像2D+e這樣的方法則通過結合切片來增強信息。Hinton提出的KD將知識從複雜模型轉移到簡單模型。最近的進展包括跨模態KD，其中多模態數據增強了單模態學習，以及基於關係的KD，捕捉樣本間的關係。然而，將KD應用於教導2D CNN時，3D成像中的體積關係仍需探索，儘管其潛力可以改善神經影像分類的有限數據。
東亞大學的研究人員提出了一種3D到2D的KD框架，以增強2D CNN從有限數據集中學習體積信息的能力。該框架包括一個編碼體積知識的3D教師網絡、一個專注於部分體積數據的2D學生網絡，以及一個對齊兩者之間特徵嵌入的蒸餾損失。應用於使用123I-DaTscan SPECT和18F-AV133 PET數據集的帕金森病分類任務時，該方法顯示出卓越的性能，達到98.30%的F1分數。這種與投影無關的方法彌合了3D和2D成像之間的模態差距，改善了通用性並解決了醫療影像分析中的挑戰。
該方法通過利用關係信息來改善部分體積數據的表示，與之前依賴基本切片提取或未專注於病變分析的特徵組合的方法不同。我們引入了一種“部分輸入限制”策略來增強3D到2D的KD。這涉及通過單切片、早期融合（通道級串聯）、聯合融合（中間特徵聚合）和基於排名池化的動態圖像等技術將3D體積數據投影到2D輸入中。3D教師網絡使用修改的ResNet18編碼體積知識，2D學生網絡在部分投影上進行訓練，通過監督學習和基於相似性的特徵對齊與這一知識對齊。
該研究評估了各種結合3D到2D KD的2D投影方法以提升性能的方法，包括單切片輸入、相鄰切片（EF和JF設置）和排名池化技術。結果顯示，3D到2D的KD一致改進，基於JF的FuseMe設置實現了最佳性能，與3D教師模型相媲美。對F18-AV133 PET數據集的外部驗證顯示，經過KD後的2D學生網絡超越了3D教師模型。消融研究突顯了基於特徵的損失（Lfg）相對於基於邊際的損失（Llg）的優越影響。該框架有效改善了體積特徵的理解，同時解決了模態差距。
總之，該研究將所提出的3D到2D KD方法與以往的神經影像分類方法進行了對比，強調了其對3D體積數據的整合。與傳統的基於2D CNN的系統不同，後者將體積數據轉換為2D切片，所提出的方法訓練一個3D教師網絡將知識蒸餾到2D學生網絡中。這一過程減少了計算需求，同時利用體積洞察來增強2D建模。該方法在數據模態上表現穩健，如在SPECT和PET成像中所示。實驗結果突顯了其從分佈內任務到分佈外任務的泛化能力，即使在有限數據集下也顯著改善了性能。
查看論文。所有的研究成果都歸功於這個項目的研究人員。此外，不要忘記在Twitter上關注我們，加入我們的Telegram頻道和LinkedIn小組。如果你喜歡我們的工作，你會喜歡我們的電子報。不要忘記加入我們的55k+機器學習SubReddit。
🎙️ 🚨 ‘大型語言模型脆弱性的評估：紅隊技術的比較分析’ 閱讀完整報告（促銷）
Sana Hassan是Marktechpost的顧問實習生，也是IIT Madras的雙學位學生，熱衷於應用科技和人工智慧解決現實世界的挑戰。對解決實際問題充滿濃厚興趣的他，為人工智慧與現實解決方案的交集帶來了新視角。
