腦機介面（BCIs）在近年來取得了顯著的進展，為有語言或運動障礙的人提供了溝通的解決方案。然而，大多數有效的腦機介面依賴於侵入性的方法，例如植入電極，這會帶來感染和長期維護等醫療風險。非侵入性的替代方案，特別是基於腦電圖（EEG）的技術，已經被探索，但由於信號解析度低，準確性不高。這個領域的一個主要挑戰是提高非侵入性方法的可靠性，以便實際使用。Meta AI 對 Brain2Qwerty 的研究是朝著解決這一挑戰邁出的一步。
Meta AI 推出了 Brain2Qwerty，這是一個神經網絡，旨在解碼通過 EEG 或磁腦電圖（MEG）記錄的腦部活動中的句子。研究參與者在 QWERTY 鍵盤上輸入記憶中的句子，同時記錄他們的腦部活動。與以往需要用戶專注於外部刺激或想像動作的方法不同，Brain2Qwerty 利用與打字相關的自然運動過程，提供了一種更直觀的解釋腦部活動的方式。
模型架構及其潛在好處
Brain2Qwerty 是一個三階段的神經網絡，旨在處理腦信號並推斷輸入的文本。其架構包括：
- 卷積模塊：從 EEG/MEG 信號中提取時間和空間特徵。
- 變壓器模塊：處理序列以改善表示和增強上下文理解。
- 語言模型模塊：一個預訓練的字符級語言模型，用於修正和完善預測。
通過整合這三個組件，Brain2Qwerty 的準確性超過了以往的模型，改善了解碼性能並減少了腦到文本翻譯中的錯誤。
評估性能和主要發現
研究使用字符錯誤率（CER）來測量 Brain2Qwerty 的有效性：
- 基於 EEG 的解碼結果顯示 67% 的 CER，這表明錯誤率較高。
- 基於 MEG 的解碼表現顯著更好，CER 為 32%。
- 最準確的參與者達到了 19% 的 CER，顯示出模型在最佳條件下的潛力。
這些結果突顯了 EEG 在準確文本解碼方面的局限性，同時顯示了 MEG 在非侵入性腦到文本應用中的潛力。研究還發現，Brain2Qwerty 能夠修正參與者的打字錯誤，這表明它捕捉到了與打字相關的運動和認知模式。
考量與未來方向
Brain2Qwerty 代表了非侵入性腦機介面的進步，但仍然存在幾個挑戰：
- 實時實施：該模型目前處理完整句子，而不是單個按鍵的實時輸入。
- MEG 技術的可及性：雖然 MEG 的表現優於 EEG，但它需要專門的設備，這些設備尚未便攜或廣泛可用。
- 對有障礙人士的適用性：該研究是在健康參與者中進行的。需要進一步研究以確定它對運動或語言障礙者的普遍適用性。
查看這篇論文。所有的研究成果都歸功於這個項目的研究人員。此外，別忘了在 Twitter 上關注我們，加入我們的 Telegram 頻道和 LinkedIn 群組。也別忘了加入我們的 75k+ ML SubReddit。
🚨 推薦的開源 AI 平台：‘IntellAgent 是一個開源的多代理框架，用於評估複雜的對話 AI 系統’（推廣）
本文由 AI 台灣 運用 AI 技術編撰，內容僅供參考，請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團，
隨時掌握最新 AI 動態與實用資訊！
