教導機器人完成手動任務（如清洗碗碟或準備食物）的最有前途的方法之一稱為模仿學習。端到端的模仿學習通常涉及在原始視頻、圖像和/或人類完成手動任務的動作捕捉數據上訓練深度學習算法。
在這個訓練過程中，算法逐漸學會生成輸出動作（即機器人的關節運動、軌跡等），使機器人能夠成功完成相同的任務。
雖然模仿學習技術可以增強機器人完成複雜物體操作任務的能力，但它們通常不允許機器人在未包含在訓練數據集中的任務中進行泛化。此外，收集各種任務的訓練示範可能具有挑戰性，並且需要先進的傳感器或設備。
喬治亞理工學院的研究人員最近推出了EgoMimic，這是一個可以輕鬆收集更多樣化的模仿學習示範數據的新框架。這個框架在arXiv預印本伺服器上發布的論文中介紹，提供了一個可擴展的平台，用於從完成任務的人（即自我中心的）視角收集人類完成手動任務的視頻示範。
“我們介紹了EgoMimic，這是一個全棧框架，通過人類具身數據擴展操作，特別是配對3D手部跟踪的自我中心人類視頻，”Simar Kareer、Dhruv Patel及其同事在他們的論文中寫道。
“EgoMimic通過以下方式實現這一點：（1）使用人體工程學的Project Aria眼鏡捕捉人類具身數據的系統，（2）一個低成本的雙手操作機器，最小化與人類數據的運動學差距，（3）跨域數據對齊技術，和（4）一個在人體和機器人數據上共同訓練的模仿學習架構。”
EgoMimic框架的第一個組件，捕捉示範視頻的系統，依賴於使用Project Aria，在Meta Reality Labs Research創建的可穿戴智能眼鏡。這些眼鏡由人類佩戴，當他們完成日常手動任務時，從他們的視角記錄任務。
研究人員用來應對與人類完成相同任務的雙手機器人系統由兩個Viper X機器臂組成，這些機器臂整合了英特爾的RealSense手腕相機，這些相機又由兩個WidowX機器臂控制。值得注意的是，這個雙手機器在完成任務時也“佩戴”Aria眼鏡，因為這樣可以最小化人類示範者完成任務的畫面與機器人對工作空間的視角之間的差異。
“與之前僅從人類視頻中提取高級意圖的工作相比，我們的方法將人類和機器人數據同等對待，視為具身示範數據，並從這兩個數據來源學習統一政策，”Kareer、Patel及其同事寫道。
研究人員通過在實驗室中進行一系列實驗來測試他們提出的框架，機器人學會完成長時間的現實世界任務。例如，機器人學會了撿起一個小絨毛玩具，將其放入碗中，撿起碗並將玩具倒在桌子上，然後重複這一系列動作40秒。
它被訓練的其他任務包括以特定方式折疊T恤和用薯片的袋子填充購物袋。這些初步實驗的結果非常有希望，因為EgoMimic框架在這三個任務上相較於過去提出的其他最先進的模仿學習技術表現更好，同時也使機器人能夠有效地將所學的技能應用到訓練期間未遇到的任務中。
“EgoMimic在多樣化的長時間、單臂和雙手操作任務上相較於最先進的模仿學習方法取得了顯著的改進，並使其能夠泛化到全新的場景，”Kareer、Patel及其同事寫道。“最後，我們展示了EgoMimic的良好擴展趨勢，增加1小時的額外手部數據比增加1小時的額外機器人數據更具價值。”
研究人員使用的數據處理和訓練模型的代碼可在GitHub上獲得。未來，EgoMimic或其改編版本可能被全球其他機器人學家用來提高各種機器人系統在涉及物體操作的各種日常任務中的性能和泛化能力。
更多信息：
Simar Kareer et al, EgoMimic: Scaling Imitation Learning via Egocentric Video, arXiv (2024). DOI: 10.48550/arxiv.2410.24221
arXiv
© 2024 Science X Network
引用：
新框架可以創建自我中心的人類示範以進行模仿學習 (2024年11月29日)
於2024年11月30日檢索自 https://techxplore.com/news/2024-11-framework-egocentric-human-imitation.html
本文檔受版權保護。除非出於私人學習或研究的公平使用，否則不得以書面許可的方式複製任何部分。內容僅供參考。
