為了協助人類處理家務和其他日常手動任務，機器人應該能夠有效地操作形狀、組成和大小各異的物體。近幾年來，機器人的操作技能有了顯著提高，部分原因是越來越先進的相機和觸覺傳感器的發展。
哥倫比亞大學的研究人員開發了一種新系統，能夠同時捕捉視覺和觸覺信息。他們在2024年慕尼黑舉行的機器人學習會議（CoRL）上發表的論文中介紹了他們開發的觸覺傳感器，該傳感器可集成到機器人的夾爪和手部，以進一步增強各種體型機器人的操作技能。
該論文已在arXiv預印本伺服器上發布。
該論文的資深作者Yunzhu Li告訴Tech Xplore：“人類通過多種感覺通道感知環境，其中觸覺在理解物理互動方面起著關鍵作用。我們的目標是為機器人提供類似的能力，使它們能夠通過視覺和觸覺感知環境，進行細緻的機器人操作任務。”
作為他們研究的一部分，研究人員著手開發一種多模態感知系統，該系統可用來收集視覺數據，這些數據可用於估算物體在視野中的位置和幾何形狀，以及觸覺信息，如接觸位置、力量和局部互動模式。
他們開發的集成多模態感知和學習系統稱為3D-ViTac，可以為機器人提供新的感知能力，讓它們更好地應對現實世界中的操作任務。
Li解釋說：“與現有的最先進解決方案相比，特別是基於光學的傳感器，我們的傳感器薄如一張紙，靈活、可擴展，且更適合長期使用和大規模數據收集。”
“結合視覺觀察，我們開發了一個端到端的模仿框架，使機器人能夠執行多種操作任務，在安全地與易碎物品互動和涉及手中的長期操作任務方面顯示出顯著的改進。”
Li和他的同事們在一系列使用真實機器人系統的實驗中測試了他們的傳感器和端到端的模仿學習框架。具體來說，他們將兩個薄片狀的感測設備集成到每個機器人夾爪的鰭狀手上。
然後，團隊測試了夾爪在四項挑戰性操作任務中的表現，包括蒸蛋、將葡萄放在盤子上、抓住六角扳手和端上三明治。這些初步測試的結果非常令人鼓舞，因為他們的傳感器似乎提高了夾爪成功完成所有任務的能力。
Li表示：“我們證明了我們提出的視覺-觸覺模仿學習框架使得即使是低成本的機器人也能執行精確的操作任務。它在處理易碎物品和在細緻操作中實現高精度方面顯著優於僅基於視覺的方法。”
這組研究人員開發的新傳感器可能很快會在其他機器人系統上部署，並在需要高精度的更廣泛物體操作任務中進行評估。同時，Li和他的同事們計劃開發模擬方法和集成策略，使他們的傳感器更容易應用和測試在其他機器人上。
Li補充道：“在我們的下一步研究中，我們的目標是開發觸覺信號的模擬技術，探索將傳感器集成到靈巧的機器人手和更大規模表面（例如機器人皮膚）的方法，並使觸覺感知在機器人技術中更加普及。”
“這將促進大規模數據收集，並有助於多模態機器人基礎模型更好地通過觸覺理解物理互動。”
更多信息：Binghao Huang等，3D-ViTac：通過視覺-觸覺感知學習精細操作，arXiv（2024）。DOI: 10.48550/arxiv.2410.24091
© 2024 Science X Network
引用：集成多模態感知和學習系統可能為機器人提供新能力（2024年11月26日）從https://techxplore.com/news/2024-11-multi-modal-robots-capabilities.html檢索於2024年12月1日
本文件受版權保護。除為私人學習或研究的公平使用外，未經書面許可，任何部分不得複製。內容僅供信息目的。
