Nvidia 發布 Cosmos 平台以促進機器人開發

Nvidia推出Cosmos世界基礎模型平台

Nvidia最近推出了Cosmos世界基礎模型平台，這個平台可以用來開發物理人工智慧系統，例如自駕車和機器人。

Cosmos包含了最先進的生成世界基礎模型、高級標記器、保護措施，以及加速的視頻處理流程，旨在“推進物理人工智慧系統的發展”，Nvidia表示。

開發物理人工智慧模型的成本很高，並且需要大量的真實數據和測試。Cosmos世界基礎模型（WFMs）為開發者提供了一個簡單的方法，能夠生成大量的真實感、基於物理的合成數據，來訓練和評估他們現有的模型。開發者還可以通過微調Cosmos WFMs來建立自定義模型。

Cosmos模型將以開放模型許可的方式提供，幫助機器人和自駕車社群加速工作。開發者可以在Nvidia API目錄中預覽第一批模型，或從Nvidia NGC目錄或Hugging Face下載模型系列和微調框架。

包括1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi和XPENG等領先的機器人和汽車公司，以及共享乘車巨頭Uber，都是首批採用Cosmos的公司。

Nvidia的創始人兼CEO黃仁勳表示：“機器人的ChatGPT時刻即將來臨。就像大型語言模型一樣，世界基礎模型對推進機器人和自駕車的發展至關重要，但並不是所有開發者都有專業知識和資源來訓練自己的模型。”

“我們創建Cosmos是為了讓物理人工智慧普及，讓每位開發者都能接觸到通用機器人技術。”

在CES的開幕演講中，Nvidia創始人兼CEO黃仁勳展示了物理人工智慧開發者如何使用Cosmos模型，包括：

視頻搜索和理解，讓開發者可以輕鬆找到特定的訓練場景，例如雪天道路條件或倉庫擁擠情況，從視頻數據中提取。

基於物理的真實感合成數據生成，利用Cosmos模型從在Nvidia Omniverse平台上開發的受控3D場景生成真實感視頻。

物理人工智慧模型的開發和評估，無論是基於基礎模型構建自定義模型，還是使用Cosmos進行強化學習來改進模型，或測試它們在特定模擬場景下的表現。

預測和“多元宇宙”模擬，使用Cosmos和Omniverse生成人工智慧模型可能採取的每一個未來結果，幫助它選擇最佳和最準確的路徑。

Cosmos WFMs現在可以在Hugging Face和Nvidia NGC目錄下以Nvidia開放模型許可使用。Cosmos模型將很快以完全優化的Nvidia NIM微服務形式提供。

開發者可以使用Nvidia NeMo Curator進行加速視頻處理，並使用Nvidia NeMo自定義自己的世界模型。Nvidia DGX Cloud提供了一種快速簡便的方式來部署這些模型，並通過Nvidia AI Enterprise軟體平台提供企業支持。

Nvidia還宣布了新的Nvidia Llama Nemotron大型語言模型和Nvidia Cosmos Nemotron視覺語言模型，開發者可以用於醫療、金融服務、製造等企業人工智慧應用。