英偉達推Cosmos世界基礎模型，爲加速物理AI造利器，Omniverse朋友圈再更新
智東西作者 ZeR0編輯 漠影
智東西3月19日報道，英偉達今日宣佈推出全新NVIDIA Cosmos世界基礎模型（WFM）的重大更新，該模型引入了開放式、可完全定製的物理AI開發推理模型，可實現物理AI的預測、可控世界生成和推理，讓開發者以前所未有的方式控制世界生成。
1X、Agility Robotics、Figure AI、Foretellix、Skild AI、Uber是首批採用Cosmos的企業，可更快、更大規模地爲物理AI生成更豐富的訓練數據。
英偉達創始人兼CEO黃仁勳認爲，Cosmos世界基礎模型是物理AI的一項重大突破，爲物理AI帶來了一個開放式、可完全定製的推理模型，給機器人和物理工業領域的突破性發展帶來了機遇。
同時，NVIDIA Omniverse物理AI操作系統正擴展至更多行業和夥伴。
Accenture、Ansys、Cadence、Databricks、Dematic、Hexagon、Omron、SAP、Schneider Electric With ETAP、西門子將Omniverse與領先的軟件工具連接。
Foxconn、通用汽車、現代汽車集團、凱傲集團、梅賽德斯-奔馳、Pegatron、Schaeffler都在採用Omniverse進行工業AI轉型。
英偉達還推出了兩款由NVIDIA Omniverse和Cosmos平臺提供支持的新藍圖，爲開發者提供用於機器人和自動駕駛汽車後訓練的大規模可控合成數據生成引擎。
四款全新藍圖正在助力機器人工廠和大規模合成數據生成。
一、發佈三款Cosmos世界基礎模型，加速物理AI的數據管理和後訓練
新發布的Cosmos世界基礎模型有三款：Cosmos Transfer，用於合成數據生成；Cosmos Predict，用於智能世界生成；Cosmos Reason，用於物理AI的多模態推理。
Cosmos Transfer能夠吸收結構化視頻輸入，如分割圖、深度圖、激光雷達掃描、姿態估計圖和軌跡圖等，以生成可控、逼真的視頻輸出。
該模型可簡化感知AI訓練，將Omniverse中創建的3D仿真或真值轉換爲逼真視頻，用於大規模可控合成數據生成。
Agility Robotics將是最早採用Cosmos Transfer和Omniverse進行大規模合成數據生成，用以訓練其機器人模型的公司之一。Agility Robotics首席技術官Pras Velagapudi認爲，Cosmos爲其提供了一個在真實世界可採集的數據之外，擴展逼真訓練數據的機會。
用於自動駕駛汽車仿真的NVIDIA Omniverse藍圖藉助Cosmos Transfer放大基於物理傳感器數據的變化。藉助該藍圖，Foretellix可以通過爲不同駕駛數據集改變天氣和光照等條件來豐富行爲場景。Parallel Domain也正在使用該藍圖將類似的變更應用於他們的傳感器仿真。
用於合成操作運動生成的NVIDIA GR00T藍圖結合了Omniverse和Cosmos Transfer，可大規模生成多樣化數據集，利用OpenUSD驅動的仿真，將數據採集和增強時間從數天縮短到數小時。
此前在今年1月CES上宣佈的Cosmos Predict世界基礎模型，能夠通過文本、圖像和視頻等多模態輸入生成虛擬世界狀態。
新的Cosmos Predict模型將支持多幀生成，在給定開始和結束輸入圖像的情況下，預測中間行爲或運動軌跡。這些模型專爲後訓練而打造，可使用英偉達開放的物理AI數據集進行定製。
藉助英偉達Grace Blackwell NVL72系統及其龐大的英偉達NVLink域的推理計算能力，開發者可以實現實時世界生成。
1X正在使用Cosmos Predict和Cosmos Transfer來訓練其新型人形機器人NEO Gamma。機器人大腦開發商Skild AI正在利用Cosmos Transfer增強其機器人的合成數據集。 Nexar和Oxa正在使用Cosmos Predict來升級其自動駕駛系統。
Cosmos Reason是一個開放式、可完全定製的世界基礎模型，具有時空感知能力，它使用思維鏈推理來理解視頻數據，並能夠預測交互結果，如一個人走進人行道或一個盒子從架子上掉下來。
開發者可以使用Cosmos Reason來提升物理AI數據標註和管理，增強現有世界基礎模型或創建新的視覺語言動作模型。 他們還可以對其進行後訓練，構建高級規劃器，以指導物理AI如何完成所需操作。
Cosmos世界基礎模型可在英偉達API目錄中預覽，現已列入谷歌雲上的Vertex AI Model Garden 中。 Cosmos Predict和Cosmos Transfer在Hugging Face和GitHub上公開提供。Cosmos Reason開放搶先體驗。
基於其下游任務，開發者可以在NVIDIA DGX Cloud上使用原生PyTorch腳本或NVIDIA NeMo框架對Cosmos世界基礎模型進行後訓練。
Cosmos開發者還可以使用DGX Cloud上的NVIDIA NeMo Curator來加速數據處理和管理。
Linker Vision 和 Milestone Systems正將其用於管理海量視頻數據，訓練用於視覺智能體的大視覺語言模型，這些智能體基於英偉達AI藍圖進行視頻搜索和總結。Virtual Incision正在探索將其部署在未來的手術機器人中，而Uber和Waabi正在推動自動駕駛汽車的開發。
根據英偉達可信AI原則，英偉達在所有Cosmos世界基礎模型中都採用開放式護欄。 此外，英偉達正與谷歌DeepMind合作，將SynthID集成到水印中，幫助識別Cosmos世界基礎模型NVIDIA NIM微服務的AI生成結果。
二、Omniverse擴展至更多企業，推動工業AI轉型
數字化對於立足於物理世界的行業來說具有挑戰性。來自傳統系統的海量數字和物理世界數據形成了多個孤島。NVIDIA Omniverse是一個基於OpenUSD構建的操作系統，可幫助開發者統一物理世界的數據和應用。
英偉達今日宣佈Ansys、Databricks、Dematic、Omron、SAP、Schneider Electric with ETAP、西門子等領先的工業軟件和服務提供商正在將NVIDIA Omniverse平臺集成到他們的解決方案中，利用物理AI加速工業數字化。
英偉達Omniverse和仿真技術副總裁Rev Lebaredian談道，Omniverse是一個將全球物理數據與物理AI領域連接起來的操作系統，藉助Omniverse，全球工業軟件、數據和專業服務領導者正在以前所未有的速度統一工業生態系統並構建新應用，助力各行業高速推動新一代AI發展。
Ansys、Cadence、Hexagon、Omron、Rockwell Automation、西門子正在將Omniverse數據互操作性和可視化技術集成到其領先的工業軟件、仿真和自動化解決方案中，以加速產品開發和優化製造流程。
物理AI方面，Alphabet旗下公司Intrinsic正在使用Flowstate助力Omniverse工作流和英偉達機器人基礎模型從數字孿生過渡到硬件部署。Databricks正在將NVIDIA Omniverse與Databricks數據智能平臺集成，這將實現物理AI的大規模合成數據生成。
美國大型汽車製造商通用汽車宣佈採用Omniverse來增強其工廠和培訓平臺，以用於材料處理、運輸和精密焊接等運營。在製造生命週期的另一端，聯合利華宣佈採用Omniverse和物理精確的數字孿生來簡化和優化其產品的營銷內容創作。
爲了簡化基於OpenUSD的應用的開發、部署和橫向擴展，NVIDIA Omniverse現已在AWS Marketplace上的配備NVIDIA GPU的EC2 G6e實例中提供。微軟Azure Marketplace現已在 NVIDIA A10 GPU上提供預配置的Omniverse實例和Omniverse Kit App Streaming，使開發者能夠輕鬆開發和流式傳輸自定義Omniverse應用。
這些基於雲的英偉達Omniverse開發者工具和服務預計將在今年晚些時候發佈，這些工具將在配備英偉達GPU的Oracle雲基礎設施計算裸機實例上提供，以及谷歌雲上新發布的NVIDIA RTX PRO Blackwell服務器版。
在GTC上，英偉達與Destney Research和Intrinsic一起推出了用於機器人的OpenUSD資產結構工作流。這種新結構和數據工作流使用OpenUSD內部的優秀實踐來統一機器人工作流，爲所有數據源提供通用語言。
三、四款全新藍圖，助力機器人設施和大規模合成數據生成
與Cosmos世界基礎模型相連接的新NVIDIA Omniverse藍圖現已推出，可實現用於物理AI開發的機器人就緒設施和大規模合成數據生成。
4款全新藍圖助力機器人設施和大規模合成數據生成。
Mega是一個用於在工業數字孿生中大規模測試多機器人機羣的Omniverse藍圖，現已在 build.nvidia.com上發佈預覽版。
還有一款由NVIDIA Metropolis平臺提供支持的用於視頻搜索和總結的NVIDIA AI藍圖，能夠構建可監控整個設施活動的AI智能體。
製造業領導者正在使用這些藍圖，通過物理AI優化其工業運營。
在汽車製造領域，Schaeffler和Accenture開始採用Mega來測試和模擬用於材料處理自動化的 Agility Robotics Digit車隊。
現代汽車集團正使用該藍圖在裝配線上模擬波士頓動力Atlas機器人，梅賽德斯-奔馳正使用它來模擬Apptronik的Apollo人形機器人，以優化車輛裝配操作。
在電子製造業領域，Pegatron正在使用Mega開發基於物理AI的NVIDIA Metropolis視頻分析智能體，以改善工廠運營和工人安全性。富士康正在使用該藍圖，在其製造設施中對工業機械手、人形機器人和移動機器人進行模擬，以支持NVIDIA Blackwell平臺。
Foxconn核心子公司Fii首席執行官Brand Cheng說：“藉助NVIDIA Omniverse和Mega，我們正在測試和訓練人形機器人，以便在我們的領先工廠中運行，進入下一波物理AI熱潮。”
在倉庫和供應鏈解決方案方面，凱傲集團、Dematic和Accenture宣佈將集成Mega以推動新一代AI賦能自動化發展。idealworks正在將Mega集成到其車隊管理軟件中，以模擬、測試和優化機器人機羣。SAP客戶和合作夥伴可以使用Omniverse爲倉庫管理場景開發自己的虛擬環境。
藉助面向AI工廠數字孿生的新Omniverse藍圖，數據中心工程師可設計和模擬AI工廠佈局、冷卻和電氣，從而最大限度地提高利用率和效率。
Cadence Reality數字孿生平臺和Schneider Electric with ETAP是最先將其仿真軟件與藍圖集成的公司，而Vertiv和Schneider Electric正在爲其電力和冷卻裝置提供Omniverse SimReady 3D模型，以加速AI工廠數字孿生的開發。
用於合成操作運動生成的NVIDIA Isaac GR00T藍圖現已面向機器人開發者開放，可實現 Omniverse和Cosmos的大規模合成數據生成。 該藍圖可幫助人類開發者將數據採集時間從數小時縮短到數分鐘，從而快速推進機器人開發。
結語：邁向物理AI之門
在GTC主題演講中，黃仁勳談到自2012年AlexNet神經網絡問世以來的四次AI浪潮，從感知AI、生成式AI、代理型AI（AI智能體）走向物理AI。
從世界基礎模型到Omniverse平臺，都是英偉達爲輔助模擬現實世界的物理特性和優化虛擬世界訓練開發所鍛造的利器。這些不斷豐富和優化的模型和軟件工具，正使更多機器人、自動駕駛、工業AI開發者從中受益。