財經中心／廖珪如
▲輝達發表新開放訓練平台，及函式庫。（圖／翻攝自輝達官方YT）
NVIDIA 於 SIGGRAPH 2025 發表全新的 NVIDIA Omniverse™ 函式庫與 NVIDIA Cosmos™ 世界基礎模型（WFM），加速開發及部署機器人解決方案，推出全新 Omniverse 函式庫、Cosmos 物理 AI 模型與 AI 運算基礎架構，開啟通往機器人世界的大門。從場景學習模擬到視覺使用，都能加速並細緻化機器人領域發展。該函式庫與模型採用全新的 NVIDIA RTX PRO™ 伺服器與NVIDIA DGX™ Cloud，可讓開發者隨時隨地開發物理上精確的數位孿生、擷取真實世界並於模擬環境中重建、生成訓練物理AI 模型用的合成資料，以及打造理解物理世界的 AI 代理。
NVIDIA Omniverse 與模擬技術部副總裁 Rev Lebaredian 表示：「電腦繪圖正與 AI 技術融合，徹底革新機器人技術領域。我們結合 AI 推理與符合物理定律的可擴充模擬技術，讓開發者能打造翻轉數兆美元產值的未來機器人與自駕車。」
NVIDIA Omniverse 能跨平台使用
全新的 NVIDIA Omniverse 軟體開發套件（SDK）與函式庫現已推出，可用於打造及部署工業 AI 與機器人模擬應用。全新Omniverse SDK 導入MuJoCo （MJCF） 與通用場景描述 （OpenUSD） 資料互通功能，讓 250,000 多名 MJCF 機器人學習開發者順利跨平台模擬機器人。全新的 Omniverse NuRec 函式庫與 AI 模型採用 Omniverse RTX 光線追蹤的 3D Gaussian Splatting 渲染技術，可讓開發者使用感測器資料擷取真實世界，於 3D 環境重建及模擬。
NVIDIA Isaac Sim™ 5.0 與 NVIDIA Isaac Lab 2.2 開源機器人模擬技術與學習框架現已在 GitHub 上架。Isaac Sim 現在包含 NuRec 神經渲染及全新基於的 OpenUSD 機器人技術和感測器架構，協助機器人開發者拉近模擬與現實的差距。
Omniverse NuRec 渲染技術現已整合至 CARLA；這款頂尖的開源模擬器廣受 150,000 多名開發者青睞。自駕車工具鏈領導者Foretellix 正在整合 NuRec 、NVIDIA Omniverse Sensor RTX™與Cosmos Transfer，以透過物理精準的情境提升其可擴充的合成資料生成能力。Voxel51 的視覺與多模態 AI 資料引擎 FiftyOne 支援NuRec，可減輕重建時準備資料的重擔。FiftyOne 的使用者包括福特與保時捷。
重要廠商包括，Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 與 Skild AI 紛紛採用 Omniverse 函式庫、Isaac Sim 和Isaac Lab，加速開發 AI 機器人技術。Amazon Devices & Services則使用上述技術驅動全新製造解決方案。
Cosmos 簡化提示流程
Cosmos WFM 下載次數逾 200 萬，可讓開發者利用文字、影像與影片提示，生成大規模訓練機器人用的各種資料。此次SIGGRAPH 發表的全新模型，生成合成資料的速度、準確性、語言支援和控制能力皆突飛猛進：Cosmos Transfer-2 現在簡化了提示流程，並且加速從真實3D 模擬場景或是深度資料、影像分割、邊緣和高解析度地圖等空間控制輸入資料，生成逼真合成資料的過程。
蒸餾版 Cosmos Transfer 將 70 個步驟的蒸餾程序減化為單一步驟，因此開發者可以前所未有的速度在 NVIDIA RTX PRO 伺服器執行該模型。廠商包括Lightwheel、Moon Surgical 與 Skild AI 紛紛運用 Cosmos Transfer 大規模模擬各種條件，加速物理 AI 訓練。
Cosmos Reason 教機器人判斷力
OpenAI 的 CLIP 模型問世以來，視覺語言模型（VLM）徹底改變了物體與模式識別這類電腦視覺工作。然而，這類模型依舊無法解決多步驟工作，也無法處理模糊情況或新穎體驗。NVIDIA Cosmos Reason 是適用於物理 AI 與機器人的全新開放式、可完全客製化，並具備70億個參數的推理視覺語言模型，讓機器人與視覺 AI 代理跟人類一樣，運用既有知識、物理概念與常識，在理解真實世界後採取行動。
Cosmos Reason 適用於機器人技術與物理 AI 應用，包括：資料使用與註釋可讓開發者將大量多樣化訓練資料集的高品質庋用與註釋工作自動化。機器人規劃與推理技術猶如機器人視覺語言行動（VLA）模型的大腦，讓模型深思熟慮有條不紊做出決策。Cosmos Reason 讓機器人解讀環境、在收到複雜的指令後將指令分解為各種工作，而且即使在不熟悉的環境，也能運用常識執行這些工作。AI 代理建置在適用於影片搜尋和摘要的 NVIDIA Blueprint，不僅能擷取寶貴的深入解析，還能對大量影片資料執行根本原因分析。
NVIDIA 的機器人與 NVIDIA DRIVE™ 團隊正使用 Cosmos Reason 進行資料使用與篩選、註釋及機器人視覺語言行動後期訓練。Uber 正利用該技術為自駕車訓練資料加上註釋和字幕。Magna 採用 Cosmos Reason 開發其 City Delivery 平台。這個平台是全自動化、低成本的即時配送解決方案，可協助車輛更快速適應新城市。Cosmos Reason 為車輛的長期軌跡規劃器增添世界理解能力。VAST Data、Milestone Systems 與 Linker Vision 正採用Cosmos Reason，將城市與工業環境交通監控、提高安全性與強化視覺檢查的工作自動化。
全場景應用 OpenUSD加速開發者生態系
此外，為了協助機器人與物理 AI 開發者帶動採用 3D 與模擬技術，NVIDIA 還宣布：OpenUSD 課程與認證，以因應對於 USD 專業知識的需求，而且共襄盛舉的 AOUSD 成員包括 Adobe、Amazon Robotics、Synposys旗下Ansys、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS與Trimble，以及Hexagon等業界領導者。
Lightwheel 的開源合作案，旨在將機器人政策訓練和評估框架整合至 NVIDIA Isaac Lab，提供機器人操控與移動的平行強化學習訓練功能、基準測試，以及模擬現成可用的資產。
