資訊專欄INFORMATION COLUMN
這可能會是AI技術形態的一個轉折點,大模型的下一個形態，不再是人和模型一輪一輪的即時問答了。
當地時間 7 月 29 日，在美國丹佛舉行的第 51 屆 SIGGRAPH 計算機圖形學會議上，英偉達創始人、CEO 黃仁勛與 Meta 創始人、CEO 馬克?扎克伯格進行了一場全球矚目的爐邊談話。
這場對話主要圍繞生成式 AI 技術，及其在各種領域上的應用展開。會議中，面向全球領先的機器人制造商、AI 模型開發者和軟件制造商，英偉達提供了一套全新服務、模型以及計算平臺，以幫助開發、訓練和構建下一代人形機器人。
這套產品包括用于機器人仿真和學習的全新 NVIDIA NIM 微服務和框架、用于運行多階段機器人工作負載的 NVIDIA OSMO 編排服務，以及支持 AI 和仿真的遠程操作工作流，該工作流允許開發者使用少量人類演示數據來訓練機器人。
英偉達創始人兼首席執行官黃仁勛表示：“AI 的下一波浪潮是機器人，其中最令人興奮的發展之一是人形機器人。我們正在推進整個 NVIDIA 機器人堆棧的發展，面向全球人形機器人開發者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和 AI 模型。”
借助 NVIDIA NIM 和 OSMO 加速開發
NIM 微服務提供了由英偉達推理軟件提供支持的預構建容器，使開發者能夠將部署時間從數周縮短到幾分鐘。機器人專家將能夠通過兩項新的 AI 微服務，在 NVIDIA Isaac Sim（基于 NVIDIA Omniverse? 平臺構建的機器人仿真參考應用）中增強生成式物理 AI 仿真工作流。
MimicGen NIM 微服務可根據 Apple Vision Pro 等空間計算設備記錄的遠程操作數據，生成合成運動數據。Robocasa NIM 微服務可在 OpenUSD（一個用于在 3D 世界中進行開發和協作的通用框架）中生成機器人任務和仿真就緒環境。
本次推出的 NVIDIA OSMO 是一項云原生托管服務，允許用戶跨分布式計算資源來協調和擴展復雜的機器人開發工作流，無論是在本地還是在云端。OSMO 大大簡化了機器人訓練和仿真工作流，將部署和開發周期從數月縮短到一周內。
用戶可以對各種任務進行可視化管理，包括合成數據生成、模型訓練、強化學習以及大規模的人形機器人、自主移動機器人和工業機械臂軟件在環測試。
為人形機器人開發者提供先進的數據捕獲工作流
訓練人形機器人的基礎模型需要大量的數據。遠程操作是獲取人類演示數據的方法之一，但這個過程正變得越來越昂貴和漫長。通過在 SIGGRAPH 計算機圖形大會上展示的 NVIDIA AI 和 Omniverse 遠程操作參考工作流，研究者和 AI 開發者能夠從極少量遠程捕捉的人類演示中生成大量合成運動和感知數據。
首先，開發者使用 Apple Vision Pro 捕獲少量遠程操作演示，隨后在 NVIDIA Isaac Sim 中仿真這些錄像，并使用 MimicGen NIM 微服務基于錄像生成合成數據集。開發者可以使用真實數據和合成數據對 Project GR00T 人形機器人基礎模型進行訓練，以節省時間和降低成本。
然后，他們可以使用 Isaac Lab 中的 Robocasa NIM 微服務（一個機器人學習框架）來生成經驗并重新訓練機器人模型。在整個工作流中，NVIDIA OSMO 將計算任務無縫地分配給不同的資源，為開發者減少了數周的管理工作量。與此同時，英偉達也發布了一系列通用場景描述（OpenUSD）的重大成果。
這將擴大這一通用 3D 數據交換框架在機器人、工業設計和工程領域的應用，提高開發者為 AI 新一輪發展構建高精度虛擬世界的能力。通過基于 OpenUSD 的全新生成式 AI，以及在 Omniverse 平臺構建的英偉達加速的開發框架，越來越多的行業現在能夠開發出用于可視化工業設計和工程項目的應用，以及用于構建新一代物理 AI 和機器人的環境仿真的應用。
新推出的內容包括適用于 AI 模型的 NVIDIA NIM 微服務，這些微服務可生成回答用戶查詢的 OpenUSD 語言、生成 OpenUSDPython 代碼、將材質應用于 3D 物體、理解 3D 空間和物理學以幫助加快數字孿生的開發等。其他還包括可用于機器人和工業仿真數據格式的全新 USD 連接器，以及各種開發者工具，用戶可通過它們將海量 NVIDIARTX 全光線追蹤數據集傳輸到 AppleVision Pro。
英偉達 NVIDIA Omniverse 與仿真技術副總裁 Rev Lebaredian 表示：“重工業的生成式 AI 潮已經到來。直到最近，數字世界的主要用戶還是創意行業；而現在，借助 NVIDIA NIM 微服務為 OpenUSD 帶來的增強功能和可訪問性，各個行業都可以創建基于物理學的虛擬世界和數字孿生，在加快創新的同時，為機器人這次新一輪 AI 技術熱潮做好準備?！?/span>
通過 NVIDIA NIM 將生成式 AI 應用于 USD
英偉達開發的全球首個用于 OpenUSD 開發的生成式 AI 模型將以 NVIDIA NIM 微服務的形式提供。借助這些模型，開發者能夠將生成式 AI copilot 和智能體整合到 USD 工作流中，拓寬 3D 世界的可能性，幫助加快 USD 在制造業、汽車行業和機器人等新工業領域的應用。
USD 連接器為更多行業帶來生成式 AI
多款適用于機器人數據格式和 Apple Vision Pro 流式傳輸的全新 USD 連接器將為更多行業帶來 OpenUSD 互操作性與高級創作能力。為幫助更多使用 OpenUSD 的工業工作負載，英偉達與全球工業自動化和軟件領先者西門子正在擴大合作。
西門子將把 OpenUSD 流水線與其 Simcenter 仿真技術組合集成，以支持基于證據的決策和關鍵利益相關方之間的協作。該集成可實現復雜仿真數據的高保真、實時、逼真可視化，讓企業能夠更加深入地了解產品在實際操作環境中的性能。西門子將把 Omniverse 納入到其 Teamcenter 產品生命周期管理軟件組合中，為這項工作打好基礎。
英偉達還發布了一個從統一機器人描述格式（Unified Robotics DescriptionFormat）到 OpenUSD 的連接器，讓機器人專家能夠將他們的機器人數據無縫導入到用于設計、仿真和強化學習等用途的各種應用中。
為了進一步推動 OpenUSD 生態系統的擴張，英偉達發布了 OpenUSD Exchange 軟件開發套件，幫助開發者創建出自己的強大 OpenUSD 數據連接器。新的開發者工具和 API 可通過 NVIDIA Graphics Delivery Network（GDN），將大規模 OpenUSD 場景從基于 Omniverse 平臺構建的應用流式傳輸到 Apple Vision Pro。目前，這些新工具和 API 提供搶先體驗版本。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/131143.html
摘要：近日，英偉達在蘇州舉行了技術大會。會上，英偉達宣布，將面向中國推出云。英偉達稱，針對推理工作負載，配備個的單個服務器最多可取代臺服務器。近日，英偉達在蘇州舉行了GPU技術大會。會上，英偉達宣布，將面向中國推出NVIDIA Turing T4云GPU。T4基于全新 NVIDIA TuringTM 架構，T4 GPU外形非常小巧，功耗只有70W，采用多精度 Turing Tensor Core和...
摘要：所以我必須基于自己現在的情況走出一條適合自己情況的成長路線。下位機上位機的思想下位機上位機這就是我自己探索出來的技術成長路線。對和嵌入式的朋友感興趣的朋友可以試一下我這條學習路線 ...
摘要：本文內容節選自由主辦的第七屆，北京一流科技有限公司首席科學家袁進輝老師木分享的讓簡單且強大深度學習引擎背后的技術實踐實錄。年創立北京一流科技有限公司，致力于打造分布式深度學習平臺的事實工業標準。 本文內容節選自由msup主辦的第七屆TOP100summit，北京一流科技有限公司首席科學家袁進輝（老師木）分享的《讓AI簡單且強大：深度學習引擎OneFlow背后的技術實踐》實錄。 北京一流...
摘要：阿里云推出國內首個基于英偉達的優化容器月日，在云棲大會深圳峰會上，阿里云宣布與英偉達云合作，開發者可以在云市場下載云鏡像和運行容器，來使用阿里云上的計算平臺。阿里云成為中國首家與加速的容器合作的云廠商。 摘要： 3月28日，在2018云棲大會·深圳峰會上，阿里云宣布與英偉達GPU 云 合作 （NGC），開發者可以在云市場下載NVIDIA GPU 云鏡像和運行NGC 容器，來使用阿里云上...
摘要：在經歷五年多的落后之后，如今美國終于在超級計算機領域再度超越中國，重奪頭名桂冠。這一消息在本周于德國法蘭克福舉行的年度國際超級計算機大會上正式公布。在經歷五年多的落后之后，如今美國終于在超級計算機領域再度超越中國，重奪頭名桂冠。這臺由IBM公司為田納西州橡樹嶺國家實驗室建造的Summit超級計算機（如上圖所示）在本周一發布的全球超算五百強中位列第一（這份榜單每年發布兩輪，列舉世界上五百臺最為...
閱讀 156·2024-12-10 11:51
閱讀 303·2024-11-07 17:59
閱讀 328·2024-09-27 16:59
閱讀 466·2024-09-23 10:37
閱讀 540·2024-09-14 16:58
閱讀 334·2024-09-14 16:58
閱讀 531·2024-08-29 18:47
閱讀 811·2024-08-16 14:40
