11月GTC大會上，除了老黃本人，廚房都是假的。從大理石柜臺，到新古典主義壁龕烤箱，再到標志性的抹刀花束，沒有一件是真的物品。沒想到英偉達的技術還是騙過了我們的眼睛。
11月GTC大會上，除了老黃本人，廚房都是假的！
其實他背后真實的數字模型是這樣子的：
落日余暉，光與影的變幻。
問題是，你看到的東西沒有一個是真的！！！
假亦真時真亦假，你還敢相信自己的眼睛嗎？
英偉達官方透露，從10月30日開始，視頻團隊在英偉達硅谷總部的2間會議室里僅用了4天時間就錄下了老黃的全程演講內容。
通過Omniverse平臺，英偉達團隊創建了黃仁勛演講背后的動態虛擬環境——數字廚房。
從大理石柜臺，到新古典主義壁龕烤箱，再到標志性的抹刀「花束」，黃仁勛廚房成了充滿奇幻的地方。
在這個這個「假」廚房里，英偉達還特地加入了一些彩蛋。
比如右下角有一瓶據說是帶著自家logo的橄欖油，還有左邊的廚具也被換掉了。
仔細觀察，老黃肩膀上的光線隨著轉身也跟著移動，根本無法看出破綻，完美地與虛擬世界相融合。
那么，數字廚房是如何實現的呢？
第一步，英偉達團隊拍攝了老黃廚房的高分辨率圖像，之后便以此素材作為構建虛擬場景的主要參考。
就像老黃家中的什么橄欖油啊，鹽盒品牌，櫥柜的螺絲等等，工作人員都是費了很大功夫去研究廚房里所有東西的詳細參考資料。
第二步，由8位英偉達藝術家和 10 位自由創作者組成的團隊使用Omniverse構建了過場動畫。
他們分別在不同軟件中制作，最后通過Omniverse Connectors將所有模型和數據整合在一起。
在廚房場景中，一共出現了57個獨特3D模型和6240個對象，它們的建模工作都是在Autodesk 3ds Max、Autodesk Maya 和 Pixologic Zbrush中完成的。
8位藝術家們使用 Adobe Substance Painter 和 PS 制作紋理，動畫則是在 Maya 中完成的。
最后，團隊工作人員使用 Nuke 進行場景合成，而剪輯則使用 DaVinci Resolve 完成。
當然了，后期渲染肯定也是少不了的。
借助Omniverse Farm工具，藝術家團隊能夠輕松地為 GTC 批量渲染4萬幀，總計4TB的內容。
其實，除了老黃的廚房，視頻中每次轉場的背景也是虛擬環境，包括數據中心和英偉達在硅谷的園區。
這樣看來，貌似還真發現了一點破綻。
黃仁勛背后的樹葉被風吹的左右飄搖，但他本人的頭發絲依舊紋絲不動。
不信？你來仔細鑒別。
（GTC大會：https://www.youtube.com/watch?v=I3QMhJ-Mrb0）
大會上，黃仁勛宣布了人工智能Omniverse平臺重大更新，其中包括一些令人振奮的新功能。
對于Omniverse平臺功能更新共有4個：
Showroom是一個包含演示和示例應用程序，展示了Omniverse核心技術。
Farm一個系統層，用于協調跨多個系統、工作站、服務器和虛擬化批作業處理，可以用于批量渲染，AI合成數據生成或分布式計算。
據介紹，英偉達團隊制作虛擬廚房也是為了進一步開發 Omniverse Farm和跨多個團隊的 Shot Manager 擴展的機會。
Omniverse AR可以將將圖形串流到手機或者AR眼鏡。Omniverse VR是英偉達首款全幀交互式光線追蹤VR。
Omniverse平臺具有很強大的構建虛擬環境的能力，但是，如果覺得用Omniverse只能搭環境，那可真是小看它了。
為了幫助開發者利用Omniverse創建具有「智慧」的虛擬人，Omniverse還開放了一個新功能：Omniverse Avatar。
Omniverse Avatar匯集了語音AI、計算機視覺、自然語言理解、推薦引擎、Avatar動畫和圖形等等一系列技術，獲得了令人驚嘆的效果。
在11月的GTC 2021大會上，黃仁勛重磅發布了可以與人進行流暢交流的虛擬形象Toy-Me，看上去就是一個卡通玩偶版的黃仁勛。
黃仁勛表示，「這個虛擬形象是基于目前訓練的最大語言模型的語言處理打造，包括聲音也是用我自己的語音進行合成，還可以看到實時基于光線追蹤的精美圖像。」
這個 Toy-Me 有多厲害？
在演示中，來自不同領域的3位科學家分別讓虛擬形象回答有關氣候變化、天文學以及生物蛋白質合成等方面的問題，難度還不低。
不過，這個可愛的小CEO回答得行云流水。
由此可見，Omniverse Avatar為快速創建人工智能助手打開了大門，這些虛擬助手幾乎可以為任何行業輕松定制。
它們可以幫助人們處理數十億的日常客戶服務互動，包括餐廳訂單、銀行交易、個人預約和預訂等等。
除了Toy-Me，英偉達還基于Omniverse Avatar打造了兩個虛擬助手，一個是蛋殼公仔Tokkio，一個是Maxine。
蛋殼公仔Tokkio是一個餐廳客服虛擬助手，能夠與顧客交談并理解他們的意圖。
比如，Tokkio可以同時和兩個顧客進行交談并理解他們要點什么。
Tokkio還被集成在了Nvidia Drive Concierge中，可以用語音喚醒，執行一些自然語音命令，比如打電話預訂。
司機還可以用它實現自動停車，只用動動嘴皮就好。
而Maxine為虛擬會議和視頻內容創作應用提供了最先進的語音轉錄和音頻生成工具。
在演示中，一個女人在嘈雜的咖啡館里通過視頻通話說著英語，但是背景噪音卻一點也聽不見。
更妙的是，當她說話時，她的語音會被實時轉錄并翻譯成法語、德語、西班牙語和中文，聲音和語調都還是她本人的。
這些神奇的功能都要依賴Omniverse Avatar的助力。
她的化身背后，是英偉達的Video2Face、Audio2Face、2D和3D AI驅動的面部動畫和渲染技術。
就在4月份的GTC大會，黃仁勛曾以14秒的假身現身演講。
視頻中，隨著鏡頭逐漸拉遠，老黃也開始被「分解」，一波特效完成之后，老黃也消失了。
老黃假身進行的數據采樣也是通過這幾項技術實現。
虛擬人的面部動作只需要導入純音頻后，Audio2Face能根據語音內容自動生成。
還有，Face-Vid2Vid可以讓模型看起來更真實。只需一張照片，對應覆蓋在CG模型上就可以了得到一個「栩栩如生」的臉了。
Omniverse Avatar的語音識別基于英偉達Riva，這是一個軟件開發工具包，可以識別多種語言的語音。Riva還可以利用文本到語音生成功能生成類似人類的語音。
Omniverse Avatar的自然語言理解能力是基于Megatron 530B大型語言模型，可以識別、理解和生成人類語言。
Megatron 530B預訓練模型在各種自然語言任務如：完形填空、閱讀理解、常識推理、自然語言推理、詞義消歧中紛紛實現SOTA。
除了可以回答問題、總結長而復雜的故事，Megatron還可以在沒有經過專門訓練的領域處理相應的問題。
Omniverse Avatar的推薦引擎由NVIDIA Merlin提供，該框架允許企業建立能夠處理大量數據的深度學習推薦系統，以提出更智能的建議。
Avatar的感知能力則是由NVIDIA Metropolis提供，這是一個用于視頻分析的計算機視覺框架。
所有這些技術都被整合到一個應用程序中，并使用英偉達統一計算框架進行實時處理。
這些技能可以被打包為可擴展、可定制的微服務，并由NVIDIA Fleet Command進行安全地部署、管理和編排。
利用這些工具，英偉達正在譜寫一個可以影響數萬億美元的市場的故事，而所有的這些都建立在Omniverse之上。
https://blogs.nvidia.com/blog/2021/12/21/how-omniverse-keynote/
https://blogs.nvidia.com/blog/2021/12/08/gtc-keynote-virtual-kitchen/?ncid=so-twit-128511
本文來自微信公眾號“新智元”（ID:AI_era），編輯：桃子 小咸魚，36氪經授權發布。
