,,

NVIDIA通過人工智能將2D平面照片轉換為3D立體場景

（2024年11月27日更新）

75年前，人們用寶麗來 (Polaroid ) 當相機拍攝世界上第一張實時成像照片時，它是一張逼真的照片 2D 快速捕捉圖像 3D 世界畫面的創舉。如今，人工智能 (AI) 研究人員反過來，在幾秒鐘內將一組靜態圖像變成數字 3D 場景。

芯片采購網專注于整合國內外授權IC代理商現貨資源，芯片庫存實時查詢，行業價格合理，采購方便IC芯片，國內專業芯片采購平臺。

NVIDIA Research 通過人工智能，它將在間 2D 平面照片變成 3D 立體場景

這叫逆向渲染 (inverse rendering) 使用過程 AI 估計光線在現實世界中的表現，使研究人員能夠從不同角度拍攝少量光線 2D 影像來重建 3D 場景。NVIDIA Research 該團隊開發了一種幾乎可以在瞬間完成任務的方法，是第一個將超高速神經網絡訓練與快速渲染相結合的模型之一。
NVIDIA 將該方法應用于神經輻射場 (Neural Radiance Fields；NeRF) 在熱門新技術上創造 Instant NeRF 這是當今渲染速度最快的 NeRF 在某些情況下，技術的速度可以提高超過 1,000 倍。幾十張靜態照片可以在幾秒鐘內完成訓練模型，再加上拍攝角度的數據，可以在幾十毫秒內渲染出來 3D 場景。
NVIDIA 繪圖研究部副總裁 David Luebke 表示：「如果說傳統的多邊形網格是這樣的話 3D 表達就像向量圖，所以 NeRF 就像位圖一樣，它們會從物體或場景中密集捕捉光線。從這個意義上說，Instant NeRF 對 3D 不亞于數字相機和 JPEG 壓縮技術對 2D 攝影的重要性可以大大提高 3D 速度、共享的速度、便利性和范圍。」
在 NVIDIA GTC 會議議程中顯示 Instant NeRF，可用于為虛擬世界建立化身或場景 3D 拍攝視頻會議的參與者和環境，或者為 3D 重建場景的數字地圖。
NVIDIA Research 為了向早期的寶麗致敬，團隊重現了安迪。 (Andy Warhol) 拍攝實時成像照片的經典照片，使用 Instant NeRF 將其轉變為 3D 場景。
NeRF是什么？
NeRF 根據輸入組 2D 圖像，使用神經網絡來表達和渲染現實 3D 場景。
在投資前收集數據 NeRF 這有點像紅毯上的攝影師試圖從各個角度拍攝名人的華麗衣服，而神經網絡需要數十張照片，以及每張照片的相機位置。
如果場景中的人或物體移動，拍照越快越好。如果你在拍攝 2D 人或物體在圖像過程中移動過多，AI 會產生模糊 3D 場景。
基本上，NeRF 在這個時候，它將填補空白，訓練一個小的神經網絡， 3D 空間中任何一點輻射到任何方向的光顏色都可以重建場景。該技術甚至可以解決一些照片中的物體被其他照片中的柱子和其他障礙物覆蓋的問題。
利用 Instant NeRF 渲染速度提高1000倍
人類自然會根據一些圖片來估計物體的深度和外觀，但這對 AI 這是一項困難的任務。
根據圖片的復雜性和分辨率，用傳統的方法建立一個 3D 場景需要幾個小時甚至更長時間。 AI 加快處理速度。早期開發 NeRF 模型可以在幾分鐘內渲染出無偽影的清晰場景，但訓練還需要幾個小時。
然而，Instant NeRF 但渲染時間大大縮短，其原因 NVIDIA 所開發出的 Multi-resolution Hash Encoding 基于技術，可以優化調整這項技術 NVIDIA GPU 高效運行。通過新的輸入編碼方法，研究人員可以利用高速運行的微神經網絡創造高質量的結果。
使用研究人員 NVIDIA CUDA 工具套件與 Tiny CUDA 神經網絡函U-Blox代理開發這個模型的模型。這個小神經網絡可以單一 NVIDIA GPU 訓練和操作，搭載 NVIDIA Tensor 核心顯示適配器運行速度最高。
該技術可用于拍攝物理環境物體 2D 照片或電影通過訓練機器人和自動駕駛汽車來了解這些物體的大小和形狀。建筑業和娛樂業也可以使用該技術快速為實體環境建立數字圖片，創作者可以使用它進行修改和構建。
除了 NeRF，NVIDIA 研究人員還在探索如何使用這種輸入編碼技術來加速多項處理 AI 該領域的問題包括加強學習、語言翻譯和一般的深度學習算法。