像素空間擴散模型的小說視圖合成

從單一影像合成新視角的挑戰

從一張圖片合成新的視角是一個很困難的任務。傳統上，這個任務是透過估算場景的深度、變形和修補來完成的，機器學習模型幫助了這個過程的某些部分。最近，生成模型在新視角合成（NVS）中越來越受到重視，通常涵蓋整個端到端的系統。

我們的研究方法

在這項研究中，我們調整了一種現代擴散模型架構，專門用於像素空間中的端到端NVS，並且表現超越了之前的最先進技術。我們探索了不同的方式將幾何信息編碼進網絡中。我們的實驗顯示，雖然這些方法可能會提升性能，但與使用改進的生成模型相比，它們的影響是微不足道的。

創新的訓練方案

此外，我們還引入了一種新的NVS訓練方案，利用單視圖數據集，因為這些數據集相對於多視圖數據集來說更為豐富。這使得我們的模型在處理包含不同內容的場景時，能夠更好地進行推廣。