介紹形狀標記 (Shape Tokens)
我們介紹形狀標記，這是一種連續、緊湊且易於整合進機器學習模型的3D表示方式。形狀標記作為條件向量，代表3D流匹配模型中的形狀信息。這個流匹配模型經過訓練，可以近似與集中在3D形狀表面的德爾塔函數相對應的概率密度函數。通過將形狀標記納入各種機器學習模型，我們可以生成新形狀、將圖像轉換為3D、將3D形狀與文本和圖像對齊，並在用戶指定的不同解析度下直接渲染形狀。此外，形狀標記還能系統性地分析幾何屬性，包括法線、密度和變形場。在各種任務和實驗中，使用形狀標記的表現相較於現有基準顯示出強大的性能。
圖1：我們的形狀標記表示可以作為各種應用中機器學習模型的輸入/輸出，包括單圖像轉3D（左）、法線圖的神經渲染（右上）和3D-CLIP對齊（右下）。這些模型在各自任務中相較於基準表現出色。
視頻1：這段視頻展示了我們從單一圖像生成3D點雲的結果。這些圖像來自Objaverse測試集中的未見物體。每段視頻首先顯示輸入圖像，然後是生成的點雲。[來源]
視頻2：從同一未見的輸入圖像，我們獨立生成多個點雲。[來源]
圖2：我們架構的概述。（左）我們將3D形狀建模為集中在表面上的概率密度函數，形成3D中的德爾塔函數。（右）我們的標記器使用交叉注意力將在形狀上採樣的點雲信息聚合到ST中。速度估計器僅使用交叉注意力和多層感知器（MLP）來保持點之間的獨立性。
圖3：在GSO數據集中對未見點雲的重建、密集化和法線估計。每行顯示一個包含16,384個點（僅xyz）的點雲，我們計算ST並獨立地從結果p(x|s)中抽樣262,144個點。不同的列從不同的視角渲染輸入和抽樣的點雲。根據括號中的標籤，我們根據xyz坐標為輸入點著色，根據初始噪聲的uvw坐標和估計的法線為抽樣點著色（最後兩列）。請注意，我們並未將法線作為輸入提供給形狀標記器。
視頻4：我們在來自未見的Google掃描物體的輸入點雲（16,384個點）上計算形狀標記。然後我們抽樣16倍的點（262,144個點）。視頻展示了流匹配抽樣過程的uvw到xyz的軌跡，即ODE軌跡。我們根據它們在噪聲空間中的初始位置（uvw）為點著色。[來源]
圖4：ODE積分軌跡定義了從xyz（數據）到uvw（噪聲）的映射。
視頻3：這段視頻展示了最近在Google掃描物體上使用的單圖像轉3D方法，這些物體對所有方法來說都是未見的。
從左到右：
輸入圖像、Spatter-image（CVPR 2024）：在Objaverse上訓練、Point-e（2022）：在數百萬個專有3D網格上訓練、Make-a-shape（ICML 2024）：在18個數據集上訓練，包括Objaverse、我們的方法：在Objaverse上訓練。請注意，這段視頻並不打算比較各個方法——這些模型在訓練數據（例如，Point-e是在專有3D網格上訓練的）和機制（例如，Spatter-image不是生成模型，而我們的方法假設已知的相機模型）上有所不同。我們提供這些結果供觀眾參考。[來源]
視頻5：這個頁面展示了在未見點雲上的神經渲染結果。從形狀標記中，我們使用神經網絡獨立估計每條光線的交點和其表面法線。
從左到右：
真實表面法線、Pointersect（CVPR 2023）、我們的方法。[來源]
網格/圖像來源：Google掃描物體、fedomo.ru、Jacob.Elhatmi、WrenArt、undeadfae、Monicag97、STK_produktion、Andi R、xabi、th_jabba、johnnokomis、LasquetiSpice、AdiXXioN、taplinhvip111、Stolmark、Koppany.IDK、vetorprotensao、JacksonSanders、remdwaas、GRAPHTEC AMERICA、iiircha、despinozavi、AstrumProjects、asleshka、ulmsklv、S.Duce、idcim、Darkkostas25、CREATRBOI、steam2020、fedomo.ru、AnirudhRao、3DFoxHound、pattarrian、katienixdesigns、icepacha、A109082012、RyanCrosby、Armen Gevorgyan、EnjoyLife_Tlt、Fong Chen、WHA Arquitectos、andreagonzalez28、YouSaveTime、Cutestormy、amy3d、daand、EfrenR、Poppy、MARTINICE GROUP、julianChee、Whatsername、Stuart、danielleclark、redkaratz、LuDiChRiS、mbilalsiddique1、Frybrix、defnotdan、invisiprim、Brent Loncher、MrMaxICT、Stevie_66、Jesse Van Norman、WuhuAirline、anyaachan、Lustron.ru、КУКАЛЕВ、Maxmalow、Karolina K Bieńkowska、Steel Frame Solutions Limited、James Robson、tepapalearninglab、exhibitbook、Christopher Cox、apoiocad、Padraig Daly、CurveCreativeStudio、DennisGray、grantbowlds、YouniqueĪdeaStudio、nobodyroo、dinomaster、pattarrian、rodrigo.ferrada、tamaliteitor123、George B、Csaba Baity (tsabszy)、tim.a.schmitz、romane_bouverot、RPG_Engineer、rilisjr、DJMaesen、agglover、Adrian Carter、mohamedsuspeito、Kevin Bond、faizn0rdin、SpaceCowBoy、Giravolt、NukedGames、bhrf、mscla1r3、ScannerDev、Vikrama Raghuraman、NoobiePie、prostair.pl、Rzyas、Phil Gosch、gFiamma、pahlevidaffa、Onironauta digital、pixelsquare、SketchingSushi、Mateus Schwaab、archmixes、jacob_kenndey、lidija.simo、Jessica Peterson、Ltcolscotty、3Dystopia、Vincent Laberge、frdifrn、Frédérick Pagé、camlaneve、Matt、IronEqual、Tursito、Davidk、Mrs.X.A.YarnArt、prostair.pl、ChrisLee、guseu、Guilhermino、dieterreinert、Mattyew、natalimedeiros、leopro、Trappemakeren、beehn、alisachen69、Chrifuf、cncbrasil、zuzana vajdova、nguyenlouis32、DarksProducer、globalshizaku、louayleo、semmert179、naruemol.pholnuangma、Eric Haines、3DHA、Nick_Sherman、chaosexcell、ssarinareza、aveli.ladva、Tomas Rubianes、RainerWahnsinn、Lucas Jaenisch、cs_adam、trinityscsp、a109082026、JasseeNFT、Cowdi、Kisielev Mikhail、kay Quobad、secretariatep、me16019、scailman、Stichting Consortium Beroepsonderwijs、fedomo.ru、PatelDev、bipolarbear、Emm (Scenario)、De Oliveira M.、Наруто、Keita-sama、RodierGabrielle、mizuhi、shughes、Gregory Khodyrev、millerj449、Marko31、David_Holiday、edouard.angebault、fedomo.ru、Artem Shamsuarov、Alan Grice Staircase Co Ltd、THESTIG03、vamsikrishna.v、Dundee Howff Conservation Group、sinhoroto、jia100、10668285、Born_Canadian、jashma82、aki.karppinen、DarkAaron999、Luckster、julius.j.bib、trolosqlfod、RBG_illustrations、fedomo.ru、MOHMAX1、jamesdeantv1、moxmoin、Adrian21、andrea bocchini geometra、Re3xyyz、Binkley-Spacetrucker、FeralMan、unownlord、pigfinite、duperonvincent、ayekerik、140813、antonio.a.longoria、cyber0063、Mateja Veljkovic、Vonka Stairs Ltd、breezeca、kishi、97jana、Sogomonyan_Vaagn、peachybunny、gb.prof.69、milen.margaryan2003、nguyenhuydang、andysmiles4games、Aorie、jonamanz9673、mommy long legs、buckygaming2019、gwen.domingo、PointXX、Lukas Guhse、arakiminoru、Tatiana Sumarokova、potaato、Lustron.ru、jhseok8927、Xillute | Dev、re1monsen、c4n、Ceat、joseph.terronez、matousekfoto、Max Wittig、rltw、lsbergin、KIΣITO、Aiden Huxley、3Dystopia、MartyUkovGBS、Jamie Rose、Mihail.Burduja、ashpatz845、Schack-Trapper、brian.h.moyer、Excel Stairs Ltd、Behets、Noemi.Mancilla.Serrano、madison319478、Drake、xeratdragons、timpugh44、GSMRF、Lauren Hasegawa、Ca7chi、dewathoem、schaffsp、新領域3D列印、Dikart、MariaMam、Micayla Spiros、silvinomc00、Neut2000、Orie J. Braun、hafsa.ishtiaq97、Robwaah007、shakiller、新領域3D列印、-Slash-、Saumleid、DreamSail Games – Graham、Jingbari、sualogo3d、maypassamon、Uğur Yakışık、Caitlin、LynSalvador、lanvalond、TheDesigner、e90r96、guilherme.vinicius、Lustron.ru、ZOMBIEFOLIFE、TroyMay21、Qubx.3D
新聞來源
本文由 AI 台灣 運用 AI 技術編撰，內容僅供參考，請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團，
隨時掌握最新 AI 動態與實用資訊！
