探索ICLR‘24 Spotlight中的首個十億級別3D通用大模型

智源視覺團隊近期的工作：3D視覺大模型Uni3D在ICLR 2024的評審中獲得了688分，被選為Spotlight Presentation。在本文中，作者第一次將3D基礎模型成功scale up到了十億(1B)級別參數量，并使用一個模型在諸多3D下游應用中取得SOTA結果。代碼和各個scale的模型（從6M-1B）均已開源：

作者主要探索了3D視覺中scale up模型參數量和統一模型架構的可能性。在NLP / 2D vision領域，scale up大模型（GPT-4，SAM，EVA等）已經取得了很impressive的結果，但是在3D視覺中模型的scale up始終沒有成功。Uni3D旨在將NLP/2D中scale up的成功復現到3D表征模型上。

在這項工作中，作者提出了一個3D基礎大模型Uni3D，直接將3D backbone統一為ViT（Vision Transformer），以此利用豐富和強大的2D預訓練大模型作為初始化。Uni3D使用CLIP模型中的文本/圖像表征作為訓練目標，通過學習三個模態的表征對齊（點云-圖像-文本）實現3D點云對圖像和文本的感知。同時，通過使用ViT中成功的scale up策略，我們將Uni3D逐步 scale up，訓練了從Tiny到giant的5個不同scale的Uni3D模型，成功地將Uni3D擴展到10億級別參數。

下游應用：

Uni3D在多個3D任務上達到SoTA，如：zero-shot classification, few-shot classification，open-world understanding, open-world part segmentation.

零樣本/少樣本分類

Uni3D在ModelNet上實現了88.2%的零樣本分類準確率，甚至接近了有監督學習方法的結果（如PointNet 89.2 %）；

在最困難的Objaverse-LVIS基準下，Uni3D取得了55.3%的零樣本分類準確率，大幅刷新了該榜單。

而在Objaverse-LVIS基準的少樣本分類測試中，Uni3D實現了83.1%的準確率（16樣本下），明顯超過了以往的最先進基準OpenShape 32%。

開放世界的理解能力

研究團隊采用與CLIP2相同的設置在ScanNet測試集下探究Uni3D在現實場景下的零樣本識別性能。與之前最先進的SOTA方法PointCLIP、PointCLIP V2 、CLIP2Point 和CLIP2 相比，Uni3D表現最佳。

Uni3D在少樣本點云部件分割任務上也展示出了卓越的性能。下表結果顯示，在各種實驗條件下，Uni3D的性能都明顯優于Point-BERT等基線方法。即便只使用每類一個樣本訓練，Uni3D也達到了使用10%的訓練數據的先前基線方法（如PointNet++，Point-BERT）的水平，在訓練集的規模相對減少兩個數量級的情況下，仍能顯示出Uni3D更強的細粒度3D結構理解能力。

由于學到了強大的多模態表征能力，Uni3D還能夠做一些有意思的應用，如point cloud painting（點云繪畫），text/image-based 3D shape retrieval（基于圖像/文本的3D模型檢索），point cloud captioning（點云描述）：

點云繪畫：體現了在3D AIGC上的潛在能力

給定一個文本，Uni3D通過優化點云的顏色來提高點云和文本在特征空間的相似度，基于此實現文本操控的點云內容創作和點云繪畫。

文本驅動/圖像驅動的三維形狀檢索：體現在構建多模態檢索庫上的潛在能力

Uni3D通過學習到的統一的三維多模態表示，具有感知多個2D/語言信號的能力，可以通過圖像或文本輸入從大型3D數據集中檢索三維形狀。這是通過計算查詢圖像/文本提示的embedding與3D形狀的embedding入之間的余弦相似度來實現了對查詢的最相似3D形狀的獲取。

Uni3D 還可根據輸入文本來檢索 3D 形狀

將之前已經成熟的“文搜圖/圖搜圖”擴展到“文搜3D/圖搜3D”，這使得檢索互聯網上大規模未標定的繁雜三維模型成為可能，為相關三維領域從業者、創作者搜集素材提供實用工具。

Uni3D 還可給定點云生成對應的文本描述

Uni3D擴展為Text-to-3D generation tasks的評測指標

在text-to-3D研究領域，目前量化度量仍然是一個較難的問題。目前的量化指標都是將生成的3D模型渲染為2D圖片，利用2D指標衡量生成質量。然而由于渲染角度互相獨立以及3D模型自遮擋等問題，2D評價指標難以完全真實反映出3D生成模型的真實能力。如下圖，生成的3D模型有明顯的3D不一致性問題，但是單獨看其中大部分的視角渲染圖片都是正常的物體，導致2D評價指標往往難以反映生成3D模型的不一致問題。

作者團隊近期推出的Text-to-3D generation 工作GeoDream提出利用目前最大最強的3D基礎模型Uni3D,直接對3D模型進行評估，避免渲染帶來的視角問題。相應的評價指標代碼也開源到GeoDream的代碼庫中 (https://github.com/baaivision/GeoDream) 。

量化比較：在生成質量和語義保持性的量化測試上，GeoDream相比于之前方法取得顯著提升。在基于渲染2D圖片的量化指標(FID,CLIP-Score)和直接在3D空間度量生成的3D資產量化指標（Uni3D-Score）上均有提升，說明GeoDream渲染的圖片和3D結構均有優勢。

審核編輯：黃飛