PRISMA是一個(gè)計(jì)算攝影管道，可以從任何圖像或視頻中執(zhí)行多種推斷。就像光線通過棱鏡折射成不同的波長一樣，這個(gè)管道將圖像擴(kuò)展成可用于3D重建或?qū)崟r(shí)后期處理操作的數(shù)據(jù)。它結(jié)合了不同的算法和開源的預(yù)訓(xùn)練模型，比如單目深度(MiDAS v3.1， ZoeDepth， Marigold， PatchFusion)、光流(RAFT)、分割掩模(mmdet)、相機(jī)姿態(tài)(colmap)等。結(jié)果被存儲(chǔ)在與輸入文件同名的文件夾中，每個(gè)band以.png或.mp4 文件的形式單獨(dú)存儲(chǔ)。
點(diǎn)擊前往PRISMA官網(wǎng)體驗(yàn)入口
對(duì)于視頻，在最后一步，它會(huì)嘗試執(zhí)行稀疏重建，可用于NeRF(如NVidia的Instant-ngp)或高斯擴(kuò)散訓(xùn)練。推斷出的深度信息默認(rèn)導(dǎo)出為可以使用LYGIA的heatmap GLSL/HLSL采樣實(shí)時(shí)解碼的熱度圖，而光流編碼為HUE(角度)和飽和度，也可以使用LYGIA的光流GLSL/HLSL采樣器實(shí)時(shí)解碼。
需求人群：
- 3D重建
- 圖像/視頻后期處理
- 生成NeRFs訓(xùn)練數(shù)據(jù)
使用場景示例：
- 從圖像中提取多種band信息進(jìn)行分析
- 從視頻中獲取深度/光流信息制作3D效果
- 作為NeRF網(wǎng)絡(luò)的數(shù)據(jù)源進(jìn)行訓(xùn)練
產(chǎn)品特色：
- 單目深度推斷
- 光流估計(jì)
- 圖像分割
- 相機(jī)姿態(tài)估計(jì)
- 稀疏3D重建
（舉報(bào)）