文章概要:

1. CityDreamer 是一種生成式AI模型，可以創(chuàng)建無限的3D城市環(huán)境。

2. 通過將建筑實例生成與其他背景對象分離，可以更好地處理建筑多樣性。

3. 使用真實城市數(shù)據(jù)集訓(xùn)練，可以增強生成結(jié)果的真實性。

站長之家（ChinaZ.com）9月6日 消息:相比生成自然場景，用AI創(chuàng)建城市更復(fù)雜，因為可以更容易察覺結(jié)構(gòu)失真。CityDreamer是一種生成式AI系統(tǒng)，專門用于創(chuàng)建開放式的、無邊界的3D城市環(huán)境。

自然場景生成的成功可歸因于兩個主要因素:（1）自然場景中的同類對象傾向于外觀相似;(2)像SPADE這樣的圖像轉(zhuǎn)換技術(shù)可以快速生成大量高質(zhì)量訓(xùn)練數(shù)據(jù)。但這不適用于城市建筑生成。

它的關(guān)鍵創(chuàng)新在于將建筑實例的生成與其他背景對象如天空、地面等分離開來。這樣可以更好地處理城市場景中建筑外觀多樣性的挑戰(zhàn)，這也是與生成自然環(huán)境相比的一個重要區(qū)別。

CityDreamer系統(tǒng)使用了兩個真實世界的城市數(shù)據(jù)集:開放街圖（OSM）和Google Earth，這為模型提供了真實的城市布局和建筑樣式。研究人員通過這些數(shù)據(jù)訓(xùn)練模型學(xué)習(xí)生成逼真的城市場景。CityDreamer包含四個模塊:無界布局生成器、城市背景生成器、建筑實例生成器和合成器。

與此同時，建筑實例的生成使用變分自編碼器獲得更好的多樣性。這樣就可以創(chuàng)造出具有極高細節(jié)和逼真度的3D城市，并可以無限擴展生成范圍。

可見，CityDreamer系統(tǒng)應(yīng)用了多個生成模型的優(yōu)點，解決了生成開放式城市場景的關(guān)鍵難題，為未來數(shù)字城市和元宇宙相關(guān)任務(wù)提供了有力支撐。這項研究工作展示了生成模型在復(fù)雜三維場景生成方面的巨大潛力。

項目網(wǎng)址:https://infinitescript.com/project/city-dreamer/

https://github.com/hzxie/city-dreamer

（舉報）