站長(zhǎng)之家（ChinaZ.com）6月3日 消息:近日，ControlNet的作者推出了一個(gè)全新的項(xiàng)目——Omost。這個(gè)項(xiàng)目對(duì)現(xiàn)有圖像模型的提示詞理解有著巨大的幫助。通過(guò)很短的提示詞，就可以生成非常詳細(xì)并且空間表現(xiàn)很準(zhǔn)確的圖片。

Omost通過(guò)預(yù)定義的位置、偏移量和區(qū)域三大參數(shù)來(lái)簡(jiǎn)化圖像元素的描述。這使得用戶能夠更直觀地指定圖像中各個(gè)元素的位置和大小，從而生成高質(zhì)量、符合預(yù)期的圖像。

使用Omost，你只需要輸入簡(jiǎn)單的提示詞，LLM就可以生成圖像每個(gè)區(qū)域的簡(jiǎn)單提示和位置信息。然后針對(duì)圖像九宮格的簡(jiǎn)單提示詞繼續(xù)擴(kuò)展，保證了每一部分都有非常詳細(xì)的描述。

比如，我輸入創(chuàng)建一個(gè)夢(mèng)幻的空中城堡，然后它給我返回了一段非常詳細(xì)的圖像描述:

這張照片展示了一座漂浮在高空的夢(mèng)幻空中城堡，

“城堡完全由玻璃和閃閃發(fā)光的金屬制成，反射出耀眼的陽(yáng)光?！保?/p>

“精致的橋梁連接著各種塔，每座塔都裝飾著復(fù)雜的雕刻和發(fā)光的符文?！保?/p>

“城堡周圍的天空是柔和柔和色調(diào)的漸變，從黎明的粉紅色過(guò)渡到黃昏的藍(lán)色?！?，

“下面是郁郁蔥蔥的森林、波光粼粼的河流和連綿起伏的山丘?！?，

“整個(gè)場(chǎng)景籠罩在一種神奇的氛圍中，柔和空靈的光束照亮了城堡，營(yíng)造出一種奇妙和迷人的感覺(jué)?！?/p>

然后點(diǎn)擊生成圖像，它就會(huì)將上面的提示轉(zhuǎn)化為圖像返給你:

效果還不錯(cuò)。我們也可以將提示詞復(fù)制到MJ中生成。效果如下:

更牛逼的是，Omost已經(jīng)完成的圖像整體布局可以保留，如果你想修改畫面中的某個(gè)元素，也只需要一句提示詞即可。比如你原來(lái)的畫面主體是龍，你可以直接把龍變成恐龍。

項(xiàng)目亮點(diǎn):

1. 自動(dòng)擴(kuò)展提示詞:Omost能夠?qū)⒑?jiǎn)單的提示詞拆解成詳細(xì)的描述，從圖像整體到局部元素的位置和大小均能詳細(xì)說(shuō)明。例如輸入“a funny cartoon batman fights joker”，系統(tǒng)會(huì)生成蝙蝠俠與小丑戰(zhàn)斗的完整圖像。

2. 高靈活性:生成的圖像布局可以保留，用戶可以通過(guò)簡(jiǎn)單的提示詞對(duì)圖像中的某個(gè)元素進(jìn)行修改。比如，將龍變成恐龍，系統(tǒng)會(huì)根據(jù)新提示生成修改后的圖像。

3. 圖像位置編碼:Omost通過(guò)將圖像劃分為729個(gè)不同的位置來(lái)簡(jiǎn)化圖像元素的描述。每個(gè)位置包括預(yù)定義的參數(shù)，如位置、偏移量和區(qū)域，確保圖像生成的準(zhǔn)確性和細(xì)致度。

4. 子提示系統(tǒng):所有Omost LLM都經(jīng)過(guò)訓(xùn)練，可以提供嚴(yán)格定義的“子提示”，這些子提示可以獨(dú)立描述事物，并任意組合形成完整的提示。這種設(shè)計(jì)提高了提示詞的靈活性和準(zhǔn)確性。

5. 注意力操縱:Omost使用注意力分?jǐn)?shù)調(diào)整技術(shù)來(lái)控制圖像生成過(guò)程中的區(qū)域關(guān)注度，實(shí)現(xiàn)更精細(xì)的圖像生成。通過(guò)調(diào)整注意力分?jǐn)?shù)，Omost能夠生成符合提示詞描述的圖像元素。

6. 提示前綴樹:Omost引入提示前綴樹技術(shù)，通過(guò)合并子提示來(lái)改進(jìn)提示理解和描述。例如，可以將路徑“a cat and a dog. the cat on the sofa”作為提示，從而生成相應(yīng)圖像。

Omost的實(shí)現(xiàn)和使用

Omost項(xiàng)目基于Llama3和Phi3變體模型，用戶可以通過(guò)提供簡(jiǎn)單的提示詞來(lái)生成復(fù)雜的圖像。以下是該項(xiàng)目的幾個(gè)關(guān)鍵組件:

1. 位置和偏移量:將圖像劃分為9個(gè)位置，每個(gè)位置進(jìn)一步劃分為81個(gè)偏移量，共有729個(gè)邊界框，用于描述圖像元素的位置。

2. distance_to_viewer和HTML_web_color_name:用于調(diào)整圖像元素的視覺(jué)表現(xiàn)，通過(guò)組合這些參數(shù)可以生成粗略的圖像構(gòu)圖。

3. 注意力操縱:基于注意力分?jǐn)?shù)操作的baseline渲染器，通過(guò)調(diào)整注意力分?jǐn)?shù)來(lái)控制不同區(qū)域的模型關(guān)注度。

應(yīng)用和前景

Omost技術(shù)的推出，不僅簡(jiǎn)化了提示詞的編寫，還提高了圖像生成的精確度和靈活性。其應(yīng)用場(chǎng)景包括但不限于AI繪畫、圖像設(shè)計(jì)、廣告創(chuàng)意、教育等領(lǐng)域。用戶可以通過(guò)簡(jiǎn)單的提示詞生成復(fù)雜的圖像，為創(chuàng)意設(shè)計(jì)提供了強(qiáng)大的工具支持。

項(xiàng)目頁(yè):https://top.aibase.com/tool/omost

試玩地址:https://huggingface.co/spaces/lllyasviel/Omost

（舉報(bào)）