站長之家（ChinaZ.com）1月23日 消息:RPG-DiffusionMaster是一個利用LLM（Large Language Model）優(yōu)化SD(Text-to-Image)文本到圖像的轉(zhuǎn)換過程的框架。該框架能夠更好地理解和分解生成圖像的文字提示，以實現(xiàn)將一幅圖像分解成不同的部分或區(qū)域，并根據(jù)理解的相應(yīng)文本提示來生成圖像，最后合成為一個符合預(yù)期要求的圖像。
項目地址:https://top.aibase.com/tool/rpg-diffusionmaster
RPG框架的主要功能包括多模態(tài)重標(biāo)記、思維鏈規(guī)劃、補充區(qū)域擴散、高分辨率圖像生成、多樣化應(yīng)用以及對不同類型的大語言模型的兼容性。
在多模態(tài)重標(biāo)記方面，RPG框架能夠?qū)⒑唵蔚奈谋咎崾巨D(zhuǎn)換為更具描述性和詳細(xì)性的提示，以提高生成圖像的質(zhì)量和與文本的語義對齊程度。同時，它還能將復(fù)雜的圖像生成任務(wù)分解為多個簡單的子任務(wù)，并在圖像空間中劃分為互補的子區(qū)域，每個子區(qū)域?qū)?yīng)一個特定的子任務(wù)。
在生成圖像內(nèi)容時，RPG框架在非重疊的子區(qū)域中獨立生成圖像內(nèi)容，然后將這些內(nèi)容合并，創(chuàng)建一幅完整的復(fù)合圖像。此外，RPG-DiffusionMaster還能夠生成超高分辨率的圖像，并支持多種擴散模型，包括SDXL和SD v1.4/1.5等，兼容不同的MLLM架構(gòu)，從而具有更高的靈活性和準(zhǔn)確性。
RPG-DiffusionMaster不僅支持專有的大語言模型，如GPT-4、Gemini PRO等，還支持開源模型，如miniGPT-4，提供了更廣泛的應(yīng)用可能性。由于使用先進的大型語言模型，該框架可以直接應(yīng)用于文本到圖像的轉(zhuǎn)換任務(wù)，無需進行額外的模型訓(xùn)練。
舉例解釋，當(dāng)提示詞為:“我想要一幅畫，畫里有一只大象在草地上玩足球”，RPG框架通過多模態(tài)重標(biāo)記將描述變得更加詳細(xì)和具體，然后利用思維鏈規(guī)劃將圖像分解為多個部分，并最終通過補充區(qū)域擴散將這些單獨繪制的部分合并成一幅完整的畫。
實驗結(jié)果表明，RPG框架能夠根據(jù)復(fù)雜的文本描述生成高度準(zhǔn)確和詳細(xì)的圖像，優(yōu)于現(xiàn)有技術(shù)，并具有靈活性和廣泛的適用性，能夠應(yīng)用于多種不同的圖像生成場景。
（舉報）