劃重點:

? StyleMamba 是一種用于文本驅動圖像風格轉移的有效框架，使用文本提示來指導風格化過，同時保持原始圖像內容。

?? 該研究團隊提出了兩種獨特的損失函數(shù)，二階方向損和掩碼損失，以確保圖像與文本提示之間的局部和全局風格一致性。

?? StyleMamba 的效果經過多項測試和定性分析確認，優(yōu)于當前基線方法的性能。

站長之家（ChinaZ.com）5月11日 消息:近期，來自倫敦帝國理工學院和戴爾的研究團隊推出了 StyleMamba，這是一種有效的框架，用于轉移圖片風格，通過使用文本來指導風格化過程，同時保持原始圖像內容。當前文本驅動風格化技術的計算需求和訓效率低下的問題在這個引入中得到了解決。

傳統(tǒng)上，文本驅動的風格化是通過大的計算資源和冗長的訓練過程來處理的。通過專門為有效的文本驅動圖像風格轉移創(chuàng)建的條件空間模型，StyleMamba 加快了這一過程。通過這種方法，可以通過順序地將圖像特征與目文本提示進行對齊，從而精確控制風格化。

StyleMamba 提供了兩種獨特的損失函數(shù)，即二階方向損失和掩碼損失，以確保圖像與書面提示之間的局部和全局風格一致性。這些損失將所需的訓迭代次數(shù)減少了5倍，推理時間減少了3倍，從而優(yōu)化了風格化方向。

StyleMamba 的有效性經過了大量測試和定性分析的確認。結果驗證了該建議方法的魯棒性和整體風格化性能優(yōu)于當前基線的性能。這框架提供了一種更有效、更經濟的方式，將口頭描述轉換為視覺上吸引人的風格，同時保持原始圖像材料的完整性和精神。

該團隊總結了他們的主要貢獻如下:

1. 通過將條件 Mamba 整合到 AutoEncoder 架構中，StyleMamba 提供了一個簡單而強大的框架。通過這種合，可以快速有效地完成文本驅動的風格轉移，簡化了與當前方法的比較。

2. StyleMamba 使用損失函數(shù)來提高風格化質量。引入掩碼方向損失和二階關系損失，確保更好的全局和局部風格致性，而不損害圖像的原始內容，并加快了風格化過程。

3. StyleMamba 的有效性經過了徹的經驗分析，包括定量和定性評估。這些測試表明了 StyleMamba 在風格化質量和速度方的優(yōu)勢。

由于其易用性和有效性，StyleMamba 已在除靜止圖像風格轉移之外的設置中進行了評估。實驗表明，StyleMamba 在各種應用和媒體格式上都表現(xiàn)出多功能性和適應性，包括多種風格轉移任務和視頻風格轉移。

論文地址:https://arxiv.org/abs/2405.05027

（舉報）