**劃重點(diǎn):**

1. ?? AI圖像生成器在過(guò)去一年變得異常流行，但也帶來(lái)了不安全圖像的問(wèn)題，包括淫穢和令人不安的內(nèi)容。

2. ?? 研究人員通過(guò)對(duì)四個(gè)知名AI圖像生成器進(jìn)行測(cè)試，發(fā)現(xiàn)其中14.56%的生成圖像被定義為“不安全圖像”，其中以Stable Diffusion生成器的18.92%最為突出。

3. ?? 為了解決這一問(wèn)題，研究人員提出了三種解決方案，包括在訓(xùn)練階段篩選數(shù)據(jù)、規(guī)范用戶輸入提示以及在圖像生成后分類和刪除不安全圖像。

站長(zhǎng)之家(ChinaZ.com) 11月14日 消息:近年來(lái)，AI圖像生成器因其便捷性而變得異常受歡迎，但也引發(fā)了一系列問(wèn)題。在CISPA Helmholtz信息安全中心的研究中，研究員Yiting Qu探討了這些圖像生成器中存在的不安全圖像問(wèn)題，并提出了一種用于解決此問(wèn)題的過(guò)濾器。

她一篇論文中指出，用戶通過(guò)所謂的文本到圖像模型，如Stable Diffusion、Latent Diffusion或DALL·E，可以通過(guò)輸入特定文本信息生成數(shù)字圖像。然而，Qu發(fā)現(xiàn)一些用戶將這些工具用于生成色情或令人不安的圖像，尤其是當(dāng)這些圖像在主流平臺(tái)上廣泛傳播時(shí)，問(wèn)題更為突出。

為了解決這一問(wèn)題，研究人員對(duì)四個(gè)最知名的AI圖像生成器進(jìn)行了測(cè)試，包括Stable Diffusion、Latent Diffusion、DALL·E2和DALL·E mini。通過(guò)使用特定集合的文本輸入提示，其中包括來(lái)自4chan和Lexica網(wǎng)站的內(nèi)容，他們發(fā)現(xiàn)在所有生成器中，有14.56%的生成圖像被定義為“不安全圖像”，而Stable Diffusion的比例最高，達(dá)到18.92%。

為了應(yīng)對(duì)這一問(wèn)題，Qu提出了三種解決方案。首先，開(kāi)發(fā)人員在訓(xùn)練或調(diào)整階段應(yīng)篩選訓(xùn)練數(shù)據(jù)，減少不確定圖像的數(shù)量。其次，規(guī)范用戶輸入提示，例如刪除不安全關(guān)鍵詞。最后，對(duì)于已經(jīng)生成的不安全圖像，需要一種方式對(duì)這些圖像進(jìn)行分類和在線刪除。這也需要平臺(tái)上的過(guò)濾功能來(lái)實(shí)現(xiàn)。

Qu指出，盡管防止圖像生成是一種方式，但更重要的是沿著文本到圖像模型的供應(yīng)鏈采取綜合性的措施。她表示，自己開(kāi)發(fā)的過(guò)濾器在防止不安全圖像生成方面取得了更高的命中率，但仍需要在自由和內(nèi)容安全之間找到平衡。她希望通過(guò)這項(xiàng)研究幫助減少未來(lái)互聯(lián)網(wǎng)上流傳的有害圖像數(shù)量。

論文網(wǎng)址:https://techxplore.com/journals/arxiv/

（舉報(bào)）