站長(zhǎng)之家(ChinaZ.com) 12 月 8 日消息:Meta 今天宣布了一項(xiàng)名為「Purple Llama」的新倡議，旨在促進(jìn)人工智能（AI）系統(tǒng)的負(fù)責(zé)任開(kāi)發(fā)。

Meta 表示，該項(xiàng)目將逐步提供 AI 開(kāi)發(fā)社區(qū)構(gòu)建開(kāi)放生成 AI 模型所需的所有工具和評(píng)估，以確保安全和負(fù)責(zé)任的方式進(jìn)行。

在一篇博客文章中，Meta 的 AI 研究團(tuán)隊(duì)解釋說(shuō)，生成式 AI 正在推動(dòng)一波創(chuàng)新浪潮，包括對(duì)話(huà)式聊天機(jī)器人、圖像生成器、文檔摘要工具等現(xiàn)在在全球范圍內(nèi)被廣泛使用。許多這些新的生成式 AI 應(yīng)用由 Meta 的開(kāi)源 Llama 大型語(yǔ)言模型驅(qū)動(dòng)。

因此，Meta 感到有責(zé)任采取行動(dòng)，并鼓勵(lì)在 AI 安全領(lǐng)域的合作，稱(chēng)這對(duì)于建立對(duì)這些新創(chuàng)新的信任至關(guān)重要?！笜?gòu)建 AI 系統(tǒng)的人無(wú)法在真空中解決 AI 的挑戰(zhàn)，這就是為什么我們希望平衡競(jìng)爭(zhēng)環(huán)境，為開(kāi)放的信任和安全創(chuàng)造一個(gè)中心，」該公司解釋道。

為了開(kāi)始這一切，Meta 首先推出了一個(gè)名為 CyberSec Eval 的免費(fèi)開(kāi)放的大型語(yǔ)言模型（LLM）網(wǎng)絡(luò)安全評(píng)估基準(zhǔn)。Meta 還宣布推出 Llama Guard，這是一個(gè)用于輸入/輸出過(guò)濾的安全分類(lèi)器，已經(jīng)過(guò)優(yōu)化，便于部署。

Meta 在博客文章中表示，網(wǎng)絡(luò)安全和 LLM 提示安全是生成式 AI 安全中兩個(gè)最重要的領(lǐng)域，這在其 Llama 2 負(fù)責(zé)任使用指南中得到了強(qiáng)調(diào)。

據(jù)介紹，CyberSec Eval 是業(yè)界首個(gè)針對(duì) LLM 的網(wǎng)絡(luò)安全安全評(píng)估集。這些基準(zhǔn)基于行業(yè)標(biāo)準(zhǔn)和指南，并與安全主題專(zhuān)家合作開(kāi)發(fā)。它們?yōu)殚_(kāi)發(fā)者提供量化 LLM 安全風(fēng)險(xiǎn)的指標(biāo)，并旨在解決不安全代碼建議頻率等問(wèn)題。它們還使開(kāi)發(fā)者能夠評(píng)估 LLM，使應(yīng)用程序更難生成可能用于協(xié)助網(wǎng)絡(luò)攻擊的惡意代碼。

Meta 表示，新工具將有助于防止黑客和其他惡意行為者利用 LLM 進(jìn)行網(wǎng)絡(luò)攻擊。其早期研究發(fā)現(xiàn)，生成式 AI 被用來(lái)生成不安全代碼和滿(mǎn)足惡意請(qǐng)求存在「重大風(fēng)險(xiǎn)」。

至于 Llama Guard，它是一個(gè)預(yù)先訓(xùn)練的模型，旨在防止生成式 AI 模型生成潛在風(fēng)險(xiǎn)的輸出。它是基于公開(kāi)可用的數(shù)據(jù)集混合訓(xùn)練的，使其能夠檢測(cè)許多不同用例中可能相關(guān)的常見(jiàn)風(fēng)險(xiǎn)或違規(guī)內(nèi)容。因此，它可以檢測(cè)來(lái)自生成式 AI 模型的風(fēng)險(xiǎn)提示和輸出，并防止它們被處理。最終，Meta 表示，這將幫助開(kāi)發(fā)者定制他們的生成式 AI 模型，以支持相關(guān)用例，同時(shí)將引起爭(zhēng)議、不安或冒犯的風(fēng)險(xiǎn)降到最低。

紫色團(tuán)隊(duì)行動(dòng)

Meta 表示，「Purple Llama」是其新 AI 安全倡議的合適名稱(chēng)，因?yàn)榫徑馍墒?AI 的風(fēng)險(xiǎn)需要開(kāi)發(fā)者結(jié)合攻擊（即「紅色團(tuán)隊(duì)行動(dòng)」）和防御（即所謂的「藍(lán)色團(tuán)隊(duì)行動(dòng)」）。在傳統(tǒng)網(wǎng)絡(luò)安全中，紅色團(tuán)隊(duì)由專(zhuān)家組成，他們執(zhí)行各種攻擊，試圖克服公司的網(wǎng)絡(luò)安全防御，而藍(lán)色團(tuán)隊(duì)則專(zhuān)注于保護(hù)和應(yīng)對(duì)這些攻擊。

因此，Meta 將其對(duì)生成式 AI 安全的方法標(biāo)記為「紫色團(tuán)隊(duì)行動(dòng)」，旨在促進(jìn)評(píng)估和緩解技術(shù)潛在風(fēng)險(xiǎn)的協(xié)作方法。

作為 Purple Llama 倡議的一部分，Meta 打算進(jìn)行大量的探索性研究，但不會(huì)單獨(dú)進(jìn)行。相反，它正在創(chuàng)建一個(gè)開(kāi)放的生態(tài)系統(tǒng)，合作伙伴包括新成立的 AI 聯(lián)盟、AMD、亞馬遜AWS、貝恩公司、CloudFlare Inc.、Databricks Inc.、Dell Technologies Inc.、Dropbox Inc.、谷歌云、Hugging Face Inc.、IBM 公司、英特爾公司、微軟公司、MLCmmons、英偉達(dá)公司、甲骨文公司、Scale AI Inc.、Together Computing Inc. 等眾多公司。

Meta 今天宣布這一倡議的時(shí)機(jī)緊隨其加入 IBM 公司 AI 聯(lián)盟之后，似乎是為了實(shí)現(xiàn)后者組織的目標(biāo)而邁出的第一步，Constellation Research Inc. 副總裁兼首席分析師 Andy Thurai 表示。「在委員會(huì)工作成果發(fā)布之前，甚至在團(tuán)隊(duì)確定之前，Meta 已經(jīng)提前發(fā)布了一套工具和框架，」分析師指出。

Thurai 補(bǔ)充說(shuō)，值得一提的是，Meta 正在與一些尚未加入 AI 聯(lián)盟的公司合作，包括 AWS、谷歌、微軟和英偉達(dá)，這些是行業(yè)最大的參與者之一。

「Meta 計(jì)劃將它們用于商業(yè)和研究領(lǐng)域的許可，這是 LLaMa 模型許可選項(xiàng)限制最大的不滿(mǎn)，」Thurai 補(bǔ)充說(shuō)?！杆岢龅墓ぞ呒荚趲椭?LLM 生產(chǎn)者評(píng)估 LLM 安全風(fēng)險(xiǎn)、不安全代碼輸出評(píng)估，和/或可能限制輸出，防止惡意行為者利用這些開(kāi)源 LLM 進(jìn)行網(wǎng)絡(luò)攻擊。這是一個(gè)良好的第一步，我希望看到更多。」

Purple Llama 項(xiàng)目的組成部分，包括 CyberSec Eval 和 Llama Guard，將基于寬松的許可進(jìn)行許可，允許研究和商業(yè)使用。Meta 表示，它將在 12 月 10 日開(kāi)始的 NeurIPs 2023 活動(dòng)上展示這些組件的第一批，并為希望實(shí)施它們的開(kāi)發(fā)者提供技術(shù)深入解析。

（舉報(bào)）