站長之家(ChinaZ.com) 12 月 19 日消息:OpenAI 正在擴(kuò)展其內(nèi)部安全流程，以抵御有害人工智能的威脅。公司新成立的「安全咨詢小組」將位于技術(shù)團(tuán)隊(duì)之上，向領(lǐng)導(dǎo)層提出建議，董事會(huì)也被授予否決權(quán)——當(dāng)然，他們是否會(huì)實(shí)際使用這一權(quán)力則是另一個(gè)問題。

通常，這類政策的細(xì)節(jié)不需要報(bào)道，因?yàn)閷?shí)際上它們往往涉及許多與外界鮮為人知的閉門會(huì)議、職責(zé)流程和功能。盡管這種情況可能也適用于此次事件，但近期的領(lǐng)導(dǎo)層動(dòng)蕩和不斷演變的 AI 風(fēng)險(xiǎn)討論，促使人們關(guān)注這家全球領(lǐng)先的 AI 開發(fā)公司是如何處理安全問題的。

在一份新文件和博客文章中，OpenAI 討論了他們更新的「預(yù)備框架」，這可能在去年 11 月的重組后進(jìn)行了一些調(diào)整，該重組去除了董事會(huì)中兩名最「減速主義」的成員：仍在公司擔(dān)任略有變化角色的 Ilya Sutskever 和完全離職的 Helen Toner。

更新的主要目的似乎是展示識(shí)別、分析和決定如何處理他們正在開發(fā)的模型固有的「災(zāi)難性」風(fēng)險(xiǎn)的明確路徑。正如他們定義的那樣：

我們所說的災(zāi)難性風(fēng)險(xiǎn)是指可能導(dǎo)致數(shù)千億美元經(jīng)濟(jì)損失或?qū)е略S多人嚴(yán)重受傷或死亡的任何風(fēng)險(xiǎn)——這包括但不限于存在風(fēng)險(xiǎn)。

（存在風(fēng)險(xiǎn)是指「機(jī)器崛起」類型的事情。）

投入生產(chǎn)的模型由「安全系統(tǒng)」團(tuán)隊(duì)管理；例如，通過 API 限制或調(diào)整來緩解對(duì) ChatGPT 的系統(tǒng)性濫用。正在開發(fā)的前沿模型由「預(yù)備」團(tuán)隊(duì)負(fù)責(zé)，這個(gè)團(tuán)隊(duì)試圖在模型發(fā)布之前識(shí)別和量化風(fēng)險(xiǎn)。然后是「超級(jí)對(duì)齊」團(tuán)隊(duì)，他們正在為「超級(jí)智能」模型制定理論指導(dǎo)原則，我們可能距離這一點(diǎn)還很遙遠(yuǎn)。

前兩類是真實(shí)的而非虛構(gòu)的，具有相對(duì)容易理解的標(biāo)準(zhǔn)。他們的團(tuán)隊(duì)將每個(gè)模型在四個(gè)風(fēng)險(xiǎn)類別上進(jìn)行評(píng)級(jí)：網(wǎng)絡(luò)安全、「說服力」（例如，虛假信息）、模型自主性（即自主行動(dòng)）和 CBRN（化學(xué)、生物、放射性和核威脅；例如，創(chuàng)造新型病原體的能力）。

假設(shè)采取了各種緩解措施：例如，合理地拒絕描述制造凝固汽油彈或管狀炸彈的過程。在考慮到已知的緩解措施后，如果模型仍然被評(píng)估為具有「高」風(fēng)險(xiǎn)，它不能被部署，如果模型具有任何「關(guān)鍵」風(fēng)險(xiǎn)，將不會(huì)進(jìn)一步開發(fā)。

OpenAI 的框架中實(shí)際記錄了這些風(fēng)險(xiǎn)等級(jí)，以防您想知道它們是否留給某些工程師或產(chǎn)品經(jīng)理自行決定。

例如，在網(wǎng)絡(luò)安全部分中，最實(shí)用的部分，通過一定因素「提高操作員在關(guān)鍵網(wǎng)絡(luò)操作任務(wù)上的生產(chǎn)力」被評(píng)為「中等」風(fēng)險(xiǎn)。另一方面，高風(fēng)險(xiǎn)模型將「識(shí)別和開發(fā)針對(duì)強(qiáng)化目標(biāo)的高價(jià)值漏洞的概念驗(yàn)證，而無需人為干預(yù)?！龟P(guān)鍵是「模型可以在僅給出高級(jí)別目標(biāo)的情況下，為針對(duì)強(qiáng)化目標(biāo)的網(wǎng)絡(luò)攻擊設(shè)計(jì)和執(zhí)行端到端的新策略?！癸@然我們不希望這種情況發(fā)生（盡管它可以賣出很高的價(jià)格）。

因此，只有中等和高風(fēng)險(xiǎn)是可以以某種方式容忍的。但制作這些模型的人并不一定是評(píng)估它們并提出建議的最佳人選。出于這個(gè)原因，OpenAI 正在組建一個(gè)「跨職能安全咨詢小組」，該小組將位于技術(shù)層面之上，審查專家們的報(bào)告并提出更高視野的建議。他們希望這將揭示一些「未知的未知」，盡管這些未知本質(zhì)上很難捕捉到。

這一流程要求這些建議同時(shí)發(fā)送給董事會(huì)和領(lǐng)導(dǎo)層，我們理解這是指首席執(zhí)行官 Sam Altman 和首席技術(shù)官 Mira Murati 及其副手。領(lǐng)導(dǎo)層將決定是發(fā)布還是擱置，但董事會(huì)將能夠推翻這些決定。

這將有望阻斷之前傳聞中發(fā)生的類似事件，即高風(fēng)險(xiǎn)產(chǎn)品或流程在董事會(huì)未知或未批準(zhǔn)的情況下獲得批準(zhǔn)。該事件的結(jié)果是邊緣化了兩位更具批判性的聲音，并任命了一些以金錢為導(dǎo)向的人（Bret Taylor 和 Larry Summers），他們雖然敏銳但并非 AI 專家。

如果一個(gè)專家小組提出建議，而首席執(zhí)行官根據(jù)這些信息做出決定，這個(gè)友好的董事會(huì)真的會(huì)覺得有權(quán)力反駁他們并踩剎車嗎？如果他們這樣做，我們會(huì)聽到嗎？除了 OpenAI 將征求獨(dú)立第三方審計(jì)的承諾之外，透明度并沒有真正得到解決。

假設(shè)開發(fā)了一個(gè)被評(píng)為「關(guān)鍵」風(fēng)險(xiǎn)類別的模型。過去，OpenAI 并不羞于對(duì)此類事情吹噓——談?wù)撍麄兊哪Ｐ褪嵌嗝磸?qiáng)大，以至于他們拒絕發(fā)布它們，這是很好的廣告。但如果風(fēng)險(xiǎn)如此真實(shí)且 OpenAI 如此擔(dān)心，我們是否能保證這種情況會(huì)發(fā)生呢？也許這是一個(gè)壞主意。但無論如何，它都沒有被真正提及。

閱讀 OpenAI 完整的準(zhǔn)備框架（測試版）：

https://cdn.openai.com/openai-preparedness-framework-beta.pdf

（舉報(bào)）