**劃重點(diǎn):**
1. ?? IBM研究發(fā)現(xiàn),利用生成式AI工具,黑客可以相對(duì)輕松地劫持語音通話,構(gòu)成新的威脅。
2. ?? 對(duì)金融機(jī)構(gòu)等使用電話驗(yàn)證身份的組織而言,使用低成本AI工具,騙子能夠輕松冒充他人的聲音,竊取資金和其他敏感信息。
3. ??? "音頻劫持"是一種新的威脅,威脅行為者可在進(jìn)行中的對(duì)話中使用語音克隆操縱大型語言模型。
站長(zhǎng)之家(ChinaZ.com) 2月4日 消息:近期,IBM研究人員發(fā)現(xiàn)了一種相對(duì)簡(jiǎn)單的方法,可以利用生成式AI工具劫持語音通話。這一發(fā)現(xiàn)引發(fā)了對(duì)金融機(jī)構(gòu)等依賴電話驗(yàn)證身份的組織的擔(dān)憂。利用低成本的AI工具,騙子們現(xiàn)在可以輕松地冒充他人的聲音,劫持正在進(jìn)行的對(duì)話,以竊取資金和其他敏感信息。
圖源備注:圖片由AI生成,圖片授權(quán)服務(wù)商Midjourney
這項(xiàng)新的威脅被IBM的研究人員稱為“音頻劫持”,威脅行為者可以使用語音克隆在進(jìn)行中的對(duì)話中操縱大型語言模型。為了實(shí)施這一威脅,威脅行為者需要首先在受害者的手機(jī)上安裝惡意軟件或者破壞無線語音通話服務(wù),然后連接到他們自己的AI工具。
具體而言,AI聊天機(jī)器人接收一個(gè)簡(jiǎn)單的提示,告訴它在聽到特定關(guān)鍵短語時(shí)如何回應(yīng)。在這個(gè)案例中,短語是“銀行賬戶”。聊天機(jī)器人掃描每個(gè)通過被侵入的電話或語音通話服務(wù)傳遞的對(duì)話,尋找這個(gè)關(guān)鍵詞。一旦它聽到了,聊天機(jī)器人就被指示用受害者的克隆聲音說出不同的短語。在這種情況下,機(jī)器人將受害者的銀行賬號(hào)替換為攻擊者的賬號(hào),使得存款進(jìn)入錯(cuò)誤的賬戶。
IBM安全部首席威脅情報(bào)架構(gòu)師Chenta Lee在報(bào)告中指出:“LLM的修改不僅限于財(cái)務(wù)信息,還可以修改會(huì)話中的醫(yī)療信息,如血型和過敏;它還可以命令分析師買賣股票;它還可以指示飛行員重新規(guī)劃飛行路線。”
盡管在IBM的實(shí)驗(yàn)中,研究人員仍然面臨一些障礙,比如語音克隆的響應(yīng)有時(shí)會(huì)有延遲,因?yàn)樗枰L問文本到語音API和告訴它做什么的聊天機(jī)器人。此外,并非所有語音克隆都令人信服。
為了對(duì)抗這一威脅,報(bào)告建議任何發(fā)現(xiàn)自己接到可疑電話的人重新用自己的話轉(zhuǎn)述并重復(fù)對(duì)方說過的內(nèi)容,以驗(yàn)證準(zhǔn)確性。這將使聊天機(jī)器人困擾,因?yàn)樗鼈內(nèi)匀浑y以理解基本的會(huì)話提示。
(舉報(bào))