微軟研究院首席研究員 Miltos Alamanis 與高級首席研究主管 Marc Brockschmidt,剛剛在一篇博客文章中介紹了他們新開發(fā)的 BugLabs 人工智能。顧名思義。這是一套專門用于發(fā)現(xiàn)代碼中的錯(cuò)誤,幫助開發(fā)者更精準(zhǔn)、高效地調(diào)試其應(yīng)用程序的 AI 解決方案。而且它的開發(fā)過程,與創(chuàng)建生成對抗網(wǎng)絡(luò)(GAN)的形式大致相同。
(來自:Microsoft Research Blog)
在《借助深度學(xué)習(xí)查找并修復(fù)錯(cuò)誤》一文中,微軟研究員介紹了他們設(shè)置的兩個(gè)相互對抗的網(wǎng)絡(luò)。其中一個(gè)旨在將小錯(cuò)誤引入代碼,另一個(gè)則旨在發(fā)現(xiàn)這些 bug 。
隨著深度學(xué)習(xí)訓(xùn)練的持續(xù)推進(jìn),AI 的能力也變得愈加完善,最終成為了我們看到的這個(gè)特別擅長識別“隱藏在真是代碼中的 bug”的人工智能。
這種方法的優(yōu)點(diǎn),在于全程無需自我監(jiān)督或標(biāo)記數(shù)據(jù)。Miltos Allamanis 與 Marc Brockschmidt 在報(bào)告中提到:
理論上,我們可以將之廣泛地應(yīng)用于‘捉迷藏’游戲 —— 教授機(jī)器去識別任務(wù)復(fù)雜的錯(cuò)誤。遺憾的是,這些 bug 通常超出了現(xiàn)代人工智能方法的運(yùn)用范圍。
有鑒于此,研究團(tuán)隊(duì)決定更加專注于一組常見的錯(cuò)誤 —— 包括不正確的比較(例如使用 = 而不使用或符號、不適當(dāng)?shù)牟紶栠\(yùn)算符(與 / 或)、濫用變量(誤用 i 而不是 j)等。
系統(tǒng)測試期間,微軟研究員特別專注于 Python 代碼。一旦檢測器通過了訓(xùn)練,即可將它用于檢測和修復(fù)實(shí)際代碼中的 bug 。
不過為了均衡性能,他們還是手動注釋了 Python Package Index 中包含的某些類型的小錯(cuò)誤數(shù)據(jù)集。
最終與隨機(jī)錯(cuò)誤插入等其它替代方案相比,其“hide-and-seek”訓(xùn)練模型有高達(dá)三成的領(lǐng)先優(yōu)勢,前景很是光明。
具體說來是,hide-and-seek 能夠自動找到并修復(fù)大約 26% 的錯(cuò)誤,且其中包括了 19 個(gè)此前未知的真實(shí)開源 GitHub 代碼中的 bug 。
與此同時(shí),現(xiàn)階段的 AI 模型仍存在許多誤報(bào)。在投入實(shí)際運(yùn)用之前,顯然還需要開展更多的改進(jìn)。
最后,鑒于微軟已經(jīng)成功地推動了 GitHub 上的 GPT-3 項(xiàng)目,預(yù)計(jì) hide-and-seek 也將很快迎來商業(yè)化應(yīng)用。
(舉報(bào))