DeepMind又加了一篇NS論文。

這次是信息學(xué)選手中的奧數(shù)AlphaCode，登上了最新一期《科學(xué)》的封面。

沒(méi)錯(cuò)，就是那個(gè)潛入10次編程比賽并打出代碼，得分超過(guò)人類(lèi)一半的編程AI。

并且在這篇新更新的論文中，DeepMind還首次透露了AlphaCode的一次通過(guò)率:66%。

也就是說(shuō)，AlphaCode近三分之二的投稿都是AC。

CMU博世人工智能中心教授j·濟(jì)科·科爾特的最新綜述文章也發(fā)表在這一期《科學(xué)》雜志上。他認(rèn)為:

AlphaCode不只是復(fù)制現(xiàn)有的解決方案。

當(dāng)面對(duì)從未見(jiàn)過(guò)的編程問(wèn)題時(shí)，它表現(xiàn)得非常好，不管它有多理解這項(xiàng)任務(wù)。

在DeepMind的官方推特下，還有很多人把AlphaCode和現(xiàn)在流行的炸雞ChatGPT聯(lián)系在一起。

有人迫不及待地想看到他們兩人同臺(tái)演出:

一次通過(guò)率66%

盡管是AI編程領(lǐng)域，GitHub的Copilot還是快進(jìn)到了收費(fèi)模式，甚至和程序員法庭上見(jiàn)。

但在DeepMind看來(lái)，AlphaCode就大不一樣了。

一方面，編程比賽本身對(duì)于AI來(lái)說(shuō)是一個(gè)比純編程更復(fù)雜的任務(wù)，關(guān)鍵是為不可預(yù)見(jiàn)的問(wèn)題構(gòu)建解決方案。

另一方面，在架構(gòu)方面，AlphaCode采用不同的機(jī)制對(duì)競(jìng)賽題的文本進(jìn)行編碼。

值得一提的是，AlphaCode玩的10場(chǎng)編程比賽都是來(lái)自Codeforces。

相比其他算法和數(shù)據(jù)結(jié)構(gòu)的編程競(jìng)賽，Codeforces更傾向于考察思維能力，也就是說(shuō)AI不能僅僅通過(guò)反點(diǎn)來(lái)完成挑戰(zhàn)。

例如，這是Codeforces上1553D問(wèn)題的描述:

有兩個(gè)字符串S和T，都是由小寫(xiě)字母組成的對(duì)于字符串S，我們從前到后掃描整個(gè)字符串

如果按下退格鍵，從光標(biāo)前面到前一個(gè)取消刪除字符的所有字符都將被刪除。

也就是說(shuō)，假設(shè)字符串S是abcbd，你分別在第一個(gè)位置和第四個(gè)位置按Backspace，那么就會(huì)得到字符串bd。

因?yàn)榈谝粋€(gè)光標(biāo)位置之前沒(méi)有字符，所以第一次沒(méi)有動(dòng)作第四個(gè)光標(biāo)位置之前的字符是C，最后一個(gè)未刪除的字符是A，所以按Backspace會(huì)刪除前三個(gè)字符bd

對(duì)于這個(gè)前提，我們需要解決以下幾個(gè)問(wèn)題:

能不能把S串從前到后掃描一次讓S變成T如果可能，輸出YES，否則，輸出no

為了解決這個(gè)問(wèn)題，AlphaCode給出了以下解決方案:

然后，我們只需要給出輸入的字符串編號(hào)和具體的字符串內(nèi)容，這樣程序就可以輸出相應(yīng)的結(jié)果:

第一組是亞貝巴，第二組是亞貝巴，第三組是aaa，第四組是aababa。

這個(gè)程序的輸出結(jié)果分別是YES，NO，NO，YES。

在解決問(wèn)題的過(guò)程中，AlphaCode的解決問(wèn)題的思路不再是黑箱。

它不僅成功地解決了問(wèn)題，還顯示了代碼的相應(yīng)位置和注意亮點(diǎn):

以上只是AlphaCode解決的問(wèn)題之一。

總體而言，在Codeforces平臺(tái)舉辦的編程競(jìng)賽模擬評(píng)測(cè)中，AlphaCode在平均參賽人數(shù)超過(guò)5000人的競(jìng)賽中排名前54.3%——擊敗了一半的參賽者。

而第一次提交的概率是66%。

AlphaCode如何讀取銘文代碼

那么，AlphaCode是靠什么原理取得這種勝利的呢。

它仍然基于預(yù)訓(xùn)練—微調(diào)范式，采用Transformer架構(gòu)，其中編碼器具有讀能力，解碼器具有寫(xiě)能力。

發(fā)表在《科學(xué)》上的這篇論文也給出了更直觀的示意圖，并以Python為案例講解了具體的訓(xùn)練過(guò)程。

在預(yù)訓(xùn)練期間，研究人員會(huì)在GitHub上整理出各種代碼集，并將其喂給AlphaCode上的編碼器和解碼器。

以Python上的print為例，其中print是一個(gè)常用函數(shù)，即printout，hello是需要打印出來(lái)的具體內(nèi)容。

經(jīng)過(guò)預(yù)訓(xùn)練，模型具備了按指令完成任務(wù)的基本要求，其中編碼器負(fù)責(zé)生成指令，解碼器負(fù)責(zé)填充其余部分。

在微調(diào)環(huán)節(jié)，研究人員會(huì)對(duì)競(jìng)技編程比賽的數(shù)據(jù)集進(jìn)行整理，包括問(wèn)題和解決方案，以煉金和磨煉為訓(xùn)練目標(biāo)，進(jìn)一步縮小搜索空間。

其中，問(wèn)題以注釋#的形式交給編碼者學(xué)習(xí)，解決方案交給解碼者嘗試?yán)斫?

經(jīng)過(guò)微調(diào)后，解碼器知道如何通過(guò)編碼器生成注釋來(lái)嘗試輸出相應(yīng)的代碼。

經(jīng)過(guò)前期訓(xùn)練——微調(diào)，就到了最后的測(cè)評(píng)環(huán)節(jié)。

Codeforces的標(biāo)題會(huì)以注釋的形式直接給編碼者，解碼者會(huì)嘗試輸出數(shù)百萬(wàn)個(gè)不同的程序在對(duì)它們進(jìn)行過(guò)濾和聚類(lèi)之后，它將提交其中的10個(gè)來(lái)解決問(wèn)題

對(duì)于AlphaCode的出現(xiàn)，有程序員調(diào)侃說(shuō)可以在藝人旁邊排隊(duì)領(lǐng)救濟(jì)糧了。

不過(guò)，DeepMind對(duì)于AlphaCode的官方口吻并不是AI程序員，而是希望它以輔助角色的身份出現(xiàn)在編程工作中:

我們希望它可以作為軟件開(kāi)發(fā)人員的助手，尤其是那些編程基礎(chǔ)為0的人。

論文地址:

參考鏈接: