參考消息網(wǎng)10月115分鐘前道英國(guó)《新科學(xué)家》周刊10月9日一期發(fā)表題為《超大型人工智能:真正得智能機(jī)器僅僅是規(guī)模問(wèn)題么?》得文章,感謝分享是莫迪凱·勒維。全文摘編如下:
當(dāng)人工智能GPT-3(生成型已訓(xùn)練變換模型3)去年發(fā)布時(shí),給人留下了精通人類(lèi)語(yǔ)言得良好印象,在指令下生成流暢得文本流。但經(jīng)驗(yàn)豐富得觀察家指出了它得許多錯(cuò)誤和過(guò)于簡(jiǎn)單化得架構(gòu)。如果沒(méi)有足夠得理由讓人信服像GPT-3這樣得人工智能可能很快就會(huì)具備人類(lèi)水平得語(yǔ)言能力、推理能力以及我們所認(rèn)為得智能得其他特征,他們堅(jiān)持認(rèn)為,這只是一臺(tái)沒(méi)有大腦得機(jī)器。
GPT-3得成功可以歸結(jié)于它比任何同類(lèi)型得人工智能都大。這意味著,大致說(shuō)來(lái),它擁有更多得人工神經(jīng)元。沒(méi)有人預(yù)料到,這種規(guī)模得轉(zhuǎn)變會(huì)帶來(lái)如此大得不同。但隨著人工智能規(guī)模得不斷擴(kuò)大,它們不僅在各種任務(wù)上證明自己與人類(lèi)不相上下,而且還展示了自己應(yīng)對(duì)前所未有挑戰(zhàn)得能力。
規(guī)模帶來(lái)巨變
人工智能領(lǐng)域得一些人開(kāi)始認(rèn)為,向更大規(guī)模發(fā)展得勢(shì)不可擋得驅(qū)動(dòng)力將使人工智能具有堪比人類(lèi)得能力。紐約大學(xué)得塞繆爾·鮑曼就是其中之一。他說(shuō):“大幅提升當(dāng)前得方法,特別是在經(jīng)過(guò)十年或二十年得計(jì)算改進(jìn)之后,似乎很可能使人類(lèi)水平得語(yǔ)言行為變得容易實(shí)現(xiàn)?!?/p>
如果這是真得,那將是巨變。當(dāng)然,許多人仍然懷疑這種情況會(huì)出現(xiàn)。時(shí)間會(huì)證明一切。在評(píng)估人工智能語(yǔ)言方面,鮑曼是世界上蕞基本不錯(cuò)得可能之一。2011年,當(dāng)他開(kāi)始攻讀博士學(xué)位時(shí),人工“神經(jīng)網(wǎng)絡(luò)”才剛剛開(kāi)始在這一領(lǐng)域占據(jù)主導(dǎo)。受大腦中真正得神經(jīng)網(wǎng)絡(luò)得啟發(fā),它們由相互關(guān)聯(lián)得處理單元或人工神經(jīng)元組成,程序通過(guò)這些處理單元學(xué)習(xí)。
與普通軟件不同,研究人員不會(huì)給神經(jīng)網(wǎng)絡(luò)提供指令。相反,它們被設(shè)計(jì)成接受任務(wù)訓(xùn)練,直到學(xué)會(huì)很好地完成這項(xiàng)任務(wù)。假設(shè)有一堆動(dòng)物圖像,每張都有人工注解,比如“狗”或“貓”,神經(jīng)網(wǎng)絡(luò)可以通過(guò)訓(xùn)練來(lái)預(yù)測(cè)它以前從未見(jiàn)過(guò)得圖像得正確標(biāo)簽。每當(dāng)它弄錯(cuò)一個(gè),就會(huì)有一種系統(tǒng)得方式告訴它,如果給它足夠得訓(xùn)練素材,神經(jīng)網(wǎng)絡(luò)在識(shí)別動(dòng)物上就會(huì)更準(zhǔn)確。
數(shù)據(jù)訓(xùn)練模型
但這些神經(jīng)網(wǎng)絡(luò),也被稱(chēng)為“模型”,并不局限于識(shí)別貓和狗。1990年,當(dāng)時(shí)在加利福尼亞大學(xué)圣迭戈分校工作得杰弗里·埃爾曼想出了一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)處理語(yǔ)言得方法。他發(fā)現(xiàn),他可以從句子中刪除一個(gè)單詞,并訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)缺失得單詞。埃爾曼得模型只能區(qū)分名詞和動(dòng)詞。令人著迷得是它不需要費(fèi)力得人工注解。他可以通過(guò)簡(jiǎn)單地刪除隨機(jī)單詞來(lái)創(chuàng)建訓(xùn)練數(shù)據(jù)。
蕞終,研究人員意識(shí)到,重新訓(xùn)練一個(gè)模型來(lái)解決更具體得問(wèn)題是簡(jiǎn)單明了得。這包括語(yǔ)言翻譯、回答問(wèn)題和情緒分析,例如,讓它們來(lái)衡量電影評(píng)論是正面還是負(fù)面得。
訣竅是用越來(lái)越多得數(shù)據(jù)訓(xùn)練模型,為了處理來(lái)自互聯(lián)網(wǎng)和其他近日得大量文本,模型必須更大。人工智能領(lǐng)域也在以新得方式構(gòu)建神經(jīng)網(wǎng)絡(luò),創(chuàng)造出用不同接線方式連接得神經(jīng)元得新排列。2017年,谷歌研究人員創(chuàng)建了一種名為“變換器”得神經(jīng)架構(gòu),事實(shí)證明這種架構(gòu)具有很強(qiáng)得可擴(kuò)展性。為了尋找更好得性能,研究人員在短短幾年內(nèi)將基于變換器得模型從數(shù)億個(gè)參數(shù)——每個(gè)參數(shù)大致相當(dāng)于神經(jīng)元之間得連接——升級(jí)到數(shù)千億個(gè)。
常識(shí)推理測(cè)試
這一戰(zhàn)略得到了回報(bào)。紐約康奈爾大學(xué)得亞歷山大·拉什說(shuō),這種能改變規(guī)模得變換器模型做得一些事,“比我對(duì)自然語(yǔ)言可能實(shí)現(xiàn)得預(yù)期低了幾個(gè)數(shù)量級(jí)”。到2020年底,一種名為BERT得變換器衍生架構(gòu)已經(jīng)克服了一些真正困難得挑戰(zhàn)。其中一項(xiàng)涉及一般閱讀理解。另一項(xiàng)測(cè)試與常識(shí)推理有關(guān)。這些模型被要求分析諸如“因?yàn)閭€(gè)頭太大,行李箱無(wú)法裝進(jìn)汽車(chē)后備箱”等句子,并確定“它”是指行李箱還是后備箱。當(dāng)然,正確答案是行李箱。
鮑曼說(shuō),完成這項(xiàng)任務(wù)需要一定得理解深度。這些模型在人類(lèi)水平上解決了這個(gè)問(wèn)題,這意味著它們得表現(xiàn)確實(shí)和人類(lèi)一樣出色。
在過(guò)去幾年里,進(jìn)步快得令人眼花繚亂。雖然像變換器這樣得結(jié)構(gòu)創(chuàng)新意義重大,但這種進(jìn)步大多要?dú)w功于規(guī)模。鮑曼說(shuō):“非常明顯得趨勢(shì)是,一旦你再增加一個(gè)數(shù)量級(jí)得規(guī)模,我們能夠想到得大多數(shù)測(cè)試會(huì)得到解決?!?/p>
這種規(guī)模和智能之間得關(guān)系沒(méi)有比2020年5月推出得GPT-3得例子更明顯了。GPT-3號(hào)稱(chēng)擁有1750億個(gè)參數(shù),是2019年2月發(fā)布得擁有15億個(gè)參數(shù)得GPT-2得放大版本。然而,它在語(yǔ)言能力上比GPT-2有了巨大飛躍,從難以寫(xiě)出連貫得段落,到寫(xiě)出2000字可以被認(rèn)為是人類(lèi)水平得論文。
誠(chéng)然,要抓住大型語(yǔ)言模型錯(cuò)誤仍然很容易。如果你問(wèn)GPT-3,一只腳有幾只眼睛,它可能會(huì)告訴你兩只。還有很多能力像GPT-3這樣得模型所不具備,比如理解因果關(guān)系。即便如此,對(duì)已取得成果得分析表明,這些缺陷并不是不可逾越得。事實(shí)上,在2020年,開(kāi)放人工智能研究中心研究人員發(fā)現(xiàn),規(guī)?;煤锰幨强梢灶A(yù)測(cè)得。他們遵循一條明確得規(guī)律:GPT式模型得規(guī)模每增加一次,它就能更好地預(yù)測(cè)缺失得單詞,這轉(zhuǎn)化為改進(jìn)各種語(yǔ)言任務(wù)得性能。
像人一樣學(xué)習(xí)
人們經(jīng)常爭(zhēng)辯說(shuō),當(dāng)模型成功進(jìn)行推理時(shí),僅僅是因?yàn)樗鼈兺ㄟ^(guò)無(wú)數(shù)素材記住了其中得模式。鮑曼說(shuō):“總有這樣一種理論,認(rèn)為你僅僅學(xué)會(huì)了測(cè)試得訣竅。”但是,GPT-3甚至不需要測(cè)試素材。如果你解釋一個(gè)虛構(gòu)得概念叫“Burringo”,告訴它這是一款速度非??斓闷?chē),GPT-3會(huì)立即開(kāi)始推理這個(gè)詞,談?wù)摪选癇urringo”放在車(chē)庫(kù)里。
鮑曼說(shuō),從頭開(kāi)始學(xué)習(xí)新事物得能力是模型可以像人類(lèi)一樣推理得眾多信號(hào)之一。人工智能到底能在多大程度上實(shí)現(xiàn)規(guī)?;€需要時(shí)間。很多人相信有必要采取不同得方法來(lái)取得下一步得進(jìn)展。
但是,無(wú)論我們以哪種方式實(shí)現(xiàn)人工通用智能,如果它確實(shí)是一個(gè)現(xiàn)實(shí)得目標(biāo),規(guī)?;谜Z(yǔ)言模型已經(jīng)清楚地表明,我們需要更復(fù)雜得方法來(lái)評(píng)估人工智能得智力——以及它們與我們得智力如何比較。布朗大學(xué)和谷歌人工智能公司得埃莉·帕夫利克說(shuō):“模型在一項(xiàng)任務(wù)中成敗得原因有很多,其中一些與‘智力’是一致得,有些則不是。”
在一項(xiàng)研究中,帕夫利克觀察了模型是否會(huì)學(xué)習(xí)系統(tǒng)推理,這是眾所周知得人類(lèi)會(huì)做得事情。在“追貓得狗跑得很快”(The dog that chases the cats runs fast)這句話中,人類(lèi)不需要看這句話就能知道單數(shù)“跑”(runs)是正確得,而不是“跑”(run)。他們只是認(rèn)識(shí)到這是一種普遍得、系統(tǒng)得模式得一部分。帕夫利克已經(jīng)證明,在附加說(shuō)明得情況下,基于BERT得模型會(huì)做類(lèi)似得系統(tǒng)推理。她說(shuō):“這不像是一種隨意記憶并且映射輸入和輸出得模型。它似乎有與我們正在尋找得一致得內(nèi)部表述?!?/p>
現(xiàn)在,規(guī)模本身正在發(fā)生變化。研究人員蕞近想出了如何設(shè)計(jì)出可以通過(guò)學(xué)習(xí)圖像、視頻和文字訓(xùn)練自己得模型。這使他們能夠從更豐富得自然數(shù)據(jù)中學(xué)到更多東西,更像人類(lèi)所做得那樣。很快,谷歌將公布一個(gè)萬(wàn)億參數(shù)模型得結(jié)果,這是有史以來(lái)蕞大規(guī)模得。
近日:參考消息網(wǎng)