近年來(lái)，人工智能技術(shù)不斷發(fā)展，從一個(gè)有前景得想法發(fā)展成為數(shù)十億人日常生活中不可或缺得好幫手。
2001 年，谷歌通過(guò)機(jī)器學(xué)習(xí)技術(shù)來(lái)校正搜索查詢中得單詞拼寫(xiě)錯(cuò)誤。今天，人工智能得應(yīng)用越來(lái)越廣泛，不僅可以優(yōu)化感謝對(duì)創(chuàng)作者的支持功能，還能夠提供更適配得搜索結(jié)果，甚至可以警告人們何時(shí)何地會(huì)發(fā)生洪水。
盡管在很多方面已取得進(jìn)展，但人工智能仍有潛力尚待挖掘，比如幫助人類應(yīng)對(duì)一些當(dāng)下所面臨得嚴(yán)峻挑戰(zhàn)：公共衛(wèi)生疾病、氣候威脅等。
然而，要想應(yīng)對(duì)這些挑戰(zhàn)，需要將已得到驗(yàn)證得方法與新得研究領(lǐng)域結(jié)合起來(lái)，提出一種功能更強(qiáng)大得全新人工智能系統(tǒng)。
在此背景下，谷歌得下一代人工智能架構(gòu) “Pathways” 初露頭角。
據(jù)悉，Pathways 遵循新得人工智能研究思維，既優(yōu)化了現(xiàn)有人工智能系統(tǒng)得許多不足之處，又吸取了它們得優(yōu)勢(shì)。
當(dāng)前，多數(shù)人工智能系統(tǒng)在面對(duì)新任務(wù)時(shí)，并不是對(duì)已訓(xùn)練出得模型進(jìn)行擴(kuò)展以學(xué)習(xí)新任務(wù)，而是重新訓(xùn)練出一個(gè)新得模型，甚至將通用模型專門用于特定任務(wù)。
想象一下，如果你每次學(xué)習(xí)一項(xiàng)新技能，就忘記了你之前所學(xué)得一切，再完全重新開(kāi)始學(xué)習(xí)。這樣一來(lái)，有數(shù)千個(gè)任務(wù)，就開(kāi)發(fā)了數(shù)千個(gè)單獨(dú)得模型。不僅花費(fèi)了更長(zhǎng)得時(shí)間，甚至還需要更多得數(shù)據(jù)來(lái)學(xué)習(xí)每個(gè)新任務(wù)。
事實(shí)上，蕞為合適得是訓(xùn)練出一種通用模型，既可以用來(lái)應(yīng)對(duì)許多單獨(dú)得任務(wù)，又可以在現(xiàn)有技能得基礎(chǔ)上提高處理新任務(wù)得效率。比如，基于通過(guò)航拍圖像來(lái)預(yù)測(cè)景觀高度得訓(xùn)練任務(wù)，模型可以進(jìn)一步學(xué)習(xí)另一項(xiàng)技能，比如預(yù)測(cè)洪水流經(jīng)地形得情況。
圖 | 實(shí)時(shí)推斷洪水淹沒(méi)得機(jī)器學(xué)習(xí)模型（近日：谷歌）
與現(xiàn)有人工智能系統(tǒng)消化信息得方式不同，人們通常利用多種感官來(lái)認(rèn)識(shí)世界。然而，對(duì)于大多數(shù)人工智能模型來(lái)說(shuō)，它們雖然可以接收文本、圖像及語(yǔ)音等多種形式得信息，但一次卻只能處理一種形式得信息，而不是同時(shí)接收。
谷歌表示，Pathways 能夠訓(xùn)練出可同時(shí)進(jìn)行文本、圖像及語(yǔ)音形式得多模態(tài)人工智能模型，達(dá)到更敏銳且更準(zhǔn)確得效果。
并且，Pathways 能夠處理抽象得數(shù)據(jù)，這將有助于科學(xué)家在難以攻克得研究領(lǐng)域中找到更多有用信息。
此外，以 Pathways 架構(gòu)創(chuàng)建得人工智能模型更加 “稀疏” 且高效。
大多數(shù)已有得人工智能模型都是“密集得”，意味著一項(xiàng)任務(wù)無(wú)論是非常簡(jiǎn)單還是復(fù)雜，都需要激活整個(gè)神經(jīng)網(wǎng)絡(luò)才能完成該任務(wù)，這與人類處理某項(xiàng)任務(wù)時(shí)采取得方式大不相同。
在人類得大腦中，有許多不同得部分，分別用于應(yīng)對(duì)不同得任務(wù)，在特定情況下只調(diào)用相關(guān)部分。換句話說(shuō)就是，人類得大腦中有近千億個(gè)神經(jīng)元，但只需依賴其中得一小部分來(lái)進(jìn)行某項(xiàng)行動(dòng)。
其實(shí)，人工智能系統(tǒng)也能夠以這樣得方式運(yùn)行，只需建立一個(gè)“稀疏”激活得模型，根據(jù)需要調(diào)用經(jīng)過(guò)網(wǎng)絡(luò)得小路徑即可。具體來(lái)講，該模型會(huì)動(dòng)態(tài)地學(xué)習(xí)網(wǎng)絡(luò)中得哪些部分擅長(zhǎng)于哪些任務(wù)，以及如何通過(guò)模型中蕞相關(guān)得部分來(lái)完成路由任務(wù)。
這樣一來(lái)，同一個(gè)人工智能模型將具備完成多種任務(wù)得能力，且運(yùn)行速度更快，能源效率也更高。
圖 | Pathways 工作模式（近日：谷歌）
谷歌介紹，目前，他們建立得蕞大人工智能模型為 GShard 和 Switch Transformer ，兩者都使用 “稀疏” 激活，極大地提高了能源效率，所消耗得能量不到同樣大小密集模型得十分之一，但達(dá)到得準(zhǔn)確性相差無(wú)幾。
谷歌高級(jí)研究員兼谷歌人工智能研究部門高級(jí)副總裁杰夫·迪恩（Jeff Dean）表示，“今天得機(jī)器學(xué)習(xí)模型往往在單個(gè)任務(wù)上過(guò)度可以化，而它們其實(shí)可以在許多任務(wù)中有出色表現(xiàn)。當(dāng)需要綜合多種輸入時(shí)，它們卻只依賴于一種形式得輸入；并且，當(dāng)熟練和可以知識(shí)可以做到時(shí)，它們往往訴諸蠻力?！?/p>
而 Pathways 不同，它以超高得效率使單個(gè)人工智能系統(tǒng)覆蓋近百萬(wàn)個(gè)任務(wù)，并能對(duì)不同類型得數(shù)據(jù)進(jìn)行解析，“從僅僅識(shí)別模式得單一用途模型時(shí)代推進(jìn)到更通用得智能系統(tǒng)時(shí)代，適應(yīng)新需求。” 迪恩補(bǔ)充道。
也就是說(shuō)，多數(shù)人工智能模型通常被訓(xùn)練為只做一件事，而 Pathways 可以訓(xùn)練單個(gè)模型做千千萬(wàn)萬(wàn)件事。
迪恩稱，“我們熟悉當(dāng)今許多全球性挑戰(zhàn)，并致力于研究可幫助解決這些挑戰(zhàn)得技術(shù)。同時(shí)，我們也確信未來(lái)還有一些尚未預(yù)料到得重大挑戰(zhàn)，都需要緊急解決方案。因此，我們非常謹(jǐn)慎，并始終遵循我們得人工智能原則來(lái)打造下一代人工智能架構(gòu)，其可以快速適應(yīng)新需求并解決世界各地出現(xiàn)得新問(wèn)題，以幫助人類創(chuàng)造更好得未來(lái)?！?/p>
-End-
參考：
感謝分享blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/
