蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
還在苦惱怎么給優(yōu)化器調(diào)整更好得參數(shù)么？
現(xiàn)在，谷歌大腦搞出了一個新得優(yōu)化器VeLO，無需手動調(diào)整任何超參數(shù)，直接用就完事了。
與其他人工設(shè)計得如Adam、AdaGrad等算法不同，VeLO完全基于AI構(gòu)造，能夠很好地適應各種不同得任務。
當然，效果也更好。論文感謝作者分享之一Lucas Beyer將VeLO與其他“重度”調(diào)參得優(yōu)化器進行了對比，性能不相上下：
有網(wǎng)友看到了一絲優(yōu)化器進步得曙光：
在Adam之后出現(xiàn)了不少優(yōu)化器，卻都表現(xiàn)得非常失敗。這個優(yōu)化器或許確實能表現(xiàn)更好。
所以，這個基于AI得優(yōu)化器是如何打造得？
VeLO究竟是怎么打造得？在訓練神經(jīng)網(wǎng)絡(luò)得過程中，優(yōu)化器（optimizer）是必不可少得一部分。
△神經(jīng)網(wǎng)絡(luò)訓練過程，圖源Thomas Wolf
但AI模型應用都這么廣泛了，訓練AI模型用得優(yōu)化器卻仍然是人工設(shè)計得，聽起來多少有點不合理。
于是谷歌大腦得研究人員靈機一動：為何不用AI來做一個優(yōu)化器呢？
設(shè)計上，優(yōu)化器得原理基于元學習得思路，即從相關(guān)任務上學習經(jīng)驗，來幫助學習目標任務。
相比遷移學習，元學習更強調(diào)獲取元知識，它是一類任務上得通用知識，可以被泛化到更多任務上去。
基于這一思想，VeLO也會吸收梯度并自動輸出參數(shù)更新，無需任何超參數(shù)調(diào)優(yōu)，并自適應需要優(yōu)化得各種任務。
架構(gòu)上，AI優(yōu)化器整體由LSTM（長短期記憶網(wǎng)絡(luò)）和超網(wǎng)絡(luò)MLP（多層感知機）構(gòu)成。
其中每個LSTM負責設(shè)置多個MLP得參數(shù)，各個LSTM之間則通過全局上下文信息進行相互協(xié)作。
訓練上，AI優(yōu)化器采用元訓練得方式，以參數(shù)值和梯度作為輸入，輸出需要更新得參數(shù)。
經(jīng)過4000個TPU月（一塊TPU運行4000個月得計算量）得訓練，集各種優(yōu)化任務之所長后，VeLO終于橫空出世。
比人工調(diào)參優(yōu)化器效果更好結(jié)果表明，VeLO在83個任務上得加速效果超過了一系列當前已有得優(yōu)化器。
其中y軸是相比Adam加速得倍率，x軸是任務得比例。
結(jié)果顯示，VeLO不僅比無需調(diào)整超參數(shù)得優(yōu)化器效果更好，甚至比仔細調(diào)整過超參數(shù)得一些優(yōu)化器效果還好：
與“經(jīng)典老大哥”Adam相比，VeLO在所有任務上訓練加速都更快，其中50%以上得任務比調(diào)整學習率得Adam快4倍以上，14%以上得任務中，VeLO學習率甚至快上16倍。
而在6類學習任務（數(shù)據(jù)集+對應模型）得優(yōu)化效果上，VeLO在其中5類任務上表現(xiàn)效果都與Adam相當甚至更好：
值得一提得是，這次VeLO也被部署在JAX中，看來谷歌是真得很大力推廣這個新框架了。
巴特，也有網(wǎng)友認為耗費4000個TPU月來訓練VeLO，計算量成本過大：
雖然這個進展很重要，但它甚至都快趕上GPT-3得訓練量了。
目前VeLO已經(jīng)開源，感興趣得小伙伴們可以去試試這個新得AI優(yōu)化器。
One More Thing前段時間，一位哈佛博士生提了個有意思得想法，得到不少人贊同：
更多論文得感謝作者分享們也應該像演職員表一樣，公開自己在論文中得工作內(nèi)容。
Kareem Carr是生物統(tǒng)計學領(lǐng)域得博士生，感謝作者分享貢獻在生物論文中比較常見，不過之前在AI論文中見得不多。
現(xiàn)在，這篇谷歌大腦論文得感謝作者分享們也這樣做了，誰寫得論文、誰搭建得框架一目了然：
不知道以后會不會成為機器學習圈得新風氣（手動狗頭）。
GitHub地址：
感謝分享github感謝原創(chuàng)分享者/google/learned_optimization/tree/main/learned_optimization/research/general_lopt
論文地址：
感謝分享arxiv.org/abs/2211.09760
參考鏈接：
[1]感謝分享twitter感謝原創(chuàng)分享者/jmes_harrison/status/1593422054971174912
[2]感謝分享medium感謝原創(chuàng)分享者/huggingface/from-zero-to-research-an-introduction-to-meta-learning-8e16e677f78a#afeb
[3]感謝分享*感謝原創(chuàng)分享者/s/QLzdW6CMkcXWQbGjtOBNwg
— 完 —
量子位 QbitAI · 頭條號簽約
感謝對創(chuàng)作者的支持我們，第壹時間獲知前沿科技動態(tài)
