原標(biāo)題：曾慘遭谷歌、特斯拉淘汰，輾轉(zhuǎn)8個月，他是如何成為一名頂尖AI工程師？ 來源：騰訊新聞

作者 | Vladimir Iglovikov

譯者 | 孫薇

編輯 | Jane

出品 | CSDN（ID：CSDNnews）

近日，一位在美國工作的俄羅斯小伙子，分享了過去自己 8 個月的求職經(jīng)歷，從物理專業(yè)畢業(yè)后，就職于一家債務(wù)催收公司做數(shù)據(jù)與傳統(tǒng)推薦系統(tǒng)工程。在自己開始對深度學(xué)習(xí)和計算機(jī)視覺領(lǐng)域產(chǎn)生興趣后，便想轉(zhuǎn)投于此領(lǐng)域，但是由于自身在專業(yè)知識背景、技能與經(jīng)驗的不足與欠缺，讓他在求職中處處碰壁。

為了更好的彌足這些缺陷，期間他參加了很多 Kaggle 競賽，也獲得過很好的名次，甚至在一次競賽事件中，在俄羅斯引起了一些關(guān)注度，但是正如他所說，這些都入不了 Google、DeepMind 這些知名企業(yè)與機(jī)構(gòu)的法眼，與特斯拉也是失之交臂。但是，在這艱難與煎熬的 8個月時間里，他沒有放棄，最終他喜提 Lyft 公司的 Offer。今天，我們就一起來回顧一下，Vladimir Iglovikov 對這段過往的敘述，也希望給那些在 2020 年，面臨著同樣煩惱與困難的小伙伴們，一些思考與力量。

（來源：Vladimir Iglovikov 個人博客）

2017 年，我想開啟一段新的旅程

2017年1月，我在為TrueAccord公司打工，這是一家位于舊金山的債務(wù)催收平臺公司。我的職責(zé)就是使用時間序列和表格數(shù)據(jù)構(gòu)建傳統(tǒng)的推薦系統(tǒng)。彼時，互聯(lián)網(wǎng)上開始充斥一些描述前沿技術(shù)——甚至可以勝過人類的深度學(xué)習(xí)模型的博客文章和論文，我的興趣很快轉(zhuǎn)移到了這個激動人心的新領(lǐng)域。

雖然我確實有一些深度學(xué)習(xí)方面的知識，但實踐經(jīng)驗非常有限。在讀研究生時，我很少有機(jī)會可以應(yīng)用機(jī)器學(xué)習(xí)模型，但幸運(yùn)的是我發(fā)現(xiàn)了Kaggle，使得我能夠鍛煉深度學(xué)習(xí)的專業(yè)知識。最終，我獲得了Kaggle Master頭銜，并在“超聲神經(jīng)分割”挑戰(zhàn)賽中榮獲金牌。這是Kaggle社區(qū)廣泛運(yùn)用深度學(xué)習(xí)架構(gòu)UNet的首次挑戰(zhàn)賽，也是在分割任務(wù)中將軟Dice用做損失函數(shù)的首次挑戰(zhàn)。

2017年之前，Kagge主要專注于舉辦表格數(shù)據(jù)類的競賽，勝出方案往往涉及xgboost和其他經(jīng)典機(jī)器學(xué)習(xí)算法的堆疊，很少有深度學(xué)習(xí)算法能取代這類技術(shù)。

到2017年，一切都發(fā)生了變化。深度學(xué)習(xí)更加趨向成熟，并且從學(xué)術(shù)界轉(zhuǎn)向?qū)嶋H產(chǎn)業(yè)。Kaggle競賽緊跟潮流，與成像相關(guān)的競賽也更為普遍。

我很喜歡自己在TrueAccord公司的工作，但我更想獲得一個深度學(xué)習(xí)相關(guān)的職位。然而我的技能庫和知識背景，不足以我在那個當(dāng)下就能成功轉(zhuǎn)型：

我是物理專業(yè)的，而不是計算機(jī)科學(xué)專業(yè)

我只有一年左右的工作經(jīng)驗

我的簡歷中沒有任何與機(jī)器學(xué)習(xí)相關(guān)的論文

我的工作中不包含任何計算機(jī)視覺方面的項目

我在深度學(xué)習(xí)方面的知識很有限

基本上來說，我的情況和其他任何想要轉(zhuǎn)變自己工作方向的人別無二致。

因此，我不得不像其他人一樣，想辦法處理自己的窘境。方法很簡單：去面試。如果通過就成功，不行的話就再多學(xué)些不了解的內(nèi)容，然后重復(fù)前一步驟。希望在于，在有限次的迭代中獲得成功，就會幸運(yùn)地獲得期望的職位。

在此期間，我繼續(xù)提高自己在深度學(xué)習(xí)方面的技能；閱讀論文和博客文章，當(dāng)然還有繼續(xù)參加深度學(xué)習(xí)的競賽。

從 Kaggle 競賽到屢試屢敗的面試

2017 年 3 月，我的努力開始見效，在與朋友 Sergey Mushinsky 合作的 Dstl衛(wèi)星圖像特征檢測挑戰(zhàn)賽中，我們獲得了第493名，兩人共計獲得2萬美元的獎金。在這之后，我在二進(jìn)制圖像分割和多光譜圖像方面的技能逐漸嫻熟，相關(guān)文章和代碼可以查閱：

論文地址：

arxiv.org/abs/1706.06169

我將獎金用于購買了第二個 GPU，之后我發(fā)現(xiàn) Keras 在多 GPU 設(shè)置下不能很好地運(yùn)行，然后我切換到 PyTorch，它仍是我如今深度學(xué)習(xí)框架的選擇。然而成功并非一蹴而就，與此同時我掛掉了 Descartes Labs的現(xiàn)場面試，還有其他幾家。我知道自己還得繼續(xù)努力，提高技能。

那陣子某個時間，我還收到了 NVidia 的面試邀請，也沒過。所遇到的問題在于，我對 2D對象檢測器的工作原理了解有限。幸運(yùn)的是，DSTL 開啟了“安全通道”：在航空影像挑戰(zhàn)賽中對交通工具進(jìn)行檢測和分類，重點(diǎn)就是2D檢測。他們決定不用Kaggle托管，而是使用自建平臺。

比賽有一條重要規(guī)則：“每個人都能參加，但需要持有護(hù)照并居住在少數(shù)幾個國家或地區(qū)才能領(lǐng)取獎金?！蔽揖幼≡谂f金山，也在美國納稅，但由于我的國籍是俄羅斯的，是沒有資格獲得獎金的。這個不幸的事實我是知道的，但這個比賽仍然為對象檢測器提供了寶貴的實踐經(jīng)驗，最后，在我的努力之下，我在比賽中獲得了第二名。

數(shù)據(jù)科學(xué)的進(jìn)展很大程度取決于廣泛的國際社會合作，我在 FB 和 Twitter 上表達(dá)了自己的看法，認(rèn)為 DSTL 的規(guī)則與這些理念背道而馳，但隨著比賽塵埃落定，我也將之拋諸腦后，并繼續(xù)自己的生活。但不知何故，這件事被舊事重提了，還被俄羅斯新聞選中。不久之后我在俄羅斯的主要新聞媒體和電視頻道的首頁上都看到了自己的臉。

英國國防技術(shù)科學(xué)實驗室為英國秘密情報局開發(fā) AI 算法工具，而一位俄羅斯公民由于國籍被拒絕領(lǐng)獎，這是個好故事，俄羅斯媒體很快就發(fā)現(xiàn)了這一點(diǎn)。由于我不適應(yīng)對著鏡頭接受采訪，便拒絕了與記者對談。但無濟(jì)于事，他們將我的個人資料圖片放在背景屏幕上，然后請來相關(guān)主題的“專家”發(fā)表高見。

相關(guān)視頻

youtube/watch?v=M7wpH4xwBIQ feature=youtu.be

記者甚至聯(lián)系了我父母——他們對機(jī)器學(xué)習(xí)、比賽和一切故事一無所知。我母親告訴他們，父母是重要因素，但低估學(xué)校教師的影響可不明智。這種導(dǎo)向奏效了，記者們將問題帶到了我的高中。

俄羅斯頂尖的科技公司之一 Mail Ru Group 決定利用這一機(jī)會做做公關(guān)，他們提議給我 1.5 萬美元，相當(dāng)于比賽的二等獎。我喜歡這個點(diǎn)子，但不覺得公平——我明知比賽規(guī)則，并默認(rèn)同意了自己沒資格拿獎。

不過，我也很高興能在簡歷中補(bǔ)充一個獎項：榮獲英國秘密情報局開發(fā)AI算法的獎項。我想到了一個更好的解決辦法：我熱愛理論物理學(xué)，也知道這個學(xué)科很難獲得足夠的資金，因此我要求將資金轉(zhuǎn)給支持基礎(chǔ)科學(xué)的俄羅斯基金會。

最后，皆大歡喜。Mail Ru Group 公司和我獲得了正面的公關(guān)效果，俄羅斯基礎(chǔ)科學(xué)獲得了 1.5 萬美元的資金，DSTL 也有動機(jī)對機(jī)器學(xué)習(xí)競賽的規(guī)則制定三思后行。

這個故事引發(fā)了俄羅斯讀者的關(guān)注，但在數(shù)日后煙消云散。在英文媒體中，只有一篇相關(guān)博客文章，也許這是最好的。

三個月求職依舊未果，與特斯拉的擦肩而過

很快從 3 月到了 6 月，我還沒找到一份計算機(jī)視覺相關(guān)的工作。

我列表上的下一家公司是特斯拉，由于我在 Kaggle 上獲得的成績，招聘方聯(lián)系了我，這事并不常見。我過了筆試、技術(shù)篩查和現(xiàn)場面試，下一步就是背景調(diào)查并由 Elon Musk 批準(zhǔn)我的申請。但我敗在這一步上了，招聘方告訴我，是因為我違反保密協(xié)議在一個論壇上談?wù)摿嗣嬖囘^程。

的確是這樣，我在 ods.ai 的一個頻道上提到了自己在面特斯拉，但沒有分享任何面試中的問題，不過理論上來說他們是對的，我記得特斯拉的保密協(xié)議相當(dāng)嚴(yán)格，甚至禁止高層談?wù)撁嬖囘^程。

這次被拒讓我很失落，能與 Andrei Karpathy 合作令人興奮。甚至到了現(xiàn)在，已過了幾年，我還是為自己造成的這種不良局面感到愧疚。希望將來能有機(jī)會為自己的行為道歉。

接下來是另一個競賽——Planet：從太空了解亞馬遜森林的Kaggle競賽。這個問題太簡單了，不值得花太多時間在上面，只是小數(shù)據(jù)集的多標(biāo)簽分類而已。結(jié)果，我和另外6人一組，作為一個團(tuán)隊在一周內(nèi)訓(xùn)練了480個分類網(wǎng)絡(luò)，并將其堆疊，最終在938個團(tuán)隊中獲得第7名。

競賽的組織方是一家名叫 Planet Labs的公司，他們有一個深度學(xué)習(xí)的工程師職位開放招聘，我問了一下并應(yīng)邀參加了面試，結(jié)果失敗了，對方反饋我缺乏深入的深度學(xué)習(xí)知識。

八月中旬，在 7 個月的求職后，我開始不再像最初那樣態(tài)度積極、信心滿滿了。我剛開始準(zhǔn)備 Lyft 的面試，但心里認(rèn)為，這一次最終會像其他數(shù)次那樣以失敗告終。

7 個月，求職失敗，我用新的方法主動出擊

我坐在床前，用一杯白蘭地麻痹自己的悲傷，與此同時收到另一份拒信：

最近有一位谷歌員工推薦您擔(dān)任Google Brain（美國）的研究科學(xué)家一職，經(jīng)過對您背景和經(jīng)驗的仔細(xì)審查，我們決定暫時不再繼續(xù)處理您的申請。

我開始失望，但我有種想法。每個不利境況，都有一些特殊舉動可以解決。大多拒信都在簡歷篩選階段，結(jié)果我沒有機(jī)會展示自己的技術(shù)能力。為了避免這類問題，我決定在簡歷中增加深度學(xué)習(xí)的發(fā)表經(jīng)歷。

我聯(lián)系了麻省理工學(xué)院的博士后 Alexey Shvets，并提出建議：

查找下一個具有競賽的深度學(xué)習(xí)會議。

訓(xùn)練模型、創(chuàng)建提交內(nèi)容，并獲得提名（我認(rèn)為如果人們花費(fèi)數(shù)年研究某個問題，那么想要與他們公平合法競爭非常困難）。

為該學(xué)術(shù)數(shù)據(jù)集撰寫一個預(yù)印本或者論文，描述我們的解決方案。

他同意了，我們搜索了近期合適的會議，正巧三周內(nèi)就會舉行 MICCAI，其中有舉辦名為“內(nèi)窺鏡視覺挑戰(zhàn)賽”的研討會，有一些計算機(jī)視覺競賽，截止時間是 8 天后。

我們選擇了第一個競賽 GIANA。該問題有三個子挑戰(zhàn)，在剩下的 8 個晚上，我調(diào)整了在 Kaggle 競賽中使用過的系統(tǒng)，重構(gòu)代碼并訓(xùn)練了新模型。Alexey 撰寫了方法描述報告，我們堅信自己能出現(xiàn)在榜單上，因此我并未真正多花時間在這些問題上。之后我們將提交的內(nèi)容和報告發(fā)送給組織方，我認(rèn)為這是我們小小冒險的終點(diǎn)。事實并非如此，Alexey 發(fā)現(xiàn)這個研討會還舉辦了另一項比賽，叫做“機(jī)器人儀器分割”，共分三項子挑戰(zhàn)，還延期了截止時間，4 天后結(jié)束。他問我是否想要嘗試一下這些子挑戰(zhàn)，我同意了，將自己關(guān)了 4 個晚上之后，我完成了代碼、模型和預(yù)測。

這個競賽還有個警告：必須有一名團(tuán)隊成員親身參與MICCAI大會，并展示結(jié)果。最終結(jié)果僅會在大會上宣布。正好，我也從沒去過魁北克甚至加拿大，因此我很樂于前往。

研討會的日子到了，我在研討會上見到了一大群由熱衷醫(yī)學(xué)影像的專家所組成的龐大社區(qū)，他們似乎彼此相識。我誰也不認(rèn)識，也沒辦法破冰，雖然我一直在學(xué)習(xí)深度學(xué)習(xí)和計算機(jī)視覺，但對醫(yī)學(xué)成像的所有細(xì)節(jié)對我還是新領(lǐng)域。

第一個競賽的演示開始了，來自不同大學(xué)的團(tuán)隊紛紛介紹了自己的解決方案，很難判斷其優(yōu)秀程度，但很顯然他們都投入了大量精力。輪到我了，我站在講臺上，告訴聽眾們我并不是這個領(lǐng)域的專家，只是通過深度學(xué)習(xí)練習(xí)來應(yīng)對這次競賽，并為浪費(fèi)他們的時間道歉，還展示了兩張幻燈片。

組織方公布了結(jié)果：

第一個子挑戰(zhàn)——我們獲得第一。

第二個子挑戰(zhàn)——我們獲得第三。

第三個子挑戰(zhàn)——我們獲得第一。

并且大賽全部成績的第一名。

（來源：Vladimir Iglovikov 個人博客）

在第二個競賽中，就是截止日期延后 4 天的那場，不同的團(tuán)隊展示了自己的解決方案，我們分別獲得了：第一，第二，第一，整體第一 的成績。

至今我都記得這一刻，我站在現(xiàn)場，組織方正在準(zhǔn)備支票和禮物。Alexey 和我獲得勝利，脫穎而出，但我又不禁對這有些荒謬的結(jié)果感到沮喪?！盀槭裁磿@樣？對于醫(yī)學(xué)影像領(lǐng)域毫無了解的家伙在兩個挑戰(zhàn)中都獲得了第一名？那些靠從事醫(yī)學(xué)影像工作為生的人使用的模型差得多嗎？”

我詢問聽眾們：“你們知道我在哪里工作嗎？”除了一個查過我linkedIn的組織者之外，沒人知道。我告訴他們，我在 TrueAccord 公司工作，并且沒有在工作中訓(xùn)練深度學(xué)習(xí)模型。我感嘆自己無法擺脫這種情況，因為 Google Brain 和 Deepmind 的人力資源部甚至都不看我的簡歷。

在那場熱情洋溢的演講之后，觀眾席中有 Deepmind 健康團(tuán)隊的成員在中場時截住了我，問我是否有興趣參與他們團(tuán)隊研究工程師職位的面試。

我相信這是有史以來首次，一個收債公司的人贏了醫(yī)學(xué)影像比賽的冠軍。

歷經(jīng) 8 個月后，好消息傳來

不久之后，我接受了目前工作的公司 Lyft 的 offer，入職前我還參加了 Kaggle 的 Carvana Image Masking 競賽，在 GIANA 中的方法讓我吊在了榜單的最后 20% 位置上。新的想法不斷產(chǎn)生，最終由 Vladimir Iglovikov、Alexander Buslaev 和 Artem Sanakoyeu 組成的團(tuán)隊拿到了 735 支團(tuán)隊的頭名，代碼和博客文章可以查看這里。

medium/kaggle-blog/carvana-image-masking-challenge-1st-place-winners-interview-78fcc5c887a8

那次競賽是第一個社區(qū)紛紛開始在 UNet 類型的架構(gòu)中使用預(yù)訓(xùn)練編輯器的大競賽，現(xiàn)在已經(jīng)成為規(guī)范了，有很多出色的庫供你選擇，使用不同的預(yù)訓(xùn)練編碼器來獲得各種不同的分割網(wǎng)絡(luò)。但在那時，這個想法還比較新，這個競賽中我和Alexey提出了 TernausNet，但我們只是為了好玩才寫的，卻令人驚訝地成了我被引用最多的作品。

結(jié)論

八個月里，我在自己感興趣的領(lǐng)域找到了一份出色的工作，那段時間非常痛苦。當(dāng)你嘗試新事物時，會犯錯誤，每次失敗會感覺自己很蠢，會不時對自己失去信心。但請記住，你正在學(xué)習(xí)新知識，而且所邁出的每一步都將使你更加接近自己的目標(biāo)。

過去的幾年里，我在 Google 學(xué)術(shù)的個人資料中又增添了一些深度學(xué)習(xí)的論文。

towardsdatascience/how-i-found-my-current-job-3fb22e511a1f

熱 文推 薦

小網(wǎng)站的容器化(上)

你點(diǎn)的每個“在看”，我都認(rèn)真當(dāng)成了喜歡