最大的質疑點依然集中在時間上。
「時間太短了!這根本不符合常理!」水木清華計算機版塊的一個高樓帖子裡,一位認證為某大廠演演算法工程師的使用者發帖分析。
「非同步SGD的演演算法架構,從建立數學模型,到寫程式碼實現,再到搭建幾百個節點的測試環境跑資料,最後排版成純英文的學術格式。這一套流程下來,一個配合默契的五人博士團隊,最快也需要三個月。他一個人幾天就搞定了?這根本不像人類能夠做到的事情。」
「我也覺得離譜。除非他是個不需要吃飯睡覺的機器人,大腦自帶C 編譯器。」
「或者是他背後有一個極其龐大的智囊團,趙陽隻是被推到台前的一個學術符號?」
網路上的質疑聲一浪高過一浪。
但對於這些輿論,無論是作為聯合培養合作方的燕京大學,還是趙陽的母校燕京林業大學,在經過內部高層緊急磋商後,都選擇了保持絕對的剋製和沉默。
燕林大宣傳部接到了周立民校長的死命令:不接受採訪,不發表宣告,不對外確認。
原因很簡單。目前這則訊息,僅僅隻是NIPS的一位編輯查理斯發在個人社交帳號上的單方麵言論。 【寫到這裡我希望讀者記一下我們域名 ->.】
雖然趙陽本人承認了投稿,但學術界有學術界的鐵律。在論文沒有經過嚴格的同行盲審、沒有拿到官方正式的Accept(接收)通知郵件之前,一切都存在變數。
如果現在校方大張旗鼓地幫趙陽站台宣傳,萬一後續論文在復現過程中出現哪怕一丁點致命的程式碼錯誤導致被拒稿,那兩所高校的聲譽都會跟著受到嚴重的牽連。
學術研究,容不得半點粉飾和浮躁,隻能用最終的錄用結果說話。
所以,校方選擇了閉嘴。
外界的網民和媒體找不到官方的回應,隻能繼續在網路上進行著無休止的猜測。
而與此同時。
在美國的幾個頂級計算機實驗室裡,一場極其嚴苛的程式碼復現和盲審工作,正在緊張地進行著。
麻薩諸塞州,劍橋市。
麻省理工學院電腦科學與人工智慧實驗室(MIT CSAIL)。
這裡是全球電腦科學研究的最高殿堂之一。
一間布滿各種伺服器機櫃和工作站的實驗室裡。
分散式計算領域的頂尖專家、CSAIL的資深教授羅伯特,此時麵色凝重地坐在主控台前。
四個小時前,他接到了NIPS執行會長的緊急私人電話,並簽署了嚴格的保密協議,拿到了那篇署名為Yang Zhao的盲審論文PDF檔案。
在看完論文第二部分的數學推導後,羅伯特的反應和查理斯完全一樣。
震驚與興奮。
這套基於節點延遲時間設定動態指數懲罰權重的數學模型,在理論上有極高的可行性!
論文裡,通過一些分散式結構和特殊方式,規避了之前那些研究者通過複雜的通訊鎖的錯誤。
不過電腦科學是一門實證科學。數學公式再漂亮,如果不能在程式碼層麵跑通,那也就是一堆廢紙。
雖然單看論文,幾乎可以確定九成以上沒問題,但最終要證實論文可行性,還是需要做實驗。
想到這兒,沒有任何遲疑,羅伯特開口叫來了自己實驗室最出色的兩名博士後。
「戴維,邁克,把本地的集群切出一塊隔離區。準備復現這篇論文裡的演演算法。」
兩名博士後立刻走到副控台前,開始敲擊鍵盤。
「教授,需要呼叫多少個節點?」
戴維問道。
「分配128個物理計算節點,構建一個完全分散式的非同步環境。」
羅伯特看著論文第三部分的實驗引數,稍稍沉吟了一下。
「按照論文裡的設定,向其中40個節點注入隨機網路延遲。延遲範圍設定在100毫秒到500毫秒之間,模擬極端惡劣的陳舊梯度環境。」
「明白。」
很快,兩個博士後開始迅速按照論文之中的實驗流程進行操作。
羅伯特將論文附件中提供的那段核心C 架構程式碼提取出來,親自進行編譯。
程式碼非常簡潔,沒有一行多餘的冗餘注釋。
「這種程式碼風格……簡直像是一台精密的機器寫出來的。」羅伯特一邊檢查程式碼,一邊在心裡暗自驚嘆。
十分鐘後,編譯通過,沒有報錯。
「模型部署完畢。資料集使用標準的ImageNet子集。」
戴維匯報導。
「開始執行測試程式。疊代週期設定為10000個Epoch。」羅伯特下達了指令。
回車鍵敲下。
主控台螢幕上,黑色的終端視窗瞬間開始輸出執行日誌。
三個人站在螢幕前,眼睛地盯著不斷重新整理的資料行。
隨著算力的持續滿載輸出,實驗室裡的空調係統自動加大了製冷功率。
二十分鐘後。
終端日誌的滾動停止。一萬次疊代週期全部跑完。
羅伯特親自移動滑鼠,輸入指令,調出了最終的訓練Loss收斂曲線。
曲線圖頁麵跳出來。
整個曲線的形態,和論文中給出的實驗資料圖表情況幾乎完全一致。
戴維和邁克兩個博士後麵麵相覷,都能看到對方眼中的震驚。
困擾了他們實驗室整整一年的非同步網路收斂發散問題,就這樣被乾淨利落地解決了。
羅伯特教授站在螢幕前,看著那條紅色的收斂曲線。
他推了推眼鏡,深深吸了一口氣,然後緩緩吐出來。
「沒有任何造假。數學推導完美,工程程式碼落地完美。」
羅伯特的聲音在機房裡響起。
「這項技術一旦開源,未來五年內的大規模模型訓練框架,都要在它的基礎上進行重寫。」
羅伯特轉身回到自己的辦公桌前。
他開啟NIPS的內部審稿係統,找到趙陽那篇論文。
在最終的審稿意見欄裡,他沒有寫長篇大論的評價。對於這種奠基級別的論文,任何修改意見都是多餘的。
他直接勾選了最高階別的評價選項。
【Strong Accept】(強烈建議接收)
並在補充說明裡敲下了一行字。