睿文小說 > 重生2020我在AI界叱吒風雲 > 第2章

第2章

⬅ 上一章 📋 目錄 ⚠ 報錯 下一章 ➡
⭐ 加入書籤
推薦閱讀: 花都風流第一兵王 代嫁寵妻是替身 天鋒戰神 穿越古代賺錢養娃 我覺醒了神龍血脈 我的老婆國色天香 隱婚嬌妻別想跑 遲遲也歡喜 全職獵人之佔蔔師

第2章 技術降維,麵試碾壓------------------------------------------,上午10點。,某創業園區會議室。,看著前麵白板上密密麻麻的公式。。房間裡坐了八個人,都是來應聘這家初創公司“智腦科技”的演演算法工程師。,剛拿到天使輪,主打AI內容生成。創始人叫陳濤,一個三十出頭的前百度工程師。。,“智腦科技”會在2021年推出爆款產品“AI寫作助手”,2022年被位元組跳動以8億收購。創始人陳濤套現離場,去了矽穀。,2020年3月,這家公司還默默無聞。辦公室裡隻有十幾個員工,會議室的白板都還冇擦乾淨上一次會議的痕跡。“好,下一個問題。”,叫李銳。他是公司的技術合夥人,也是陳濤的大學同學。。在李銳的履曆裡,他會因為2023年的一次資料泄露事件,被公司開除。然後……去了趙峰的公司。。趙峰。,落在會議室角落那個一直冇說話的中年男人身上。。“投資人顧問”的身份,坐在這裡旁聽。

穿著深藍色西裝,頭髮梳理得一絲不苟。手裡拿著iPad,偶爾記幾筆。表情平靜,看不出任何情緒。

林風知道,趙峰不是真的來旁聽麵試。

他是來挖人的。來提前鎖定那些有潛力的技術人才,為他年底的創業做準備。

“Transformer架構的注意力機製,有哪些優化方向?”

李銳在白板上寫下問題,轉身看向麵試者們。

會議室裡安靜了幾秒。

然後,一個穿格子襯衫的男生舉手:“可以用稀疏注意力,降低計算複雜度。”

“對。”李銳點頭,“還有呢?”

“多頭注意力可以進一步拆解,做分組注意力。”另一個女生說。

“對。還有?”

又有人說了幾個常規優化思路。李銳一邊聽,一邊在白板上記關鍵詞。

林風一直冇有說話。

他靠著椅背,看著白板上的公式。那些公式,在他眼裡,是另一種樣子。

不是2020年人們理解的Transformer。

是2023年,經過無數論文迭代,工業界驗證過的最優版本。

他知道哪些優化真的有效,哪些是學術界自嗨的“玩具演演算法”。他知道注意力機製會在2022年被證明存在“長程依賴衰減”問題,知道2024年會流行“狀態空間模型”來替代部分Transformer層。

他還知道——趙峰公司的技術路線。

在記憶中,趙峰的AI寫作工具,核心就是一個優化過的Transformer模型。優化思路,正是2022年某篇頂會論文的主題。

而那篇論文的第一作者,現在應該還在清華讀博。

“還有誰有補充嗎?”

李銳看向會議室最後排。

林風知道,輪到自己了。

他慢慢站起來。冇有走向白板,而是走到會議室側麵,拿起另一塊白板筆。

“我能畫個圖嗎?”他問。

李銳愣了一下,點頭:“可以。”

林風開始在白板上畫。

不是公式,不是程式碼。是一個結構圖。

一個Transformer block的解剖圖。他把每個部分拆開,標註上當前的主流實現,然後——在旁邊寫上另一個版本。

“這裡是LayerNorm的位置。”林風指著圖中的一處,“現在大家都是pre-LayerNorm,因為訓練更穩定。”

他頓了頓。

“但2022年的論文會證明,post-LayerNorm在特定初始化下,效果更好。而且,配合RMSNorm,可以再提升0.3個點。”

會議室裡,有人開始交頭接耳。

李銳皺起眉頭:“2022年?你怎麼知道?”

“因為已經有人在做這個研究了。”林風平靜地說,“清華的張博,現在應該正在寫這篇論文。三個月後投稿,明年中旬發表。”

他繼續畫。

“注意力這裡。現在的多頭注意力,每個頭的維度都是固定的。但實際上,不同任務需要的資訊粒度不同。”

“2023年會有工作提出‘動態多頭’——每個樣本,每個層,自動決定頭的數量和維度。效果提升顯著,尤其對於長文字生成。”

趙峰抬起了頭。

他放下iPad,看著林風。

林風冇有看他。他繼續畫。

“然後是位置編碼。現在主流是正弦編碼,但存在外推問題。2024年,RoPE會成為新標準。”

“但RoPE也有缺陷。它假設旋轉是均勻的,但實際上,語言的空間結構不是歐幾裡得的。所以,2025年會有工作提出‘雙曲旋轉編碼’,在數學上更優雅,效果……”

“等等。”

李銳打斷他。他走到白板前,盯著那些還冇發表的年份。

“你剛纔說的這些……都是你自己的猜想,還是有依據?”

林風放下筆。

“你可以現在打電話給清華的張博,問問他論文進度。”他說,“或者,更簡單一點——”

他轉身,看向趙峰。

“趙總應該也懂技術。要不,您來評價一下,我剛纔說的這些‘猜想’,有冇有道理?”

所有人的目光,都轉向角落。

趙峰沉默了幾秒。然後,他笑了。

很淺的笑,但眼神很冷。

“很有意思。”他說,“不過,我更想聽聽,如果你來做我們的AI寫作模型,你會怎麼設計?”

終於來了。

林風知道,這是趙峰的試探。他想知道,這個突然冒出來的年輕人,到底是真的有料,還是在虛張聲勢。

“可以。”

林風重新拿起筆。他把剛纔那塊白板擦乾淨,開始畫新的架構圖。

“首先,放棄從頭訓練大模型的想法。2020年,算力太貴,資料不夠,做不出GPT-3級彆的模型。”

“那怎麼做?”李銳問。

“微調。”林風說,“用開源的GPT-2做底座,做特定領域微調。重點不是模型多大,而是——資料質量。”

他在白板上寫下一個詞:強化學習反饋。

“現在的微調,都是用監督學習。但文字生成,本質是序列決策。應該用強化學習,讓模型從人類反饋中學習。”

“具體來說,設計一個獎勵模型。讓標註員給生成結果打分,然後,用PPO演演算法,優化策略模型。”

會議室裡,徹底安靜了。

李銳張了張嘴,想說些什麼,但冇說出來。

因為林風說的這套方法,在2020年,幾乎冇人聽過。

但林風知道,這就是未來。

這就是2022年OpenAI訓練ChatGPT的方法。這就是2023年所有大廠都在模仿的正規化。

而現在,2020年3月,他把它說了出來。

“你怎麼證明這個方法有效?”趙峰的聲音,從角落裡傳來。

林風冇有回頭。

“不需要證明。”他說,“因為三個月後,OpenAI會在ArXiv上貼一篇論文,叫《Training Language Models to Follow Instructions with Human Feedback》。”

“那篇論文,會詳細描述這套方法。然後,兩年後,全世界都會知道——這纔是AI對齊的正確路徑。”

他頓了頓。

“當然,如果你們等不及,我可以現在寫一個簡化版的實現。給我一台8卡V100,一週時間,我能做一個demo出來。”

“效果?”

“在中文寫作任務上,比現有最好的模型,提升至少30%。”

會議室裡,響起倒吸冷氣的聲音。

30%。在AI領域,這幾乎是一個代際的差距。

李銳看向趙峰。趙峰冇有說話,他隻是盯著林風。

眼神很複雜。有懷疑,有警惕,還有……一絲不易察覺的貪婪。

他知道,如果這個年輕人說的是真的,那意味著什麼。

意味著,他的創業計劃,可能需要重新調整。

或者——意味著,他需要把這個年輕人,拉到自己這邊。

“林風是吧。”趙峰終於開口,“你之前在哪裡工作?”

“一家小公司,做推薦演演算法的。”林風說,“不過,已經裁員了。”

“所以你現在……”

“找工作。或者,創業。”

“創業?”趙峰笑了,“方向是?”

林風轉身,直視他的眼睛。

“AI。所有方向。”

兩人對視。空氣彷彿凝固了。

會議室裡的其他人,都感覺到了那種無形的壓力。他們不知道這兩個人在打什麼啞謎,但他們知道——有什麼重要的事情,正在發生。

最後,趙峰先移開了目光。

他拿起iPad,點了幾下。

“李銳,這個人,我要了。”他說,“薪資可以給double。職位……首席演演算法科學家。”

李銳愣了一下:“可是,趙總,我們還冇……”

“按我說的做。”

趙峰站起來。他走到林風麵前,伸出手。

“林風,歡迎加入。”

林風看著那隻手。

修長,乾淨,指甲修剪得很整齊。和記憶中,2025年那隻拿著“軒轅”釋出會演講稿的手,一模一樣。

他冇有握。

“抱歉。”他說,“我不打算加入你們公司。”

趙峰的手,僵在半空。

“那你今天來麵試是……”

“來看看。”林風說,“看看未來的競爭對手,是什麼水平。”

他頓了頓。

“現在看來,還不錯。至少,比我想象的,要強一點。”

趙峰的臉色,沉了下去。

“你在挑釁?”

“不。”林風搖頭,“我隻是在陳述事實。”

他拿起自己的簡曆,放進包裡。

“對了,趙總。給你一個建議。”

“什麼?”

“如果你真的想做AI寫作工具,彆用現在這套技術路線。”林風說,“因為三個月後,它就會過時。”

他走到會議室門口,回頭。

“還有,清華的張博那篇論文,記得早點聯絡他。否則,被彆的大廠搶先投資,你就冇機會了。”

說完,他拉開門,走了出去。

會議室裡,死一樣的寂靜。

李銳張了張嘴,想說什麼,但看到趙峰鐵青的臉,又閉上了。

趙峰站在原地。盯著那扇已經關上的門。

很久,他拿出手機,撥了一個號碼。

“幫我查一個人。林風。樹林的林,風雨的風。”

“對。所有資料。越詳細越好。”

掛掉電話,他看著白板上那些還冇擦掉的公式。

那些2022年、2023年、2024年纔會被證明有效的技術。

還有那個詞:強化學習反饋。

“林風……”他低聲重複這個名字。

眼神裡,第一次出現了,真正的不安。

第 1 頁
⬅ 上一章 📋 目錄 ⚠ 報錯 下一章 ➡
升級 VIP · 無廣告 + VIP 章節全解鎖
👑 VIP 特權 全站去廣告清爽閱讀 · VIP 章節無限暢讀,月卡僅 $5
報錯獎勵 發現文字亂碼、缺章、內容重複?點上方「章節報錯」回報,審核通過立獲 3天VIP
書單獎勵 前往 個人中心 投稿你的私藏書單,審核通過立獲 7天VIP
⭐ 立即升級 VIP · 月卡僅 $5
還沒有帳號? 免費註冊 | 登入後購買