所以你對 AI 研究有興趣？說真的，從來沒有人 真正 教過你怎麼做。至少不是直接教。但事實是，起步的方法其實很簡單：就是（一）閱讀和（二）動手實作，兩者結合。你不能只做其中一項而忽略另一項。你必須透過兩者的交織，才能真正成為一名研究者。
而成為一流研究者的過程，其實跟學習冥想很像：
I.
有一句古老的禪語是這樣的——
*有洞見的日子，我們打坐； 沒有洞見的日子，我們打坐。*
做研究基本上就是這樣。科學上的洞見看似隨機降臨。大多數日子它們不會出現。成功的關鍵特質之一，就是持續投入時間與努力。就像任何其他追求（音樂、運動、銷售等等），如果你想成為世界級，就需要極大的紀律。
Noam Shazeer 在 SwiGLU 論文中幽默地致敬了成功研究點子本質上的隨機性：
「我們不提供任何關於這些架構為何有效的解釋；我們將其成功，如同一切事物一樣，歸因於神聖的恩典。」
相關的評論是：讀太多論文也是可能的。如果你想解決一個問題，經過驗證的成功路徑是：先嘗試一個解法、測試它、遇到瓶頸、再嘗試解決，直到你真正黔驢技窮時，才去翻閱文獻。
II.
好吧，那我該做什麼？
如果你是剛起步，我老實說：我覺得具體的主題不是那麼重要。
不過，我會警告你不要選擇那些流行不到六個月的東西。AI 發展很快，但基本概念四十年來沒變過。如果你想以此為業，我不建議你太執著於 2026 年的概念：harnesses、agents、context engineering 等等。這些會變。
相反地，你應該回歸基礎：學會什麼是 cross-entropy。對一個小分佈用手算出來。好好理解 SVD，直到你可以在腦中視覺化它。不要太專注於 coding 專用的 RL，而是學 policy gradients 背後的概念，為什麼它們有用，以及為什麼它們流行了幾十年。
還有一個後設評論：如果你的研究計畫最好的結果只是在現有基準上拿到更高分數，那你挖掘得不夠深。現有的資料集往往無法測試新穎的能力。
AI 研究裡一個被低估、但有時成敗關鍵的技能（十年前幾乎不存在）是：找到一個能真正測試你正在開發的新方法的資料集。
至於具體的建議，我給不出來；那必須來自你自己。深入下去，專注基礎，不要追逐基準。持續待在研究的水裡，點子自然會來。
III.
初學者的心裡有許多可能性；專家的心裡則很少——鈴木
最近矽谷常有人說，AI 研究的經驗在現代反而可能對好的研究直覺有害。我親眼見過部分情況：許多來自 scaling 時代之前的研究者，仍然熱衷設計在小規模下有效、但大規模測試時明顯會失敗的方法。
OpenAI 很令人印象深刻的一點是，公司裡（至少在技術面）大多數負責人都在 35 歲以下。ChatGPT 背後的許多重要決策者不到 30 歲。我們可以從中學到：由於 AI 還是這麼新興的領域（ChatGPT 還不到四年！），沒有人有巨大優勢，因為沒有人已經研究它很久。
簡而言之，固執於某些想法太久反而可能有害。練習保持初學者的心態。保持開放，不讓自我影響判斷。
IV.
靈感總在你不經意時降臨。
這裡有兩個歷史例子：
- 苯環結構的發現，眾所皆知來自一場夢：這個結構從未被見過，但被想像成一條咬住自己尾巴的蛇。
- Ozempic 基本上來自蜥蜴。它所模仿的 GLP-1 荷爾蒙最初是在吉拉毒蜥的毒液裡發現的，這種沙漠蜥蜴一年只吃幾次。不知何故，我們想辦法讓它也能作用在人身上。
一個重要的啟示是：要做好研究，你必須做研究以外的事。我個人的「頓悟時刻」大多發生在遠離鍵盤的時候，尤其是在散步時。
達爾文、特斯拉、費曼、亞里斯多德。歷史上許多偉大思想家都宣揚伸展雙腿、出去走走的好處。即使你不做研究，也應該多散步。
V.
即使靈感降臨，大自然也不一定仁慈：即便實現完美，我們的想法可能根本在基礎上是 不真實 的。或者它曾經是真實的，或看起來是真實的。當結果出現時，我們該如何反應？
我們可以從禪學中借鑒的另一個原則是（實驗的）平靜心。
在分析實驗時：
結果很好？太棒了！
結果很糟？也很棒！
兩種結果教你同樣多的資訊。事實上，從一連串負面結果中學到的，往往比單一正面結果還多。「哇，還是不行——真是不可思議！」這才是健康的研究態度。
反之，你不應該對好結果太興奮。事實上，大多數好結果來自於程式錯誤；不是結果本身好，而是你量錯了，說服了自己。每個人都希望自己的點子有效——這是好事！——但所有有經驗的研究者都具備極度的懷疑態度，尤其是面對好到難以置信的結果時。不幸的是，它們幾乎總是假的。
VI.
一朵花不會和旁邊的花競爭。它只是綻放。
研究極度注重結果。特別是在學術界，很容易看著別人的成功論文，然後陷入情緒。
人們成功的原因各不相同。有些人運氣好。尤其學術審查過程既不穩定也不公平。當你所在領域出現你欣賞的新研究時，問自己這個問題：
我是否處在足夠深的層次，能夠自己產生這個洞見？
現在有兩種可能的結果。如果答案是肯定的——很好。你的流程沒問題，但你沒有做出這個發現；你很忙，你在做別的事，但你本來可以的。
如果答案是否定的——那就把這當作動力，繼續深入。
VII.
頓悟之前，劈柴、挑水。頓悟之後，劈柴、挑水。
許多成功的計畫背後通常包含數百小時的苦工。Andrej Karpathy 手動標註了相當一部分 ImageNet。SWEBench 的創作者，在許多方面領先時代，他們花了數百小時辛苦過濾 GitHub 資料，才得到一套小巧、可用於評估的 GitHub 問題。
如果你看看偉大研究者的職業生涯，他們很可能在成功之前，很長時間都在默默無聞地工作。習慣這點。想法越有野心、越超前，徹底實現和評估的工作量就越大。這種困難是特性，不是缺陷。
VIII.
Collin Raffel，一位我非常敬佩的優秀研究者，曾提到他認為許多想法失敗不是因為點子不好，而是因為程式裡有一個研究者從未發現的錯誤。
一般來說，這是個非常棘手的問題，尤其是在 LLM 的世界。現代深度學習軟體堆疊極其複雜，錯誤可能出現在任何地方：訓練、推理、harnesses、資料。
如果某樣東西看起來不對，你不能放著不管。你應該記錄很多指標，並努力理解它們全部。如果某些指標看起來和預期不同，你需要找出原因，因為可能出了問題。我之前在推特上說過，研究者最重要的特質之一是健康的偏執。要有偏執心！
IX.
一個實際問題是，大多數涉及深度學習的實驗耗時太久。訓練模型可能需要數週或數月。如今，單單在一個任務上評估模型就可能需要好幾天。
特別是當你使用 coding agents 時，我們的本能可能是同時啟動許多實驗，讓它們以緩慢的節奏運行。雖然簡單的並行化有一定幫助，但任務切換是一種有害的模式。
至關重要的是，你必須設計符合人體工學的研究工作流程，支援快速的實驗反饋。縮短訓練的冷啟動時間，製作能快速回傳結果的小規模評估。我非常欣賞 Keller Jordan 的 nanoGPT speedrun，它展示了我們能從快速迭代循環中學到多少。
（話雖如此，到頭來有些結果不可避免地需要很長時間。當你能做到時，維持跨多天的狀態，並理解上週結束的實驗，是一項極其有用的技能。）
X.
Coding agents 能幫你加快速度，但它們讓兩個問題更糟：我們更難理解基本細節，而且我們更常切換任務。好的研究者會積極對抗這兩股力量。
Codex 可以幫你寫訓練腳本；它甚至能執行腳本、在運行時盯著它、解讀結果，然後用電子郵件發給你。但或許它遇到了錯誤，未經你同意就縮短了系統提示。或許它為了讓評估在合理時間內運行而縮短了序列長度。或許它運行了錯誤的設定，因為你沒有指定。
從工程角度來看，這些都是小錯誤，很容易修正。但從科學角度來看，它們很嚴重：像這樣的小疏漏可能實質上改變論文的重要結果，因此是不可接受的。小心惡龍。即使你沒有寫那段程式，如果你想理解你的結果，你需要理解產生它們的系統。
我跟你說實話——這很困難！把理解外包給機器很誘人。對於許多應用來說，這樣更快。但做好科學需要學習整個系統如何運作，這樣你才能確保對它的觀察是真實的。沒有捷徑。
XI.
TLDR：天賦不是成為成功研究者的唯一條件。氣質 被大大低估了。保持好奇和堅持，保持深思熟慮和細心，點子自然會來。
