คุณอยากทำงานวิจัย AI หรือ? จริงอยู่ว่าไม่มีใครสอนคุณ "จริงๆ" หรอกนะ อย่างน้อยก็ไม่ใช่แบบตรงไปตรงมา แต่ปรากฏว่าวิธีเริ่มต้นนั้นค่อนข้างง่าย: การผสมผสานระหว่าง (i) การอ่านและ (ii) การสร้างอะไรบางอย่าง คุณทำอย่างใดอย่างหนึ่งโดยไม่มีอีกอย่างไม่ได้ คุณจะเป็นนักวิจัยได้ก็ต่อเมื่อรวมทั้งสองอย่างเข้าด้วยกัน
ปรากฏว่ากระบวนการเป็นนักวิจัยที่ยอดเยี่ยมนั้นก็ไม่ต่างจากการเรียนรู้การทำสมาธิ:
I.
มีคำกล่าวเซนโบราณที่ประมาณว่า –
*ในวันที่เราพบความเข้าใจ เรานั่ง ในวันที่เราไม่พบความเข้าใจ เราก็นั่ง*
การทำงานวิจัยก็ประมาณนี้ ความเข้าใจทางวิทยาศาสตร์อาจมาอย่างสุ่มๆ ส่วนใหญ่แล้วมันจะไม่มา ลักษณะสำคัญสำหรับความสำเร็จคือการทุ่มเทเวลาและความพยายาม เช่นเดียวกับกิจกรรมอื่นๆ (ดนตรี กีฬา การขาย ฯลฯ) ถ้าคุณอยากเป็นระดับโลก คุณต้องมีวินัยอย่างมหาศาล
Noam Shazeer กล่าวถึงความสุ่มโดยธรรมชาติของแนวคิดวิจัยที่ประสบความสำเร็จในบทความ SwiGLU อย่างน่ารัก:
"เราไม่มีคำอธิบายว่าทำไมสถาปัตยกรรมเหล่านี้ถึงดูเหมือนใช้ได้ผล เราถือว่าความสำเร็จของมัน เช่นเดียวกับทุกสิ่ง เป็นเพราะความเมตตากรุณาจากสวรรค์"
ข้อคิดที่เกี่ยวข้องคือ มันเป็นไปได้ที่จะอ่านบทความมากเกินไป ถ้าคุณอยากแก้ปัญหา เส้นทางสู่ความสำเร็จที่ผ่านการพิสูจน์คือการลองหาคำตอบ ลองทำ ไปถึงจุดคอขวด พยายามแก้มัน แล้วค่อยหันไปอ่านวรรณกรรมเมื่อคุณหมดความคิดของตัวเองแล้ว
II.
โอเค แต่ฉันควรทำงานอะไรดี?
ถ้าคุณเพิ่งเริ่มต้น นี่คือคำตอบที่จริงใจของฉัน: ฉันไม่คิดว่าเรื่องที่คุณเลือกจะสำคัญมากนัก
แต่ถึงอย่างนั้น ฉันขอเตือนคุณอย่าเลือกสิ่งที่เพิ่งได้รับความนิยมไม่ถึงหกเดือน AI เคลื่อนที่เร็ว แต่แนวคิดพื้นฐานไม่ได้เปลี่ยนมาเป็นเวลาสี่สิบปี ถ้าคุณอยากสร้างอาชีพจากสิ่งนี้ ฉันไม่แนะนำให้คุณคิดมากเกินไปเกี่ยวกับแนวคิดของปี 2026: harnesses, agents, context engineering ฯลฯ สิ่งเหล่านี้จะเปลี่ยนไป
คุณจะเรียนรู้มากขึ้นจากการกลับไปสู่พื้นฐาน: เรียนรู้ว่า cross-entropy คืออะไร คำนวณมันด้วยมือสำหรับการกระจายตัวเล็กๆ ทำความเข้าใจ SVD อย่างลึกซึ้ง จนถึงจุดที่คุณเริ่มเห็นภาพมันในหัว อย่าคิดมากเกินไปเกี่ยวกับ RL สำหรับการเขียนโค้ดโดยเฉพาะ แต่ให้เรียนรู้แนวคิดเบื้องหลัง policy gradients ว่าทำไมมันถึงมีประโยชน์ และทำไมมันถึงได้รับความนิยมมาหลายทศวรรษ
ข้อคิดอีกอย่าง: ถ้าผลลัพธ์ที่ดีที่สุดของโปรเจกต์วิจัยของคุณคือคะแนนที่สูงขึ้นในเกณฑ์วัดที่มีอยู่ แสดงว่าคุณยังไม่ลึกพอ บ่อยครั้งที่ชุดข้อมูลที่มีอยู่จะไม่ทดสอบความสามารถใหม่ๆ ที่น่าสนใจ
ทักษะที่ถูกประเมินต่ำเกินไป แต่บางครั้งก็เป็นตัวกำหนดความสำเร็จหรือความล้มเหลวในการวิจัย AI (ซึ่งแทบไม่มีเมื่อสิบปีก่อน) คือความสามารถในการหาชุดข้อมูลที่ใช้งานได้จริงสำหรับวิธีการใหม่ที่คุณกำลังทำอยู่
สำหรับคำแนะนำที่เป็นรูปธรรม ฉันให้ไม่ได้ มันต้องมาจากตัวคุณเอง จงลงลึก เน้นพื้นฐาน และอย่าไล่ตามเกณฑ์วัด อยู่ในน้ำแล้วความคิดจะมาเอง
III.
ในจิตของผู้เริ่มต้น มีความเป็นไปได้มากมาย ในจิตของผู้เชี่ยวชาญ มีเพียงน้อยนิด – ซูซูกิ
สิ่งที่มักถูกพูดซ้ำในซิลิคอนแวลลีย์ทุกวันนี้คือประสบการณ์ในการวิจัย AI อาจเป็นอุปสรรคต่อสัญชาตญาณวิจัยที่ดีในยุคปัจจุบัน ฉันสังเกตเห็นบางส่วนนี้จากใกล้ชิด; นักวิจัยหลายคนจากยุคก่อนการขยายขนาดยังคงสนใจในการออกแบบวิธีการที่ทำงานในระดับเล็ก แต่จะล้มเหลวอย่างเห็นได้ชัดเมื่อทดสอบในระดับใหญ่
สิ่งหนึ่งที่น่าประทับใจจริงๆ เกี่ยวกับ OpenAI คือคนส่วนใหญ่ที่บริหารบริษัท (อย่างน้อยในฝ่ายเทคนิค) อายุต่ำกว่า 35 ปี ผู้ตัดสินใจสำคัญหลายคนเบื้องหลัง chatGPT อายุต่ำกว่า 30 ปี สิ่งที่เราเรียนรู้ได้จากสิ่งนี้คือเนื่องจาก AI เป็นสาขาที่เพิ่งเกิด (chatGPT อายุไม่ถึงสี่ปี!) ไม่มีใครมีข้อได้เปรียบมหาศาล เพราะไม่มีใครทำงานด้านนี้มานานมาก
พูดสั้นๆ คือการยึดติดกับความคิดนานเกินไปอาจเป็นอุปสรรค ฝึกจิตของผู้เริ่มต้น เปิดใจและปฏิเสธที่จะให้อัตตาบดบังวิจารณญาณของคุณ
IV.
แรงบันดาลใจมาเมื่อคุณคาดไม่ถึง
นี่คือสองตัวอย่างจากประวัติศาสตร์:
- การค้นพบโครงสร้างวงแหวนเบนซีน ที่มีชื่อเสียงมาจากความฝัน: โครงสร้างที่ไม่เคยเห็นมาก่อน แต่ถูกจินตนาการเป็นงูที่กัดหางตัวเอง
- Ozempic มาจากจิ้งจกโดยพื้นฐาน ฮอร์โมน GLP-1 ที่มันเลียนแบบถูกพบครั้งแรกในพิษของ Gila monster ซึ่งเป็นจิ้งจกทะเลทรายที่กินเพียงไม่กี่ครั้งต่อปี อย่างใดเราก็คิดหาวิธีทำให้มันใช้ได้กับมนุษย์ด้วย
ข้อคิดสำคัญคือ การทำงานวิจัยที่ดี คุณต้องทำสิ่งอื่นนอกเหนือจากการวิจัย ช่วงเวลา "อ๋อ!" ส่วนตัวของฉันส่วนใหญ่เกิดขึ้นเมื่อไม่ได้อยู่หน้าคีย์บอร์ด โดยเฉพาะเวลาออกไปเดิน
ดาร์วิน, เทสลา, ไฟน์แมน, อริสโตเติล นักคิดผู้ยิ่งใหญ่หลายคนในประวัติศาสตร์ประกาศถึงประโยชน์มหาศาลของการยืดขาและเดินเล่นเล็กๆ ถึงแม้คุณจะไม่ได้ทำงานวิจัย คุณก็ควรเดินให้มากขึ้น
V.
แม้แรงบันดาลใจจะมา ธรรมชาติอาจไม่เมตตาเสมอไป: แม้จะมีการดำเนินการที่สมบูรณ์แบบ ความคิดของเราอาจไม่เป็น จริง ในความหมายพื้นฐาน หรือบางทีมันเคยเป็น หรือดูเหมือนจะเป็น เมื่อผลลัพธ์ออกมา เราควรตอบสนองอย่างไร?
หลักการอีกข้อที่เรายืมจากเซนได้คือความใจเย็น (ในการทดลอง)
เมื่อวิเคราะห์การทดลอง:
มันไปได้ดีไหม? เยี่ยม!
มันไปได้แย่ไหม? ก็เยี่ยม!
ผลลัพธ์ทั้งสองสอนข้อมูลปริมาณเท่ากันให้คุณ อันที่จริง บ่อยครั้งที่คุณสามารถเรียนรู้จากผลลัพธ์เชิงลบต่อเนื่องมากกว่าผลลัพธ์เชิงบวกเพียงครั้งเดียว "ว้าว มันยังใช้ไม่ได้ – ไม่น่าเชื่อ!" นั่นคือทัศนคติที่ดีต่อการวิจัย
ตรงกันข้ามคือคุณไม่ควรตื่นเต้นเกินไปกับผลลัพธ์ที่ดี อันที่จริง ผลลัพธ์ที่ดีส่วนใหญ่มาจากบั๊ก ไม่ใช่เพราะผลลัพธ์ดีเอง แต่เป็นเพราะคุณวัดผิดและโน้มน้าวตัวเอง ทุกคนอยากให้ความคิดของตัวเองได้ผล – และนี่เป็นสิ่งที่ดี! – แต่สิ่งหนึ่งที่นักวิจัยที่มีประสบการณ์ทุกคนมีร่วมกันคือความกังขาอย่างที่สุด โดยเฉพาะเมื่อเจอผลลัพธ์ที่ดูดีเกินจริง น่าเสียดายที่มันมักจะเป็นอย่างนั้นเกือบตลอด
VI.
ดอกไม้ไม่ได้คิดจะแข่งขันกับดอกไม้ที่อยู่ข้างๆ มันแค่เบ่งบาน
การวิจัยนั้นขับเคลื่อนด้วยผลลัพธ์อย่างมาก โดยเฉพาะในแวดวงวิชาการ มันง่ายที่จะมองความสำเร็จของคนอื่นบนกระดาษแล้วหันไปหาอารมณ์
คนประสบความสำเร็จด้วยเหตุผลต่างกัน บางคนโชคดี กระบวนการทบทวนทางวิชาการโดยเฉพาะนั้นไม่สม่ำเสมอหรือยุติธรรม เมื่อมีงานวิจัยใหม่ในสาขาของคุณที่คุณชื่นชม ให้ถามตัวเองด้วยคำถามนี้:
ฉันกำลังทำงานในระดับความลึกที่เหมาะสมที่จะค้นพบสิ่งนี้ด้วยตัวเองหรือไม่?
ตอนนี้มีสองผลลัพธ์ที่เป็นไปได้ ถ้าคำตอบคือใช่ – เยี่ยม กระบวนการของคุณถูกต้อง แต่คุณไม่ได้ค้นพบสิ่งนี้ คุณยุ่ง คุณกำลังทำอย่างอื่น แต่คุณสามารถทำได้
และถ้าคำตอบคือไม่ – จงใช้สิ่งนี้เป็นแรงผลักดันให้ลงลึกยิ่งขึ้น
VII.
ก่อนรู้แจ้ง สับฟืน หาบน้ำ หลังรู้แจ้ง สับฟืน หาบน้ำ
โปรเจกต์ที่ประสบความสำเร็จหลายโปรเจกต์มักเกี่ยวข้องกับงานพื้นฐานหลายร้อยชั่วโมงเบื้องหลัง Andrej Karpathy ติดป้ายด้วยมือ เป็นส่วนสำคัญของ ImageNet ผู้สร้าง SWEBench ซึ่งล้ำหน้ายุคในหลายด้าน ใช้เวลาหลายร้อยชั่วโมงในการกรองข้อมูล GitHub อย่างพิถีพิถัน เพื่อให้ได้ชุดปัญหา GitHub ที่เล็กและจัดการได้ ซึ่งมีประโยชน์สำหรับการประเมิน
ถ้าคุณดูอาชีพของนักวิจัยที่ยอดเยี่ยม พวกเขามักใช้เวลามากมายในการทำงานอย่างไม่เป็นที่รู้จักก่อนจะพบความสำเร็จ ทำความคุ้นเคยกับสิ่งนี้ ยิ่งความคิดทะเยอทะยานและมองไปข้างหน้ามากเท่าไหร่ ก็อาจต้องใช้เวลามากขึ้นในการดำเนินการและประเมินอย่างละเอียด ความยากลำบากนี้คือคุณสมบัติ ไม่ใช่ข้อบกพร่อง
VIII.
Collin Raffel นักวิจัยที่ยอดเยี่ยมที่ฉันเคารพอย่างสุดซึ้ง เคยกล่าวว่าเขาคิดว่าแนวคิดหลายอย่างล้มเหลวไม่ใช่เพราะมันเป็นแนวคิดที่ไม่ดี แต่เป็นเพราะโค้ดมีบั๊กที่นักวิจัยไม่เคยพบ
โดยทั่วไปนี่เป็นปัญหาที่ยากมาก โดยเฉพาะในโลกของ LLM สแต็กซอฟต์แวร์การเรียนรู้เชิงลึกสมัยใหม่ซับซ้อนมาก และบั๊กสามารถอยู่ที่ไหนก็ได้: ในการฝึก ในการอนุมาน ใน harnesses ในข้อมูล
ถ้ามีอะไรดูผิดปกติ คุณจะก้าวต่อไปไม่ได้ คุณสามารถและควรบันทึกเมตริกหลายๆ ตัว และพยายามเข้าใจทั้งหมด ถ้าเมตริกบางตัวดูแตกต่างจากที่คุณคาดไว้ คุณต้องหาสาเหตุ เพราะอาจมีอะไรผิดปกติ ฉันเคยทวีตมาก่อนว่าหนึ่งในลักษณะที่สำคัญที่สุดของนักวิจัยคือ ความหวาดระแวงที่ดีต่อสุขภาพ จงหวาดระแวง!
IX.
ประเด็นเชิงปฏิบัติคือการทดลองส่วนใหญ่ที่เกี่ยวข้องกับการเรียนรู้เชิงลึกใช้เวลานานเกินไป การฝึกโมเดลอาจใช้เวลาหลายสัปดาห์หรือหลายเดือน ทุกวันนี้ การประเมินโมเดลในงานเดี่ยวอาจใช้เวลาหลายวัน
โดยเฉพาะเมื่อเขียนโค้ดกับ agents สัญชาตญาณของเราอาจจะเป็นการเริ่มการทดลองหลายๆ อย่างพร้อมกันและปล่อยให้มันทำงานช้าๆ แม้ว่าการทำคู่ขนานอย่างง่ายจะช่วยได้ในระดับหนึ่ง แต่ การเปลี่ยนบริบท เป็นรูปแบบที่สร้างความเสียหาย
สิ่งที่สำคัญที่สุดคือคุณต้องออกแบบเวิร์กโฟลว์วิจัยที่เหมาะสมและรองรับการทดลองที่ตอบสนองเร็ว ลดเวลาเริ่มต้นที่เย็นสำหรับการฝึก สร้างการประเมินเล็กๆ ที่ให้ผลลัพธ์เร็ว ฉันชื่นชม nanoGPT speedrun ของ Keller Jordan อย่างมาก เป็นตัวอย่างของสิ่งที่เราเรียนรู้ได้จากรอบการทำซ้ำที่รวดเร็ว
(แต่ถึงอย่างไร ในที่สุด ผลลัพธ์บางอย่างก็ใช้เวลานานอย่างเลี่ยงไม่ได้ เมื่อคุณทำได้ การรักษาสถานะตลอดหลายวันและทำความเข้าใจการทดลองของสัปดาห์ที่แล้วเมื่อมันเสร็จในวันนี้เป็นทักษะที่มีประโยชน์อย่างเหลือเชื่อ)
X.
Coding agents ช่วยให้คุณเคลื่อนที่เร็วขึ้น แต่มันทำให้ปัญหาสองอย่างแย่ลง: เราเข้าใจรายละเอียดพื้นฐานยากขึ้น และเราสลับบริบทบ่อยขึ้น นักวิจัยที่ดีจะต่อสู้กับแรงทั้งสองนี้อย่างแข็งขัน
Codex สามารถเขียนสคริปต์ฝึกให้คุณได้ มันสามารถรันสคริปต์ ดูแลมันขณะที่ทำงาน ตีความผลลัพธ์ และส่งให้คุณทางอีเมล แต่บางทีมันอาจเจอข้อผิดพลาดและย่อ system prompt โดยไม่ถามคุณ บางทีมันอาจลดความยาวลำดับเพื่อให้ eval ทำงานในเวลาที่เหมาะสม บางทีมันอาจรันคอนฟิกผิดเพราะคุณไม่ได้ระบุ
จากมุมมองทางวิศวกรรม สิ่งเหล่านี้เป็นข้อผิดพลาดเล็กน้อยที่แก้ไขได้ง่าย แต่จากมุมมองทางวิทยาศาสตร์ สิ่งเหล่านี้ร้ายแรง: การละเว้นเล็กน้อยเช่นนี้สามารถเปลี่ยนแปลงผลลัพธ์สำคัญของบทความได้อย่างมีนัยสำคัญ ดังนั้นจึงไม่เป็นที่ยอมรับ ระวังมังกร ถึงแม้คุณจะไม่ได้เขียนโค้ด ถ้าคุณอยากเข้าใจผลลัพธ์ของคุณ คุณต้องเข้าใจระบบที่สร้างมันขึ้นมา
ฉันจะบอกคุณตามตรง – นี่ยาก! มันน่าดึงดูดที่จะมอบความเข้าใจให้เครื่องจักร สำหรับการใช้งานหลายอย่าง มันเร็วกว่า แต่การทำวิทยาศาสตร์ที่ดีจำเป็นต้องเรียนรู้ว่าระบบทั้งหมดทำงานอย่างไร เพื่อให้คุณแน่ใจได้ว่าข้อสังเกตเกี่ยวกับมันเป็นจริง ไม่มีทางลัดง่ายๆ รอบนี้
XI.
สรุป: พรสวรรค์ไม่ใช่ทุกสิ่งที่จำเป็นในการเป็นนักวิจัยที่ประสบความสำเร็จ อารมณ์ ถูกประเมินค่าต่ำเกินไป อย่าให้ความอยากรู้อยากเห็นและความมุ่งมั่นหายไป คิดอย่างมีสติและพิถีพิถัน แล้วความคิดจะมาเอง
