Yani YZ araştırması mı yapmak istiyorsun? Kimsenin sana bunu gerçekten öğretmediği doğru. En azından doğrudan değil. Ama işin aslı, başlamanın yolu oldukça basit: (i) okumak ve (ii) bir şeyler inşa etmek kombinasyonu. Birini diğeri olmadan yapamazsın. Araştırmacı olmanın yolu bu kombinasyondan geçiyor.
Meğer harika bir araştırmacı olma süreci, meditasyon yapmayı öğrenmekten pek de farklı değilmiş:
I.
Eski bir Zen sözü şöyle der:
*içgörü bulduğumuz günlerde otururuz. içgörü bulamadığımız günlerde otururuz.*
Araştırma yapmak da temelde böyledir. Bilimsel içgörüler görünüşte rastgele gelebilir. Çoğu gün gelmezler. Başarı için önemli bir özellik, sadece zaman ve emek harcamaktır. Diğer tüm uğraşlarda (müzik, spor, satış vb.) olduğu gibi, dünya çapında bir isim olmak istiyorsan, muazzam bir disiplin gerekecektir.
Noam Shazeer, SwiGLU makalesinde başarılı araştırma fikirlerinin doğasındaki rastgeleliğe hoş bir selam gönderiyor:
“Bu mimarilerin neden işe yaradığına dair bir açıklama sunmuyoruz; başarılarını, her şey gibi, ilahi lütfa bağlıyoruz.”
Bununla ilgili bir yorum da çok fazla makale okumanın mümkün olduğudur. Bir sorunu çözmek istiyorsan, denenmiş ve onaylanmış başarı yolu, bir çözüm denemek, onu test etmek, bir darboğaza ulaşmak, onu çözmeye çalışmak ve ancak kendi fikirlerin tükendiğinde literatüre başvurmaktır.
II.
Peki, ne üzerinde çalışmalıyım?
Yeni başlıyorsan, dürüst cevabım şu: Konunun tam olarak ne olduğunun pek bir önemi olmadığını düşünüyorum.
Yine de, altı aydan daha kısa süredir popüler olan şeyleri seçmemen konusunda seni uyarırım. YZ hızlı hareket eder, ancak temel fikirler kırk yıldır değişmedi. Bundan bir kariyer yapmak istiyorsan, 2026'nın kavramları (koşum takımları, ajanlar, bağlam mühendisliği vb.) hakkında çok fazla düşünmeni tavsiye etmem. Bunlar değişecek.
Bunun yerine, temellere geri dönerek daha çok şey öğreneceksin: çapraz entropinin ne olduğunu öğren. Küçük bir dağılım için elle hesapla. SVD'yi, kafanda canlandırabilecek kadar derinlemesine anla. Kodlama için özel olarak RL hakkında çok fazla düşünme, bunun yerine politika gradyanlarının ardındaki fikirleri, neden faydalı olduklarını ve neden onlarca yıldır popüler olduklarını öğren.
Bir meta-yorum daha: Araştırma projenin mümkün olan en iyi sonucu, mevcut bir kıyaslamada daha yüksek bir puansa, yeterince derine inmiyorsun demektir. Mevcut veri kümeleri genellikle yeni ilginç yetenekleri test etmez.
Jason Wei de benzer bir noktaya değiniyor:
YZ araştırmalarında hafife alınan ancak bazen başarıyı getiren veya kıran bir beceri (on yıl önce pek de var olmayan), üzerinde çalıştığınız yeni bir yöntemi gerçekten uygulayan bir veri kümesi bulma yeteneğidir.
Somut bir öneriye gelince, bir tane yapamam; bu sana gelmeli. Derine in, temellere odaklan ve kıyaslamaların peşinden koşma. Suda kal ve fikirler gelecektir.
III.
aceminin zihninde birçok olasılık vardır; uzmanın zihnindeyse çok az – Suzuki
Silikon Vadisi'nde bugünlerde sıkça tekrarlanan bir şey, YZ araştırmalarındaki deneyimin aslında modern günde iyi bir araştırma sezgisine karşı üretken olabileceğidir. Bunun bir kısmına yakından tanık oldum; ölçekleme öncesi dönemden kalma birçok araştırmacı, küçük ölçekte işe yarayan ancak ölçekte test edildiğinde açıkça başarısız olacak yöntemler tasarlamaya ilgi duymaya devam ediyor.
OpenAI hakkında gerçekten etkileyici olan bir şey, şirketi yöneten insanların çoğunun (en azından teknik tarafta) 35 yaşın altında olmasıdır. ChatGPT'nin arkasındaki önemli karar vericilerin çoğu 30 yaşın altında. Bundan çıkarabileceğimiz bir şey, YZ'nin bu kadar yeni bir alan olması nedeniyle (ChatGPT dört yaşından daha küçük!) kimsenin büyük bir avantaja sahip olmadığıdır, çünkü kimse çok uzun süredir bu alanda çalışmıyor.
Kısacası, fikirlere çok uzun süre tutunmak aslında üretkenliğe zarar verebilir. Acem zihnini pratik et. Açık fikirli ol ve egonun yargını bulandırmasına izin verme.
IV.
İlham, en az beklediğin anda gelir.
İşte tarihten iki örnek:
- Benzen halkasının yapısının keşfi ünlü bir rüyada gelmişti: yapı daha önce hiç görülmemişti, ancak kendi kuyruğunu ısıran bir yılan olarak hayal edilmişti.
- Ozempic aslında kertenkelelerden geliyor. Taklit ettiği GLP-1 hormonu ilk olarak, yılda sadece birkaç kez yemek yiyen bir çöl kertenkelesi olan Gila canavarının zehrinde bulundu. Bir şekilde bunu insanlar için de işe yarar hale getirmeyi başardık.
Önemli bir çıkarım, iyi araştırma yapmak için araştırma dışında şeyler yapman gerektiğidir. Kişisel "aha anlarımın" çoğu, klavyeden uzakta, özellikle yürüyüşe çıktığımda gerçekleşti.
Darwin, Tesla, Feynman, Aristoteles. Tarihin birçok büyük düşünürü, bacaklarını açmanın ve biraz gezintiye çıkmanın büyük faydalarını dile getirdi. Araştırma yapmasan bile, muhtemelen daha fazla yürüyüşe çıkmalısın.
V.
İlham gelse bile, doğa iyiliksever olmayabilir: kusursuz bir uygulamayla bile, fikrimiz temel bir anlamda doğru olmayabilir. Ya da belki öyleydi ya da öyle görünüyor. Sonuçlar geldiğinde nasıl tepki vermeliyiz?
Zen'den ödünç alabileceğimiz bir başka ilke de (deneysel) dinginliktir.
Bir deneyi analiz ederken:
İyi mi gitti? Harika!
Kötü mü gitti? O da harika!
Her iki sonuç da sana aynı miktarda bilgi öğretir. Aslında, bir dizi olumsuz sonuçtan, tek bir olumlu sonuçtan daha fazla şey öğrenmek genellikle mümkündür. "Vay canına, hâlâ çalışmıyor – inanılmaz!" İşte araştırma için sağlıklı bir tutum bu.
Bunun tersi de, iyi sonuçlar için fazla heyecanlanmaman gerektiğidir. Aslında, çoğu iyi sonuç bir hata yüzünden gelir; sonuçların kendisinin iyi olması değil, yanlış ölçüm yapıp kendini ikna etmendir. Herkes fikirlerinin işe yaramasını ister – ve bu iyi bir şeydir! – ancak tüm deneyimli araştırmacıların paylaştığı bir şey, özellikle gerçek olamayacak kadar iyi görünen sonuçlar karşısında aşırı şüpheciliktir. Ne yazık ki, neredeyse her zaman öyledirler.
VI.
Bir çiçek, yanındaki çiçekle rekabet etmeyi düşünmez. Sadece açar.
Araştırma son derece sonuç odaklıdır. Özellikle akademide, başkalarının kağıt üzerindeki başarılarına bakıp duygulara kapılmak kolaydır.
İnsanlar farklı nedenlerle başarılı olur. Bazı insanlar şanslıdır. Özellikle akademik değerlendirme süreci ne tutarlı ne de adildir. Alanında hayran olduğun yeni bir araştırma çıktığında, kendine şu soruyu sor:
Bu içgörüyü kendim yapacak yeterli derinlik seviyesinde mi çalışıyorum?
Şimdi iki olası sonuç var. Cevap evetse – harika. Sürecin sağlam, ancak bu buluşu sen yapmadın; meşguldün, başka bir şey yapıyordun, ama yapabilirdin.
Ve cevap hayırsa – bunu daha derine inmek için bir motivasyon olarak kabul et.
VII.
aydınlanmadan önce, odun kes, su taşı. aydınlanmadan sonra, odun kes, su taşı.
Başarılı projelerin çoğu, perde arkasında yüzlerce saatlik angarya işi içerir. Andrej Karpathy, ImageNet'in önemsiz olmayan bir kısmını elle etiketledi. Birçok yönden zamanının ötesinde olan SWEBench'in yaratıcıları, değerlendirme için kullanışlı, küçük ve yönetilebilir bir GitHub sorunları seti elde etmek için yüzlerce saat boyunca GitHub verilerini titizlikle filtreledi.
Büyük araştırmacıların kariyerine bakarsan, muhtemelen başarıyı bulmadan önce belirsizlik içinde çalışarak çok zaman geçirmişlerdir. Buna alış. Bir fikir ne kadar hırslı ve ileri görüşlüyse, onu iyice uygulamak ve değerlendirmek o kadar fazla iş gerektirebilir. Bu zorluk bir özelliktir, bir hata değil.
VIII.
Derinden saygı duyduğum harika bir araştırmacı olan Collin Raffel, bir keresinde birçok fikrin kötü fikirler oldukları için değil, araştırmacının asla bulamadığı bir kod hatası yüzünden başarısız olduğunu düşündüğünden bahsetmişti.
Genel olarak bu, özellikle LLM'ler dünyasında gerçekten zor bir problemdir. Modern bir derin öğrenme yazılım yığını son derece karmaşıktır ve hatalar her yerde olabilir: eğitimde, çıkarımda, koşum takımlarında, veride.
eğer bir şey yanlış görünüyorsa, devam edemezsin. Birçok metriği kaydedebilirsin ve kaydetmelisin, hepsini anlamaya çalışmalısın. Metriklerden bazıları beklediğinden farklı görünüyorsa, nedenini bulman gerekir, çünkü bir şeyler yanlış olabilir. Daha önce bir araştırmacıdaki en önemli özelliklerden birinin sağlıklı paranoya olduğunu tweetlemiştim. Paranoyak ol!
IX.
Pratik bir nokta, derin öğrenmeyi içeren çoğu deneyin çok uzun sürmesidir. Modelleri eğitmek haftalar veya aylar alabilir. Bugünlerde, bir modeli tek bir görevde değerlendirmek birkaç gün sürebilir.
Özellikle ajanlarla kod yazarken, içgüdümüz birçok deneyi paralel olarak başlatmak ve hepsinin yavaş bir tempoda çalışmasına izin vermek olabilir. Basit paralelleştirme bir dereceye kadar yardımcı olsa da, bağlam değiştirme zararlı bir modeldir.
Hızlı deneysel geri bildirimi destekleyen ergonomik araştırma iş akışları tasarlaman son derece önemlidir. Eğitim için soğuk başlatma sürelerini kısalt, hızlı sonuç veren küçük değerlendirmeler yap. Keller Jordan'ın nanoGPT hız koşusuna, hızlı yineleme döngülerinden ne kadar çok şey öğrenebileceğimize dair bir örnek olarak gerçekten hayranım.
(Bununla birlikte, günün sonunda, bazı sonuçlar kaçınılmaz olarak uzun zaman alır. Yapabildiğinde, birden çok gün boyunca durumu korumak ve geçen haftanın bugün biten deneylerini anlamak inanılmaz derecede faydalı bir beceridir.)
X.
Kodlama ajanları daha hızlı hareket etmene yardımcı olur, ancak iki sorunu daha da kötüleştirir: temel ayrıntıları anlamakta zorlanırız ve daha sık bağlam değiştiririz. İyi bir araştırmacı her iki güce karşı aktif olarak mücadele eder.
Codex senin için bir eğitim betiği yazabilir; hatta betiği çalıştırabilir, çalışırken ona göz kulak olabilir, sonuçları yorumlayabilir ve sana bir e-postayla gönderebilir. Ancak belki bir hatayla karşılaştı ve sana sormadan sistem istemini kısalttı. Belki değerlendirmenin makul bir sürede çalışması için dizi uzunluklarını kısalttı. Belki belirtmediğin için yanlış yapılandırmayı çalıştırdı.
Mühendislik açısından bakıldığında, bunların hepsi kolay bir düzeltmesi olan küçük hatalardır. Ancak bilimsel açıdan, bunlar ciddidir: bunun gibi küçük ihmaller, makalelerin önemli sonuçlarını maddi olarak değiştirebilir ve bu nedenle kabul edilemezler. Ejderhalara dikkat et. Kodu sen yazmamış olsan bile, sonuçlarını anlamak istiyorsan, onları üreten sistemi anlaman gerekir.
Açıkça söyleyeyim – bu zor! Anlamayı makineye devretmek cazip geliyor. Birçok uygulama için daha hızlı. Ancak iyi bilim yapmak, tüm sistemin nasıl çalıştığını öğrenmeyi gerektirir, böylece onunla ilgili gözlemlerinin doğru olduğundan emin olabilirsin. Bunun kolay bir yolu yok.
XI.
Uzun lafın kısası: Başarılı bir araştırmacı olmak için gereken tek şey yetenek değildir. Mizaç fazlasıyla hafife alınmaktadır. Meraklı ve ısrarcı kal, düşünceli ve titiz ol ve fikirler gelecektir.
