Bu, Yang Zhilin ile yaptığım ilk röportajdı; 2024'ün başında gerçekleştirildi ve 1 Mart 2024'te yayımlandı; bu, Kimi'nin kuruluşunun tam birinci yıldönümüydü. O zamanlar Kimi'de sadece 80 kişi vardı ve ilk, biraz da bakımsız ofislerinde çalışıyorlardı. Girişte logo bile yoktu. Kapıda sadece beyaz bir piyano nöbet tutuyordu.
Bu makale, o dönemde Çin'in teknoloji camiasında epey yankı uyandırmıştı.
O zamanlar hâlâ basılı bir gazeteciydim, bu yüzden bu röportaj sadece metin ve bir sesli podcast olarak var.
Gördüğümüz gibi, bu makalede ifade edilen görüşlerin birçoğu o zamandan beri doğrulandı.
İki yıl öncesine ait bu sözleri tekrar okurken, dünyanın ne kadar çarpıcı bir şekilde değiştiğine hayran kalmamak elde değil!
(Bu çeviri Kimi K3 tarafından oluşturulmuştur.)
Yang Zhilin: "Eğer herkes senin normal olduğunu düşünüyorsa – eğer hayalin herkesin sahip olabileceği türden bir hayalse – bu, insanlığın hayallerinin toplamına hiçbir şey eklemez."
Yazan: Zhang Xiaojun
Sadece bir yıl önce, yapay zeka bilimcisi Yang Zhilin, Silikon Vadisi'nde hassas bir hesaplama yaptı. AGI'yi hedefleyen bir temel model girişimi başlatmaya karar verirse, önümüzdeki birkaç ay içinde 100 milyon dolardan fazla para toplaması gerekeceğini fark etti.
Yine de bu sadece oyuna giriş biletiydi. Bir yıl sonra, bu rakam on üç katına çıkmıştı.
Temel model şirketleri için rekabet, bilimsel bir yarışmadan çok, her şeyden önce acımasız bir para yarışıdır. Yatırımcılar keselerini sıkı tutarken, daha fazla para toplamak, daha fazla GPU satın almak ve daha fazla yetenek kapmak için rakiplerinizin önünde olmalısınız.
"Bu, yetenek yoğunlaşması ve sermaye yoğunlaşması gerektirir," diyor 1 Mart 2023'te kurulan temel model şirketi Moonshot AI'nin kurucusu ve CEO'su Yang Zhilin.
Son bir yıldır, Çinli temel model şirketleri gergin, sıkışık bir hayatta kalma sınırında yaşıyor gibiydi. Görünüşte, her biri ciddi miktarlarda nakit paraya sahip. Ancak bir yandan, yeni topladıkları parayı hemen OpenAI'yi yakalamak için son derece maliyetli araştırmalara yatırmaları gerekiyor – önce GPT-3.5'i yakalamak, GPT-4'e daha ulaşamadan bu sefer Sora çıkıyor. Öte yandan, yalnızca sermaye tüketen araştırma enstitüleri değil, şirketler olduklarını kendilerine kanıtlamak için durmaksızın uygulanabilir gerçek dünya kullanım alanları bulmak için yarışmalılar. Ve bu da yeterli değil: bu girişimlerin her biri için, ister halka arz ister satın alma yoluyla olsun, çıkış yolu hâlâ belirsizliğini koruyor.
Çin'in temel model şirketlerinin kurucuları arasında Yang Zhilin, 1992 doğumlu olarak en genç olanıdır. Sektör onu sadık bir AGI inananı ve nadir görülen teknik karizmaya sahip bir kurucu olarak tanımlıyor. Akademik ve profesyonel geçmişinin büyük bir kısmı genel amaçlı yapay zeka ile bağlantılıdır ve makaleleri 22.000'den fazla kez atıf almıştır.
2023'ün ortalarında, Çin'in teknoloji topluluğu temel modeller konusunda aniden coşkudan soğukluğa döndü ve gerçek dünyadaki dağıtımı hızlandırmak pragmatik ana akım melodi haline geldi. Bu, kaçınılmaz olarak temel model CEO'larını ideal ve gerçeklik arasında şiddetli bir şekilde bölünmüş halde bıraktı. Herkesin PMF (ürün/pazar uyumu) ve herkesin ticarileşmeyi haykırdığı bir Çin yapay zeka ekosisteminde, eğitimli bir yapay zeka araştırmacısı olan bu kurucunun acelesi pek yok.
80 kişiyle Moonshot AI, Çin'in önde gelen temel model şirketleri arasında en az çalışana sahip olanıdır. Rakiplerinin aksine Yang, daha güvenli olan B2B iş modelini veya sağlık, oyun gibi dikey sektörlerde dağıtımı tercih etmedi. Tek bir tüketici ürünü inşa etti: 200.000 Çince karaktere kadar girdi kabul eden yapay zeka asistanı Kimi. Kimi aynı zamanda Yang Zhilin'in İngilizce adıdır.
Yang, şirketini daha çok bilim, mühendislik ve işletmeyi birleştiren bir sistem olarak görmeyi tercih ediyor. Şöyle hayal edebilirsiniz: insan dünyasının üzerinde, bir yandan deneyler yaparken, diğer yandan da ileri teknolojiyi gerçek dünyaya indiren, insanlarla etkileşim yoluyla uygulamalar keşfeden ve bu uygulamaları tüketicilerin ellerine ulaştıran bir yapay zeka laboratuvarı tezgahı kuruyor. İdeal olarak, ilki milyarlarca ve on milyarlarca dolar sermaye harcar; ikincisi bu parayı yüzlerce veya binlerce kat geri kazanır. Nasıl duyarsanız duyun, bu, ip üzerinde yürümek kadar heyecan verici – ve bir o kadar da tehlikeli – geliyor.
"Yapay zeka, önümüzdeki bir veya iki yıl içinde hangi PMF'yi bulabileceğimle ilgili değil; önümüzdeki on ila yirmi yıl içinde dünyayı nasıl değiştireceğimle ilgili," diyor.
Bu tür soyut, idealist düşünce, onun adına endişelenmeye sevk ediyor: genç bir yapay zeka bilimcisi, gerçekçi bir Çin'de kendine hayatta kalma alanı açabilir mi?
Şubat 2024'te Moonshot AI, piyasa akımına karşı büyük bir fonlama turunu kapattı. Şirketin, Alibaba liderliğinde, Monolith Management, Xiaohongshu ve diğerlerinin katılımıyla, 1,5 milyar dolar değerleme öncesinde 1 milyar doların üzerinde bir Seri B turu topladığı anlaşılıyor. Anlaşmanın tamamlanmasının ardından Moonshot AI'nin değerlemesi yaklaşık 2,5 milyar dolar olarak gerçekleşti – bu da onu, bu aşamada, Çin'in temel model yarışındaki en değerli tek boynuzlu at yapıyor. (Şirket konuyla ilgili yanıt vermeyi veya yorum yapmayı reddetti.)
Bu üçüncü fonlama turunun ortasında, Yang Zhilin ile ilk girişimcilik yılı hakkında konuşmak için bir araya geldik – Çinli temel model şirketlerinin başlangıç çizgisinden ileriye doğru yarıştığı bir yılın minyatür bir kesiti.
Şirketi, temel model şirketlerinin yoğunlaştığı merkez olan Pekin'deki Sohu Network Plaza'da kurulmadı. Toplamda yaklaşık 9 milyar RMB fonlamaya sahip bir şirket için, Liangzi Xinzuo binasındaki bu ofis ilkel ve bakımsız görünüyor. Girişte şirket logosu bile yok – kapıda sadece beyaz bir piyano nöbet tutuyor.
Toplantı odası bir köşede; küçük pencereleri yüzünden içerisi karanlık ve ısıtıcı, kış soğuğuna karşı sıcak hava üfleyerek uğulduyor. Loş ışıkta Yang, geçen yılın kendisine nasıl hissettirdiğini anlatıyor: "Biraz önünüzde uzanan bir dizi karlı dağla birlikte bir yolda araba sürmek gibi. İçlerinde ne olduğunu bilmiyorsunuz. Sadece adım adım ileriye doğru yürümeye devam ediyorsunuz."
Aşağıda Yang Zhilin ile yapılan röportajın tamamı yer almaktadır. (Okunabilirlik adına yazar bazı metinsel düzenlemeler yapmıştır.)
Bu fotoğraf, 2024'ün başında Kimi'nin Pekin'deki ilk ofisinde çekildi. Artık bu konumdan taşındılar. Girişte hiçbir logo sıralanmamıştı – sadece kapının yanında sessizce beyaz bir piyano duruyordu.
**
Bölüm 1
Başlangıçta Durmak
"Dalganın Üzerinde Olmalısın"
**
Zhang Xiaojun: Son zamanlarda nasılsın?
Yang Zhilin: Yoğun – yapılacak çok şey var. Ama hâlâ heyecanlıyım. Bir endüstrinin en başında duruyoruz ve hayal gücü için muazzam bir alan var.
Zhang Xiaojun: Az önce içeri girerken şirketinin girişinde bembeyaz bir piyano gördüm.
Yang Zhilin: Üzerinde bir Pink Floyd albümü de var. Kimin koyduğu hakkında hiçbir fikrim yok – birkaç gün önce birdenbire fark ettim ve sorma fırsatım olmadı. (Pink Floyd, The Dark Side of the Moon albümünü yayınlayan İngiliz rock grubudur.)
Zhang Xiaojun: Kasım 2022'de ChatGPT'nin yayınlandığı gün ne yapıyordun?
Yang Zhilin: Zaten buna hazırlanıyordum – insanları işe almak, ekip kurmak, yeni fikirler alışverişinde bulunmak. ChatGPT'yi görmek heyecan vericiydi. Üç ila beş yıl önce – hatta 2021'de bile – bu düşünülemezdi. Bu tür üst düzey akıl yürütmeyi başarmak çok zordu.
Piyasada birçok değişkenin değişmek üzere olduğunu hissettim: bir tarafta sermaye, diğer tarafta yetenek – yapay zekanın temel üretim faktörleri. Bu değişkenler yerine oturursa, bunu yapmak için uygun bir şirket – AGI için inşa edilmiş bir organizasyon – 0'dan 1'e geçebilirdi. Bu büyük bir aydınlanmaydı. Bağımsız bir şirket daha mantıklıydı, ancak istediğiniz anda yapabileceğiniz bir şey değildi; ChatGPT değişkenleri harekete geçirdi ve üretim faktörlerini bir araya getirdi. Dalganın üzerinde olmalısınız.
Zhang Xiaojun: Bir AGI şirketi kurmaya karar verdikten sonra ne gibi hazırlıklar yaptın? Sermaye ve yetenek olmak üzere iki üretim faktörünü nasıl bir araya getirdin?
Yang Zhilin: Dolambaçlı bir süreçti. ChatGPT'nin yayılması zaman aldı. Bazıları erken öğrendi, bazıları geç; bazıları önce şüphe etti, sonra şok oldu, sonra inananlar haline geldi. İnsan bulmak ve para bulmak, zamanlamayla sıkı sıkıya bağlıydı.
İlk fonlama turumuza Şubat 2023'te odaklanmaya başladık. Nisan'a erteleseydik, temelde hiç şansımız kalmazdı. Ancak Aralık 2022 veya Ocak 2023'te yapmak da işe yaramazdı – pandemi hâlâ devam ediyordu ve insanlar henüz bunu sindirememişti. Yani gerçek pencere sadece bir aydı.
Bir gece Amerika Birleşik Devletleri'nde hassas bir hesaplama yaptım. Bitirdiğimde, birkaç ay içinde en az 100 milyon dolar toplamamız gerektiği sonucuna vardım. Piyasadaki birçok kişi henüz fon toplamaya başlamamıştı ve birçoğu mutlaka bu kadar para toplayabileceğinize inanmıyordu. Ama bunun mümkün olduğu ortaya çıktı – hatta daha da fazlası.
Yetenek piyasası da hareketlenmeye başladı. ChatGPT'den ilham alan birçok kişi, 2023'ün Mart veya Nisan aylarında şu farkındalığa ulaştı: önümüzdeki on yıl içinde yapmaya değer tek şey bu. Doğru insanlara doğru zamanda ulaşmalısınız. Bir veya iki yıl önce, yetenek bu derecede kümelenmezdi. O zamanlar daha fazla insan geleneksel yapay zeka veya yapay zekaya bitişik işler yapıyordu – hiçbiri genel amaçlı yapay zeka değildi.
Zhang Xiaojun: Özetlemek gerekirse: Şubat fon toplama penceresiydi, Mart ve Nisan ise işe alım penceresi miydi?
Yang Zhilin: Aşağı yukarı öyle.
Zhang Xiaojun: ABD'deki o gece – bu hesabı yaparken neredeydin? Tam olarak nasıl hesapladın?
Yang Zhilin: 2022'nin sonundan 2023'ün başlarına kadar bir veya iki ayı ABD'de geçirdim, insanlarla konuştum. Kaldığım yerde yaptım. Kaç FLOP'a ihtiyacınız olduğunu, eğitim maliyetini, çıkarımı ve kullanıcı sayılarını hesaplarsınız.
Zhang Xiaojun: O anda Silikon Vadisi'ndeki hakim ruh hali neydi?
Yang Zhilin: Ürün, teknoloji çevresinde yoğunlaşmış birçok erken benimseyiciyi toplamaya başladı. Biz de o çevrenin içindeydik, bu yüzden bunu daha keskin hissettik. Silikon Vadisi'ndeki büyük şirketlerde, insanlar her altı ayda bir performans değerlendirmesi yazmak zorunda ve birçoğu bunları ChatGPT ile yazmaya başladı. Normalde yazıları o kadar profesyonel olmayan bazı kişiler, ChatGPT ile yazılmış değerlendirmeler teslim etti ve herkes ölümcül derecede ciddi görünüyordu.
Dipten gelen akıntılar vardı. Birçok kişi bir sonraki işini veya bir şirket kurmayı düşünüyordu. Bizimle konuşan birçok arkadaş daha sonra girişim kurmaya gitti. Ve yoğun bir FOMO – kaçırma korkusu – vardı. Kimse uyuyamıyordu. Gece yarısı, sabah 1 veya 2 olsun, ulaştığınızda insanlar her zaman oradaydı. Biraz endişeli, biraz FOMO ve çok heyecanlı.
Zhang Xiaojun: 100 milyon dolar toplamanız gerektiğini hesapladığın gece – ne kadar geç saate kadar ayakta kaldın?
Yang Zhilin: Sorun değildi – hesaplamanın kendisi uzun sürmedi. Ama sonrasında çok fazla kişiye söyleyemedim. Söyleseydim, kimse bunun yapılabileceğine inanmazdı.
Bölüm 2
Teknik Soy
"Kendini Sonsuz Oymaktan Kurtarmak"
Zhang Xiaojun: Risk sermayesi dünyası senden bahsederken, "Kurucu dahidir, teknik karizmaya sahiptir ve ekip teknik yıldızlarla doludur" diyor. Bu yüzden temel model girişimini tartışmadan önce, akademik geçmişinle başlamak istiyorum. Lisansını Tsinghua'da bilgisayar bilimi olarak okudun ve doktoranı Carnegie Mellon'un Bilgisayar Bilimi Okulu'nda yaptın. Yapay zeka her zaman odak noktan mıydı?
Yang Zhilin: 1992 doğumluyum ve lisansıma 2011'de başladım. İkinci sınıftan bugüne – on yıldan fazla bir süredir – bu alandayım. İlk başta daha farklı alanları keşfettim, her yere baktım; grafikler ve çok modlulukla ilgili bazı çalışmalar yaptım. 2017'de dil modellerinde karar kıldım. O zaman dil modellerinin nispeten önemli bir problem olduğunu hissettim; daha sonra bunun tek önemli problem olduğunu hissetmeye başladım.
Zhang Xiaojun: 2017'de, yapay zeka endüstrisi genel olarak dil modellerini nasıl anlıyordu ve bu anlayış nasıl evrildi?
Yang Zhilin: O zamanlar konuşma tanıma sonuçlarını sıralamak için kullanılan bir modeldi. (Gülüyor.) Bir konuşma parçası tanındıktan sonra, birçok aday sonuç elde ederdiniz ve hangisinin en yüksek olasılığa sahip olduğunu görmek ve en olası olanı çıktı olarak vermek için dil modelini kullanırdınız. Uygulamaları çok sınırlıydı.
Ama bunun temel bir problem olduğunu fark ediyorsunuz, çünkü dünyanın olasılıklarını modelliyorsunuz. Dil sınırlıdır, ancak dünyanın bir yansımasıdır; teoride, token alanını – tüm olası tokenların alanını – yeterince büyük yaparsanız, genel bir dünya modeli oluşturabilirsiniz. Dünyadaki her şeyin nasıl ortaya çıktığı ve geliştiği bir olasılık atanabilir. Her problem, olasılıkların nasıl tahmin edileceğine indirgenebilir.
Zhang Xiaojun: Akademik danışmanların çok önemli: doktora danışmanların Apple'ın yapay zeka başkanı Ruslan Salakhutdinov ve Google AI'ın baş bilimcisi William W. Cohen'di. Her ikisi de endüstri ve akademi arasında gidip geliyor.
Yang Zhilin: Önceki yıllarda, endüstri ve akademi daha fazla bir araya geliyordu, ancak eğilim şimdi değişiyor: daha değerli atılımlar endüstride gerçekleşecek. Bu, kaçınılmaz bir gelişme yasasıdır. Keşif amaçlı araştırmalarla başlar ve yavaş yavaş daha olgun bir sanayileşme sürecine geçer. Bu, sanayileşme sırasında araştırmaya gerek olmadığı anlamına gelmez – sadece saf araştırmanın değerli atılımlar üretmekte zorlanacağı anlamına gelir.
Zhang Xiaojun: Bu ünlü danışmanlardan ne öğrendin?
Yang Zhilin: En çok Google'da öğrendim, uzun süre staj yaptım. 2018'in sonlarında Transformer tabanlı dil modelleri üzerinde çalışmaya başladım. En büyük öğrendiğim şey, kendimi sonsuz "oymaktan" – yüzey detaylarının takıntılı bir şekilde iyileştirilmesinden – kurtarmaktı. Bu çok önemliydi.
Büyük yönün ne olduğuna, büyük degradeye bakmalısınız. Önünüzde on yol varken, ortalama bir insan bu yollardan birindeki öndeki bir yayaya nasıl fren yapılacağı konusunda endişelenir – kısa vadeli detaylar. Ama hangi yolun seçileceği en önemli şeydir.
Bu alan daha önce tam olarak bu soruna sahipti. Örneğin, yalnızca bir veya iki milyon tokenlik bir veri setinde, şaşkınlığı nasıl düşüreceğinize, kaybı nasıl düşüreceğinize, doğruluğu nasıl artıracağınıza bakardınız – ve sonsuz oymaya dalardınız. İnsanlar birçok tuhaf mimari icat etti; bunlar oyma hileleriydi. Oymadan sonra, bu tür bir veri setinde daha iyi performans gösterebilirsiniz, ancak sorunun özünü kaçırırsınız.
Öz, alanın neyi eksik olduğunu analiz etmektir. İlk prensip nedir? Ölçekleme yasası neden bir ilk prensip olarak hizmet edebilir? Sadece iki koşulu karşılayan bir yapı bulmanız gerekir: birincisi, yeterince geneldir; ikincisi, ölçeklenebilirdir. Genel, tüm problemleri bu çerçeve içinde modelleyebileceğiniz anlamına gelir; ölçeklenebilir, yeterli hesaplama gücü eklediğiniz sürece sürekli iyileştiği anlamına gelir.
Bu, Google'da öğrendiğim düşünce tarzıdır: eğer bir şey daha temel bir şeyle açıklanabiliyorsa, üst katmanlarda aşırı oymamalısınız. Şiddetle katıldığım önemli bir söz var: bir sorunu ölçekle çözebiliyorsanız, yeni bir algoritma ile çözmeyin. Yeni bir algoritmanın en büyük değeri, daha iyi ölçeklenmenize nasıl izin verdiğidir. Kendinizi oymaktan kurtardığınızda, çok daha fazlasını görebilirsiniz.
Zhang Xiaojun: Google da o zamanlar ölçekleme yasasının takipçisi miydi? İlk prensipler düşüncesini nasıl uyguladı?
Yang Zhilin: Bu tür fikirlerin birçoğu orada zaten vardı, ancak Google bunları özellikle iyi uygulayamadı. Bu düşünce tarzına sahipti, ancak kendini gerçek bir ay görevi programı olarak organize edemedi. Daha çok şöyleydi: burada ilk prensiplerimi takip eden beş kişi ve şurada kendi ilk prensiplerini takip eden beş kişi. Yukarıdan aşağıya hiçbir şey yoktu.
Zhang Xiaojun: Doktora sırasında, Turing Ödülü sahipleri Yann LeCun ve Yoshua Bengio ile işbirliği içinde makaleler yayınladın – ve bu makalelerde ilk yazardın. Bu işbirlikleri nasıl gerçekleşti? Yani, onlar Turing Ödülü sahipleri ve senin danışmanların değillerdi – onları çekmek için neye güvendin?
Yang Zhilin: Akademi çok açıktır. İyi bir fikriniz ve anlamlı bir sorununuz olduğu sürece sorun değil. İki beynin – veya n beynin – ürettiği şey, tek bir beynin ürettiğinden daha fazladır. Bu, AGI geliştirirken de geçerlidir. Yapay zekada önemli bir strateji "topluluk" olarak adlandırılır – birden fazla farklı model veya yöntem kullanmak ve daha iyi performans için tahminlerini birleştirmek. Temelde aynı şeyi yapıyordur: farklı bakış açılarına sahip olduğunuzda, birçok yeni şeyi ateşleyebilirsiniz. İşbirliği son derece faydalıdır.
Zhang Xiaojun: Önce bir fikrin olur ve sonra onlara ilgilenip ilgilenmediklerini mi sorardın?
Yang Zhilin: Kabaca böyleydi.
Zhang Xiaojun: Hangisi daha zor: araştırmada akademik ağır topları ikna etmek mi, yoksa fon toplamada sermaye ağır toplarını ikna etmek mi? Benzerlikler nelerdir?
Yang Zhilin: "İkna etmek" iyi bir ifade değil – arkasındaki öz işbirliğidir. İşbirliği, her iki tarafın da kazanması anlamına gelir, çünkü karşılıklı fayda işbirliğinin ön koşuludur. Yani gerçekten bir fark yok: başkalarına benzersiz bir değer sunmanız gerekiyor.
Zhang Xiaojun: Güvenlerini nasıl kazanıyorsun? Yeteneğinin ne olduğunu düşünüyorsun?
Yang Zhilin: Özel bir yetenek yok – sadece çok çalışmak.
Bölüm 3
Eski Sistem Artık Çalışmıyor
"AGI'nin Yeni Bir Tür Organizasyona İhtiyacı Var"
**
Zhang Xiaojun: Az önce "daha değerli atılımlar endüstride gerçekleşecek" dedin – buna girişimler ve devlerin yapay zeka laboratuvarları da dahil mi?
Yang Zhilin: Laboratuvarlar tarih oldu. Google Brain, endüstrideki en büyük yapay zeka laboratuvarıydı, ancak büyük bir şirketin içine yerleştirilmiş bir araştırma organizasyonuydu. Bu tür bir organizasyon yeni fikirleri keşfedebilir, ancak harika bir sistem üretmesi çok zordur – Transformer'ı üretebilirdi, ancak ChatGPT'yi üretemezdi.
Gelişimin şimdi evrildiği şekil, devasa bir sistem inşa etmenizdir; bu, yeni algoritmalar, sağlam mühendislik ve hatta birçok ürün ve ticarileştirme çalışması gerektirir. 2000'lerin başı gibi: bilgi erişimini bir laboratuvarda araştıramazdınız; gerçek dünyada, devasa bir sistem olarak, kullanıcıları olan bir ürün olarak – Google gibi – yaşaması gerekirdi. Bu nedenle araştırma ve eğitim sistemleri, işlevlerini öncelikle yetenek yetiştirmeye doğru kaydıracaktır.
Zhang Xiaojun: Bu yeni sistem biçimini nasıl tanımlarsın? OpenAI onun prototipi mi?
Yang Zhilin: Bugün bu türün en olgun organizasyonudur ve hâlâ yavaş yavaş evriliyor.
Zhang Xiaojun: Yani, insanlığın büyük bilimsel hedefleri için kurulmuş bir organizasyon olarak anlaşılabilir mi?
Yang Zhilin: Şunu vurgulamak istiyorum: saf bilim değil – bilim, mühendislik ve işletmenin bir birleşimi. Ticari bir organizasyon, bir şirket olmalı, bir araştırma enstitüsü değil. Ancak bu şirket sıfırdan bire inşa ediliyor, çünkü AGI'nin yeni bir tür organizasyona ihtiyacı var. Birincisi, üretim biçimi internet çağından farklıdır; ikincisi, saf araştırmadan araştırma, mühendislik, ürün ve işletmenin bir kombinasyonuna geçer.
Özünde, bir ay görevi programı olmalı, çok sayıda yukarıdan aşağıya planlama ile – yine de bu planlamanın içinde yeniliğe yer vardır, çünkü tüm teknoloji önceden belirlenmemiştir. Yukarıdan aşağıya bir çerçeve içinde aşağıdan yukarıya unsurlar vardır. Böyle bir organizasyon daha önce yoktu, ancak organizasyon teknolojiye uyum sağlamalıdır, çünkü teknoloji üretim biçimini belirler; eğer uyuşmazlarsa, etkili bir şekilde üretim yapamazsınız. Bunun büyük olasılıkla sıfırdan yeniden tasarlanması gerekeceğine inanıyoruz.
Zhang Xiaojun: Geçen yılki OpenAI yönetim kurulu darbesi sırasında, Sam Altman için bir seçenek Microsoft'a katılmak ve yeni bir Microsoft AI ekibine liderlik etmekti. Bununla OpenAI CEO'su olmak arasındaki temel fark nedir?
Yang Zhilin: Eski bir kültürün içinde yeni bir organizasyon büyütmek zorunda kalırdınız – ve bu son derece zordur.
Zhang Xiaojun: "Çin'in OpenAI'si"ni inşa etmek istiyorsun – bunu böyle ifade edebilir miyiz?
Yang Zhilin: Pek doğru değil. Herhangi bir şeyin Çin versiyonu olmak istemiyoruz ve mutlaka OpenAI olmak da istemiyoruz.
Birincisi, gerçek AGI kesinlikle küresel olacaktır. Piyasa koruma mekanizmaları nedeniyle bazı bölgesel pazarlarla sınırlı bir AGI şirketi diye bir şey yoktur – en azından uzun vadede. Küreselleşme, AGI ve çok geniş bir kullanıcı tabanına sahip bir ürüne sahip olmak: bunlar nihayetinde gerekli koşullardır.
İkincisi, OpenAI olmalı mı? 2017-2018'e bakarsanız, OpenAI'in korkunç bir itibarı vardı. Çevremizdeki insanlar iş ararken genellikle Google gibi yerleri düşünürdü. OpenAI'in baş bilimcisi Ilya Sutskever ile konuşan birçok kişi, adamın çılgın ve kendini fazla beğenmiş olduğu izlenimine kapıldı – OpenAI ya deliler ya da dolandırıcılardı. Ama çok erken taahhütte bulundular, fikir birliği olmayanı buldular ve yapay zekada işe yarayan tek ilk prensibi buldular: sonraki token tahmini yoluyla ölçekleme.
OpenAI'den daha büyük bir şirket olacağına inanıyorum. Gerçekten harika bir şirket, teknolojik idealizmi harika bir ürünle birleştirebilir, kullanıcılarıyla birlikte yaratabilir – AGI nihayetinde tüm kullanıcılarıyla birlikte çalışarak üretilen bir şey olacaktır. Yani sadece teknolojiyle ilgili değil; aynı zamanda pragmatizm ve gerçek dünya arayışları gerektirir – nihayetinde, ikisinin mükemmel bir birleşimi.
Yine de OpenAI'in teknolojik idealizminden öğrenmeliyiz. Eğer herkes senin normal olduğunu düşünüyorsa – eğer hayalin herkesin sahip olabileceği türden bir hayalse – bu, insanlığın hayallerinin toplamına hiçbir şey eklemez.
Bölüm 4
Ay Görevi'nin İlk Adımı "Uzun Bağlam" – Peki İkincisi?
"Sırada İki Büyük Kilometre Taşı Var"
**
Zhang Xiaojun: Şirketi kurmaya karar verdiğin ana dönelim – Çin'e döndükten hemen sonra ilk fonlama turunu başlattın mı?
Yang Zhilin: ABD'de Şubat (geçen yıl) ayında başladı, bir kısmı uzaktan yapıldı. Sonuçta, yerli yatırımcılar çoğunluğu oluşturdu.
Zhang Xiaojun: İlk tur 100 milyon dolar topladı mı?
Yang Zhilin: İlk tur o kadar değildi; sonraki turlar bu rakamı aştı. 2023'te toplamda yaklaşık 2 milyar RMB olan iki turu tamamladık.
Bu şimdi üçüncü tur. Finansmanı resmi olarak duyurmadık, bu yüzden şu anda yorum yapamam.
Zhang Xiaojun: Bazıları, 2023'ün ikinci yarısından itibaren kimsenin artık temel model şirketlerine yatırım yapmaya istekli olmadığını söylüyor. Yanılıyorlar mı?
Yang Zhilin: Hâlâ var. Duyarlılıktaki değişimi gerçekten görebilirsiniz, ancak kimse yatırım yapmıyor değil – en azından şimdilik, piyasada oldukça fazla yatırım ilgisi var.
Zhang Xiaojun: Sermaye ve insanların yanı sıra, 2023'te başka hangi önemli kararları aldın?
Yang Zhilin: Ne yapılacağına karar vermek. Bizim gibi şirketlerin avantajı budur – en üst düzeyde kararlar için teknik bir vizyona sahip olmak.
Uzun bağlam yapıyoruz. Bu, gelecek hakkında yargıda bulunmayı gerektirir: neyin temel olduğunu ve işlerin nereye gittiğini bilmeniz gerekir. Yine, ilk prensipler – "oymaktan kurtulma" süreci. Oymaya odaklanırsanız, yalnızca OpenAI'in halihazırda ne yaptığına bakabilir ve onu nasıl yeniden üreteceğinizi anlayabilirsiniz.
Kimi'de kayıpsız uzun metin sıkıştırma yapmanın ürüne benzersiz bir deneyim kazandırdığını göreceksiniz. İngilizce makaleleri okuduğunuzda, onları olağanüstü derecede iyi anlamanıza yardımcı olur. Bugün Claude veya GPT-4'ü kullanarak mutlaka aynı derecede iyi yapamazsınız; bu, önceden zemin hazırlamayı gerektiriyordu. Bunun üzerinde altı aydan fazla çalıştık. Bu, bugün bir uzun bağlam trendini fark edip, aceleyle iki ekip toplayıp maksimum hızda geliştirmekten çok farklıdır.
Elbette maraton daha yeni başladı; daha fazla farklılaşma gelecek ve bu da sizin "gerçekleşen bir fikir birliği dışı" olarak neyin sayılacağını önceden tahmin etmenizi gerektiriyor.
Zhang Xiaojun: Bu karar hangi ayda alındı?
Yang Zhilin: Şubat ya da Mart—şirket kurulur kurulmaz kararlaştırıldı.
Zhang Xiaojun: Neden uzun bağlam moonshot'ın ilk adımı?
Yang Zhilin: Çünkü temel bir unsur. Yeni bilgisayarın hafızası bu.
Eski bilgisayarın hafızası son birkaç on yılda birkaç kat büyüdü ve aynı şey yeni bilgisayar için de olacak. Bu, günümüzün birçok sorununu çözebilir. Örneğin, mevcut çok modlu mimariler hâlâ bir tokenizer'a ihtiyaç duyuyor, ancak kayıpsız sıkıştırılmış uzun bir bağlamla buna gerek kalmaz—ham girdiyi doğrudan koyabilirsiniz. Daha da ileri götürürsek, yeni bilgi işlem paradigmasını daha genel hale getirmenin temelidir.
Eski bilgisayar her şeyi 0 ve 1'lerle temsil edebiliyordu; her şey sayısallaştırılabiliyordu. Ancak günümüzün yeni bilgisayarı henüz bunu yapamıyor—yeterli bağlam yok, bu yüzden o kadar genel değil. Genel bir dünya modeli haline gelmek için uzun bağlama ihtiyacınız var.
İkinci olarak, kişiselleştirmeyi mümkün kılıyor. Yapay zekanın temel değeri kişiselleştirilmiş etkileşimdir; değer nihayetinde kişiselleştirmeye dayanır ve AGI, önceki nesil öneri motorlarından daha kişiselleştirilmiş olacak.
Ancak kişiselleştirme ince ayar (fine-tuning) ile sağlanmaz—çok uzun bağlamı destekleyerek elde edilir. Makineyle olan tüm geçmişiniz bağlamdır ve bu bağlam kişiselleştirme sürecini tanımlar. Kopyalanamaz ve daha doğrudan diyalog—bilgi üreten diyalog—sağlar.
Zhang Xiaojun: Bunu ölçeklendirmek için ne kadar alan var?
Yang Zhilin: Çok büyük. Bir yandan, pencerenin kendisini genişletmenin hâlâ kat edilmesi gereken uzun bir yolu var—birkaç kat büyüklük.
Diğer yandan, sadece pencereyi genişletemezsiniz ve sadece sayıya bakamazsınız; pencerenin birkaç milyon token mı yoksa birkaç milyar token mı olduğu tek başına anlamsızdır. Pencere içinde sağladığı muhakeme yeteneğine, aslına uygunluğa—orijinal bilgiye bağlılık—ve talimat takip yeteneğine bakmalısınız. Tek bir metriğin peşinden koşmamalı; metrikleri yeteneklerle birleştirmelisiniz.
Bu iki boyut gelişmeye devam ederse, çok şey yapabilirsiniz. On binlerce kelimelik bir talimatı takip edebilir ve talimatın kendisi birçok ajanı—son derece kişiselleştirilmiş—tanımlayabilir.
Zhang Xiaojun: Uzun bağlamın arkasındaki teknolojiler ile GPT-4'ü yakalamak birbirleri için kullanılabilir mi? Aynı şey mi bunlar?
Yang Zhilin: Bence öyle değil. Daha çok yeni bir boyut eklemekle ilgili—GPT-4'ün sahip olmadığı bir boyut.
Zhang Xiaojun: Birçok kişi önde gelen Çinli temel model şirketlerinin kabaca aynı şeyi yaptığını söylüyor—2023'te GPT-3.5'i, 2024'te GPT-4'ü kovalamak. Katılıyor musunuz?
Yang Zhilin: Genel yetenekleri geliştirmenin elbette önemli kilometre taşları vardır, bu yüzden bu ifade bir dereceye kadar doğru—bir geç kalan olarak, kaçınılmaz olarak bir yetişme sürecinden geçersiniz. Ancak aynı zamanda tek taraflı. Genel yeteneklerin ötesinde, belirli yönlerde farklı yetenekler geliştirmek ve son teknolojiye ulaşmak için çok fazla alan var. Uzun bağlam bunlardan biri. DALL-E 3'ün görüntü üretimi, Midjourney V6 tarafından tamamen geride bırakıldı. Bu yüzden her iki cephede de çalışmalısınız.
Zhang Xiaojun: Zaman ve kaynakların ne kadar kısmı genel yeteneklere karşı yeni boyutlara gidiyor?
Yang Zhilin: Birleştirilmeleri gerekiyor. Yeni bir boyut genel yeteneklerden ayrı var olamaz, bu yüzden doğrudan bir oran vermek zor. Ancak yeni boyutu iyi yapmak için yeterli yatırım gerekiyor.
Zhang Xiaojun: Tüm bu yeni boyutlar Kimi tarafından mı taşınacak?
Yang Zhilin: Kimi bizim için kesinlikle çok önemli bir ürün ve başka bazı girişimlerimiz de olacak.
Zhang Xiaojun: Shixiang'ın kurucusu Li Guangmi'nin, Çinli temel model şirketlerinin teknolojik farklılaşmasının bugün hâlâ çok yüksek olmadığı yönündeki yorumu hakkında ne düşünüyorsunuz?
Yang Zhilin: Bence sorun yok—bugün zaten oldukça fazla farklılaşma ürettik. Bu bir zaman meselesi; bu yıl daha fazla boyut görmelisiniz. Geçen yıl, herkes sadece iskeleyi kuruyor ve önce işleri çalışır hale getiriyordu.
Zhang Xiaojun: Moonshot'ın ilk adımı uzun bağlamsa, ikinci adım nedir?
Yang Zhilin: Önümüzde iki büyük kilometre taşı olacak. Birincisi, gerçekten birleşik bir dünya modeli—tüm farklı modaliteleri birleştiren, gerçekten ölçeklenebilir ve genel bir mimari.
İkincisi, yapay zekanın insan verisi girdisi olmadan gelişmeye devam etmesini sağlamak.
Zhang Xiaojun: Bu iki kilometre taşına ulaşmak ne kadar sürecek?
Yang Zhilin: İki ila üç yıl—muhtemelen daha hızlı.
Zhang Xiaojun: Yani üç yıl sonra, bugünkünden tamamen farklı bir dünyaya bakıyor olacağız.
Yang Zhilin: Mevcut gelişme hızında, evet. Teknoloji şu anda tomurcuklanan, hızlı büyüyen bir aşamada.
Zhang Xiaojun: Üç yıl sonra ne olacağını hayal edebiliyor musunuz?
Yang Zhilin: Belli bir derecede AGI olacak. Bugün yaptığımız birçok şeyi yapay zeka da yapabilecek—hatta bizden daha iyi. Ancak anahtar, onu nasıl kullandığımız.
Zhang Xiaojun: Peki ya sizin için—bir şirket olarak Moonshot AI için—ikinci adım nedir?
Yang Zhilin: Bu iki şeyi yapmaya gideceğiz. Geriye kalan tüm sorunlar bu iki faktörden türetilmiştir. İnsanların bugün bahsettiği muhakeme ve ajanlar, bu iki sorunu çözmenin yan ürünleridir. Biraz daha şekillendirme gerekiyor, ancak temel bir engel yok.
Zhang Xiaojun: GPT-4'ü yakalamak için her şeyinizi ortaya koyacak mısınız?
Yang Zhilin: GPT-4, AGI yolunda gerekli bir duraktır. Anahtar, sadece GPT-4'ü eşleştirmekle yetinmemektir. Öncelikle, şimdi gerçek fikir birliği dışı olanın ne olduğunu sormalısınız: GPT-4'ün ötesinde, sırada ne var? GPT-5 ve GPT-6 nasıl görünmeli? İkinci olarak, bunun içinde hangi ayırt edici yeteneklere sahip olduğunuzu görmelisiniz—ve bu daha önemli.
Zhang Xiaojun: Diğer temel model şirketleri kendi
