Ce fut ma première interview avec Yang Zhilin, réalisée début 2024 et publiée le 1er mars 2024 — exactement le premier anniversaire de la fondation de Kimi. À l'époque, Kimi n'avait que 80 personnes, travaillant dans leur premier bureau, un peu délabré. Il n'y avait pas de logo à l'entrée. Seul un piano blanc montait la garde près de la porte.
Cet article a suscité pas mal d'agitation dans la communauté tech chinoise à l'époque.
À ce moment-là, j'étais encore journaliste de presse écrite, donc cette interview n'existe qu'en texte et en podcast audio.
Comme on peut le constater, nombre des opinions exprimées dans cet article se sont depuis avérées exactes.
Rien qu'en relisant ces mots d'il y a deux ans, on ne peut qu'être frappé par l'ampleur des changements dans le monde !
（Cette traduction a été générée par Kimi K3.)
Yang Zhilin : « Si tout le monde pense que vous êtes normal — si votre rêve est un rêve que n'importe qui pourrait avoir — cela n'ajoute rien à la somme totale des rêves de l'humanité. »
Par Zhang Xiaojun
Il y a tout juste un an, le scientifique en IA Yang Zhilin a fait un calcul précis dans la Silicon Valley. Il a réalisé que s'il décidait de lancer une startup de modèles fondamentaux visant l'AGI, il devrait lever plus de 100 millions de dollars dans les mois à venir.
Pourtant, ce n'était qu'un ticket pour le jeu. Un an plus tard, ce chiffre avait été multiplié par treize.
Pour les entreprises de modèles fondamentaux, la compétition est moins une compétition scientifique qu'un affrontement brutal, d'abord et avant tout, pour l'argent. Avec des investisseurs qui serrent les cordons de la bourse, il faut devancer ses rivaux pour lever plus de fonds, acheter plus de GPU et attirer plus de talents.
« Cela nécessite une concentration de talents et une concentration de capitaux », déclare Yang Zhilin, fondateur et PDG de Moonshot AI, la société de modèles fondamentaux créée le 1er mars 2023.
Au cours de l'année écoulée, les entreprises chinoises de modèles fondamentaux ont semblé vivre sur le fil du rasoir, en mode survie tendue et resserrée. En apparence, chacune détient des sommes d'argent considérables. Mais d'un côté, elles doivent immédiatement investir les fonds fraîchement levés dans des recherches extrêmement coûteuses pour rattraper OpenAI — d'abord atteindre GPT-3.5, puis avant même d'atteindre GPT-4, voilà que Sora arrive. De l'autre côté, elles doivent courir sans cesse pour trouver des cas d'usage viables dans le monde réel, pour se prouver à elles-mêmes qu'elles sont des entreprises, et non des instituts de recherche qui ne font que dévorer du capital. Et cela ne suffit pas : pour chacune de ces entreprises, que la sortie soit une introduction en bourse ou une acquisition, la voie reste plus qu'incertaine.
Parmi les fondateurs des entreprises chinoises de modèles fondamentaux, Yang Zhilin est le plus jeune, né en 1992. Le secteur le décrit comme un fervent croyant en l'AGI et un fondateur doté d'un charisme technique rare. Une grande partie de son parcours académique et professionnel est liée à l'IA à usage général, et ses articles ont été cités plus de 22 000 fois.
Mi-2023, la communauté tech chinoise est passée brusquement de l'euphorie au froid glacial envers les modèles fondamentaux, et l'accélération du déploiement dans le monde réel est devenue la mélodie dominante pragmatique. Cela a inévitablement déchiré les dirigeants des entreprises de modèles fondamentaux entre idéal et réalité. Dans un écosystème chinois de l'IA où tout le monde scande le PMF (product/market fit) et tout le monde scande la commercialisation, ce fondateur — chercheur en IA de formation — ne se presse pas particulièrement.
Avec 80 personnes, Moonshot AI a le plus petit effectif parmi les principales entreprises chinoises de modèles fondamentaux. Contrairement à ses rivaux, Yang n'a pas opté pour le modèle B2B plus sûr ni cherché un déploiement dans des secteurs verticaux comme la santé ou le jeu vidéo. Il a construit un — et un seul — produit grand public : l'assistant IA Kimi, qui accepte des entrées allant jusqu'à 200 000 caractères chinois. Kimi est aussi le prénom anglais de Yang Zhilin.
Yang préfère voir son entreprise comme un système qui combine science, ingénierie et business. On pourrait l'imaginer ainsi : au-dessus du monde humain, il érige un établi de laboratoire d'IA — d'une main, il mène des expériences, et de l'autre, il fait descendre la technologie de pointe dans le monde réel, découvrant des applications par l'interaction avec les gens et mettant ces applications entre les mains des consommateurs. Dans l'idéal, la première activité brûle des milliards et des dizaines de milliards de dollars de capital ; la seconde rapporte cet argent des centaines ou des milliers de fois. Quel que soit comment on l'entend, cela semble aussi excitant — et aussi périlleux — que de marcher sur une corde raide.
« L'IA n'est pas une question de quel PMF je peux trouver dans l'année ou les deux ans à venir ; c'est une question de comment changer le monde dans les dix à vingt prochaines années », dit-il.
Une pensée aussi abstraite et idéaliste fait suer d'inquiétude pour lui : un jeune chercheur en IA peut-il se tailler une place pour survivre dans une Chine réaliste ?
En février 2024, Moonshot AI a bouclé un important tour de financement à contre-courant du marché. On sait que l'entreprise a levé une série B de plus d'un milliard de dollars à une valorisation pré-money de 1,5 milliard de dollars, menée par Alibaba avec la participation de Monolith Management, Xiaohongshu et d'autres. À l'issue de l'opération, la valorisation post-money de Moonshot AI s'élevait à environ 2,5 milliards de dollars — ce qui en fait, à ce stade, la licorne la mieux valorisée dans la course chinoise aux modèles fondamentaux. (L'entreprise a refusé de répondre ou de commenter cette information.)
Au milieu de ce troisième tour de financement, nous nous sommes entretenus avec Yang Zhilin pour parler de sa première année d'entrepreneuriat — une coupe transversale, en miniature, d'une année où les entreprises chinoises de modèles fondamentaux ont filé en tête depuis la ligne de départ.
Son entreprise ne s'est pas installée dans le Sohu Network Plaza à Pékin, le hub où se regroupent les entreprises de modèles fondamentaux. Pour une société au financement total d'environ 9 milliards de RMB, ce bureau dans l'immeuble Liangzi Xinzuo a l'air rudimentaire et délabré. Il n'y a même pas de logo de l'entreprise à l'entrée — seulement un piano blanc qui monte la garde près de la porte.
La salle de réunion se trouve dans un coin ; avec ses petites fenêtres, elle est sombre à l'intérieur, et le radiateur ronronne en soufflant de l'air chaud contre le froid hivernal. Dans la pénombre, Yang décrit comment l'année écoulée lui a semblé : « C'est un peu comme conduire sur une route avec une chaîne de montagnes enneigées qui s'étend devant vous. On ne sait pas ce qu'il y a à l'intérieur. On continue simplement à avancer, pas à pas. »
Voici l'intégralité de l'entretien avec Yang Zhilin. (Pour des raisons de lisibilité, l'auteur a apporté quelques modifications textuelles.)
Cette photo a été prise début 2024 dans le premier bureau de Kimi à Pékin. Ils ont maintenant quitté ces lieux. Aucun logo ne bordait l'entrée — seulement un piano blanc se tenait silencieusement près de la porte.
**
Partie 1
Se tenir au commencement
« Il faut surfer sur la vague »
**
Zhang Xiaojun : Comment allez-vous ces derniers temps ?
Yang Zhilin : Occupé — il y a beaucoup de choses. Mais je suis toujours enthousiaste. Nous nous tenons au tout début d'une industrie, et il y a une immense marge d'imagination.
Zhang Xiaojun : Quand je suis entré tout à l'heure, j'ai vu un piano blanc pur à l'entrée de votre entreprise.
Yang Zhilin : Il y a aussi un album de Pink Floyd posé dessus. Je n'ai aucune idée de qui les a mis là — je les ai remarqués soudainement il y a quelques jours et je n'ai pas eu l'occasion de demander. (Pink Floyd est le groupe de rock britannique qui a sorti l'album The Dark Side of the Moon.)
Zhang Xiaojun : Le jour de la sortie de ChatGPT en novembre 2022, que faisiez-vous ?
Yang Zhilin : Je me préparais déjà à cela — recruter des gens, constituer une équipe, échanger de nouvelles idées. Voir ChatGPT était enthousiasmant. Trois à cinq ans plus tôt — même en 2021 — c'était inconcevable. Ce type de raisonnement d'ordre supérieur était très difficile à atteindre.
J'ai senti que de nombreuses variables étaient sur le point de bouger sur le marché : le capital d'un côté, les talents de l'autre — les facteurs de production essentiels de l'IA. Si ces variables se mettaient en place, il deviendrait possible de construire une véritable entreprise pour faire cela — une organisation conçue pour l'AGI pourrait passer de 0 à 1. Ce fut une révélation majeure. Une entreprise indépendante avait plus de sens, mais ce n'était pas quelque chose que l'on pouvait faire dès qu'on le voulait ; ChatGPT a secoué les variables et a rassemblé les facteurs de production. Il faut surfer sur la vague.
Zhang Xiaojun : Après avoir décidé de fonder une entreprise d'AGI, quelles préparations avez-vous faites ? Comment avez-vous assemblé les deux facteurs de production — le capital et les talents ?
Yang Zhilin : Ce fut un processus sinueux. ChatGPT a mis du temps à se diffuser. Certaines personnes l'ont découvert tôt, d'autres tard ; certains ont d'abord douté, puis ont été choqués, puis sont devenus croyants. Trouver des personnes et trouver de l'argent étaient étroitement liés au timing.
Nous avons commencé à nous concentrer sur notre premier tour de financement en février 2023. Si nous avions attendu avril, nous n'aurions pratiquement eu aucune chance. Mais le faire en décembre 2022 ou janvier 2023 n'aurait pas fonctionné non plus — la pandémie était encore là, et les gens ne l'avaient pas encore digéré. La véritable fenêtre n'était donc qu'un mois.
Un soir aux États-Unis, j'ai fait un calcul précis. Quand j'ai fini, j'ai conclu que nous devions lever au moins 100 millions de dollars en quelques mois. Beaucoup sur le marché n'avaient pas encore commencé à lever des fonds, et beaucoup ne croyaient pas que l'on puisse forcément lever cette somme. Mais il s'est avéré que c'était possible — voire plus.
Le marché des talents a commencé à bouger aussi. Inspirées par ChatGPT, de nombreuses personnes ont eu cette prise de conscience en mars ou avril 2023 : c'est la seule chose qui vaille la peine d'être faite dans la décennie à venir. Il faut tendre la main aux bonnes personnes au bon moment. Un an ou deux plus tôt, les talents ne se seraient pas regroupés à ce point. À l'époque, plus de gens faisaient de l'IA traditionnelle ou des activités connexes — rien n'était de l'IA à usage général.
Zhang Xiaojun : Pour résumer : février était la fenêtre pour lever des fonds, et mars-avril la fenêtre pour embaucher ?
Yang Zhilin : À peu près.
Zhang Xiaojun : Ce soir-là aux États-Unis — où étiez-vous quand vous avez fait ce calcul ? Comment avez-vous calculé exactement ?
Yang Zhilin : De fin 2022 à début 2023, j'ai passé un mois ou deux aux États-Unis, à parler aux gens. Je l'ai fait là où je vivais. On calcule de combien de FLOPs on a besoin, le coût d'entraînement, l'inférence, et le nombre d'utilisateurs.
Zhang Xiaojun : À ce moment-là, quel était l'état d'esprit dominant dans la Silicon Valley ?
Yang Zhilin : Le produit a commencé à attirer de nombreux utilisateurs précoces, concentrés dans le cercle tech. Nous étions nous-mêmes dans ce cercle, donc nous le ressentions plus vivement. Dans les grandes entreprises de la Silicon Valley, les gens doivent rédiger des évaluations de performance tous les six mois, et beaucoup ont commencé à les rédiger avec ChatGPT. Certaines personnes dont l'écriture n'était généralement pas très professionnelle ont rendu des évaluations écrites avec ChatGPT, et tout le monde avait l'air très sérieux.
Des courants souterrains agitaient les choses. Beaucoup de gens pensaient à leur prochain emploi ou à créer une entreprise. Pas mal d'amis qui ont parlé avec nous ont ensuite fondé des startups. Et il y avait une intense FOMO — la peur de manquer quelque chose. Personne ne pouvait dormir. Que ce soit minuit, 1h du matin ou 2h du matin, si on contactait quelqu'un, il était toujours là. Un peu anxieux, un peu de FOMO, et très excité.
Zhang Xiaojun : Le soir où vous avez calculé que vous deviez lever 100 millions de dollars — jusqu'à quelle heure êtes-vous resté éveillé ?
Yang Zhilin : Ça allait — le calcul lui-même n'a pas pris longtemps. Mais après, je ne pouvais pas en parler à trop de gens. Si je l'avais fait, personne n'aurait cru que c'était possible.
Partie 2
Lignée technique
« Se libérer du polissage sans fin »
Zhang Xiaojun : Quand le monde du capital-risque parle de vous, ils disent : « Le fondateur est brillant, a du charisme technique, et l'équipe est pleine de stars techniques. » Donc avant d'aborder votre entreprise de modèles fondamentaux, j'aimerais commencer par votre parcours académique. Vous avez étudié l'informatique à Tsinghua en licence et obtenu votre doctorat à l'École d'informatique de Carnegie Mellon. L'IA a-t-elle toujours été votre centre d'intérêt ?
Yang Zhilin : Je suis né en 1992 et j'ai commencé ma licence en 2011. De ma deuxième année à aujourd'hui — plus d'une décennie — je suis dans ce domaine. Au début, j'explorais de manière plus divergente, en regardant un peu partout ; j'ai fait quelques travaux liés aux graphes et à la multimodalité. En 2017, je me suis concentré sur les modèles de langage. À l'époque, je pensais que les modèles de langage étaient un problème relativement important ; plus tard, j'en suis venu à penser que c'était le seul problème important.
Zhang Xiaojun : En 2017, comment l'industrie de l'IA comprenait-elle généralement les modèles de langage, et comment cette compréhension a-t-elle évolué ?
Yang Zhilin : À l'époque, c'était un modèle utilisé pour classer les résultats de la reconnaissance vocale. (Rires.) Après qu'un segment de parole a été reconnu, on obtenait de nombreux résultats candidats, et on utilisait le modèle de langage pour voir lequel avait la probabilité la plus élevée et générer le plus probable. Ses applications étaient très limitées.
Mais on finit par réaliser que c'est un problème fondamental, car on modélise les probabilités du monde. Le langage est limité, mais c'est une projection du monde ; en théorie, si on rend l'espace des tokens — l'espace de tous les tokens possibles — suffisamment grand, on peut construire un modèle du monde général. Comment tout ce qui existe dans le monde apparaît et se développe peut se voir attribuer une probabilité. Chaque problème peut être réduit à la manière d'estimer les probabilités.
Zhang Xiaojun : Vos mentors académiques sont très éminents : vos directeurs de thèse étaient Ruslan Salakhutdinov, responsable de l'IA chez Apple, et William W. Cohen, scientifique en chef de Google AI. Tous deux chevauchent industrie et académie.
Yang Zhilin : Les années précédentes, industrie et académie étaient plus étroitement liées, mais la tendance est maintenant en train de changer : les percées les plus précieuses se produiront dans l'industrie. C'est une loi inévitable du développement. Cela commence par une recherche exploratoire et se déplace progressivement vers un processus d'industrialisation plus mature. Cela ne signifie pas que la recherche est inutile pendant l'industrialisation — seulement que la recherche pure aura du mal à produire des percées précieuses.
Zhang Xiaojun : Qu'avez-vous appris de ces mentors renommés ?
Yang Zhilin : Ce que j'ai le plus appris, c'est chez Google, où j'ai fait un long stage. J'ai commencé à travailler sur les modèles de langage basés sur Transformer fin 2018. Mon plus grand apprentissage a été de me libérer du polissage sans fin — le raffinement obsessionnel des détails de surface. Cela a été crucial.
Il faut regarder quelle est la grande direction, le grand gradient. Quand dix routes s'offrent à vous, la personne moyenne s'inquiète de savoir comment freiner pour un piéton sur cette route-ci — les détails à court terme. Mais laquelle des dix routes prendre est ce qui importe le plus.
Ce domaine avait exactement ce problème auparavant. Par exemple, sur un ensemble de données d'un ou deux millions de tokens seulement, on cherchait comment faire baisser la perplexité, comment faire baisser la perte, comment améliorer la précision — et on tombait dans un polissage sans fin. Les gens ont inventé de nombreuses architectures bizarres ; c'étaient des astuces de polissage. Après polissage, on pouvait faire mieux sur ce type d'ensemble de données, mais on passait à côté de l'essence du problème.
L'essence est d'analyser ce qui manque au domaine. Quel est le premier principe ? Pourquoi la loi d'échelle peut-elle servir de premier principe ? Il suffit de trouver une structure qui satisfait deux conditions : premièrement, elle est suffisamment générale ; deuxièmement, elle est évolutive. Générale signifie qu'on peut modéliser tous les problèmes dans ce cadre ; évolutive signifie que tant qu'on y injecte assez de calcul, elle continue de s'améliorer.
C'est la réflexion que j'ai apprise chez Google : si quelque chose peut être expliqué par quelque chose de plus fondamental, il ne faut pas trop polir les couches supérieures. Il y a une ligne importante avec laquelle je suis fortement d'accord : si on peut résoudre un problème avec l'échelle, ne pas le résoudre avec un nouvel algorithme. La plus grande valeur d'un nouvel algorithme est dans la manière dont il permet de mieux passer à l'échelle. Quand on se libère du polissage, on voit beaucoup plus loin.
Zhang Xiaojun : Google était-il aussi un adepte de la loi d'échelle à l'époque ? Comment mettait-il en œuvre la pensée par premiers principes ?
Yang Zhilin : Beaucoup de ces idées existaient déjà là-bas, mais Google ne les a pas mises en œuvre particulièrement bien. Il avait cette façon de penser, mais il ne pouvait pas s'organiser en un véritable moonshot. C'était plutôt : voici cinq personnes qui poursuivent mes premiers principes, et là-bas cinq personnes qui poursuivent les leurs. Il n'y avait rien de descendant.
Zhang Xiaojun : Pendant votre doctorat, vous avez publié des articles en collaboration avec les lauréats du prix Turing Yann LeCun et Yoshua Bengio — et vous étiez premier auteur sur ces articles. Comment ces collaborations sont-elles nées ? Ce que je veux dire, c'est : ce sont des lauréats du prix Turing et ils n'étaient pas vos directeurs — sur quoi vous êtes-vous appuyé pour les attirer ?
Yang Zhilin : Le monde académique est très ouvert. Tant qu'on a une bonne idée et un problème significatif, c'est bon. Ce que deux cerveaux — ou n cerveaux — produisent est plus qu'un seul cerveau. Cela s'applique aussi au développement de l'AGI. Une stratégie importante en IA s'appelle l'« ensembling » — utiliser plusieurs modèles ou méthodes différents et combiner leurs prédictions pour de meilleures performances. C'est essentiellement la même chose : quand on a des points de vue diversifiés, on peut susciter beaucoup de nouvelles choses. La collaboration est extrêmement bénéfique.
Zhang Xiaojun : Aviez-vous d'abord une idée, puis leur demandiez-vous s'ils étaient intéressés ?
Yang Zhilin : C'est à peu près comme ça que ça se passait.
Zhang Xiaojun : Qu'est-ce qui est le plus difficile : convaincre des poids lourds académiques dans la recherche, ou convaincre des poids lourds du capital dans la levée de fonds ? Quelles sont les similitudes ?
Yang Zhilin : « Convaincre » n'est pas un bon terme — l'essence derrière tout cela est la coopération. La coopération signifie que les deux parties gagnent, car le bénéfice mutuel est la condition préalable à la coopération. Donc il n'y a vraiment pas de différence : il faut offrir aux autres une valeur unique.
Zhang Xiaojun : Comment gagnez-vous leur confiance ? Selon vous, quel est votre don ?
Yang Zhilin : Il n'y a pas de don particulier — juste travailler dur.
Partie 3
L'ancien système ne fonctionne plus
« L'AGI a besoin d'un nouveau type d'organisation »
**
Zhang Xiaojun : Vous venez de dire « les percées les plus précieuses se produiront dans l'industrie » — cela inclut-il les startups et les laboratoires d'IA des géants ?
Yang Zhilin : Les laboratoires appartiennent au passé. Google Brain était autrefois le plus grand laboratoire d'IA dans l'industrie, mais c'était une organisation de recherche intégrée dans une grande entreprise. Ce type d'organisation peut explorer de nouvelles idées, mais il lui est très difficile de produire un grand système — elle pourrait produire le Transformer, mais elle ne pouvait pas produire ChatGPT.
La façon dont le développement évolue maintenant est que l'on construit un système immense, qui nécessite de nouveaux algorithmes, une ingénierie solide, et même beaucoup de travail produit et de commercialisation. C'est comme au début des années 2000 : on ne pouvait pas faire de la recherche en recherche d'information dans un laboratoire ; il fallait que cela vive dans le monde réel, comme un système immense, un produit avec des utilisateurs — comme Google. Donc les systèmes de recherche et d'éducation vont déplacer leur fonction vers la formation de talents principalement.
Zhang Xiaojun : Comment décririez-vous cette nouvelle forme de système ? OpenAI en est-il le prototype ?
Yang Zhilin : C'est l'organisation la plus mature de ce type aujourd'hui, et elle est encore en train d'évoluer progressivement.
Zhang Xiaojun : On peut donc la comprendre comme une organisation établie pour les grands objectifs scientifiques de l'humanité ?
Yang Zhilin : Je veux souligner : ce n'est pas de la science pure — c'est une combinaison de science, d'ingénierie et de business. Cela doit être une organisation commerciale, une entreprise, pas un institut de recherche. Mais cette entreprise est construite de zéro à un, car l'AGI a besoin d'un nouveau type d'organisation. D'abord, le mode de production diffère de l'ère d'Internet ; ensuite, il passe de la recherche pure à une combinaison de recherche, d'ingénierie, de produit et de business.
À son cœur, cela devrait être un programme moonshot, avec une grande dose de planification descendante — mais à l'intérieur de cette planification, il y a une place pour l'innovation, car toute la technologie n'est pas prédéterminée. Des éléments ascendants existent dans un cadre descendant. Une telle organisation n'existait pas auparavant, mais l'organisation doit s'adapter à la technologie, car la technologie détermine le mode de production ; s'ils ne correspondent pas, on ne peut pas produire efficacement. Nous croyons qu'il y a de très fortes chances qu'elle doive être repensée de zéro.
Zhang Xiaojun : Lors du coup d'État au conseil d'administration d'OpenAI l'année dernière, une option pour Sam Altman était de rejoindre Microsoft et de diriger une nouvelle équipe Microsoft AI. Quelle est la différence essentielle entre cela et être PDG d'OpenAI ?
Yang Zhilin : Il faudrait faire croître une nouvelle organisation à l'intérieur d'une ancienne culture — et c'est extrêmement difficile.
Zhang Xiaojun : Vous voulez construire « l'OpenAI chinoise » — peut-on le dire ainsi ?
Yang Zhilin : Pas tout à fait exact. Nous ne voulons être l'équivalent chinois de quoi que ce soit, et nous ne voulons pas nécessairement être OpenAI.
D'abord, une véritable AGI sera définitivement mondiale. Il n'existe pas — du moins pas à long terme — d'entreprise d'AGI confinée à un marché régional en raison de mécanismes de protection du marché. La mondialisation, l'AGI et le fait d'avoir un produit avec une très large base d'utilisateurs : ces trois conditions sont finalement nécessaires.
Ensuite, doit-elle être OpenAI ? Si on regarde 2017-2018, OpenAI avait une très mauvaise réputation. Quand les gens de notre cercle cherchaient un emploi, ils considéraient généralement des endroits comme Google. Beaucoup de gens qui ont parlé avec Ilya Sutskever, le scientifique en chef d'OpenAI, sont ressortis en pensant que cet homme était fou et beaucoup trop sûr de lui — OpenAI était soit des fous, soit des arnaqueurs. Mais ils se sont engagés très tôt, ont trouvé le non-consensus, et ont trouvé ce qui est aujourd'hui le seul premier principe qui fonctionne en IA : le passage à l'échelle via la prédiction du prochain token.
Je crois qu'il y aura une entreprise plus grande qu'OpenAI. Une entreprise vraiment grande peut combiner l'idéalisme technologique avec un grand produit, en co-créant avec ses utilisateurs — l'AGI sera finalement quelque chose produit par le travail conjoint avec tous ses utilisateurs. Donc ce n'est pas seulement une question de technologie ; cela nécessite aussi du pragmatisme et des poursuites dans le monde réel — finalement, une combinaison parfaite des deux.
Néanmoins, nous devons apprendre de l'idéalisme technologique d'OpenAI. Si tout le monde pense que vous êtes normal — si votre rêve est un rêve que n'importe qui pourrait avoir — cela n'ajoute rien à la somme totale des rêves de l'humanité.
Partie 4
Le premier pas du moonshot est « long contexte » — quel est le second ?
« Deux grandes étapes arrivent ensuite »
**
Zhang Xiaojun : Retour au moment où vous avez décidé de créer l'entreprise — avez-vous lancé le premier tour de financement immédiatement après votre retour en Chine ?
Yang Zhilin : Cela a commencé aux États-Unis en février (de l'année dernière), en partie à distance. Au final, les investisseurs nationaux ont constitué la majorité.
Zhang Xiaojun : Le premier tour a-t-il permis de lever 100 millions de dollars ?
Yang Zhilin : Le premier tour n'était pas autant ; les tours suivants ont dépassé ce chiffre. Nous avons bouclé deux tours en 2023, totalisant près de 2 milliards de RMB.
C'est maintenant le troisième tour. Nous n'avons pas officiellement annoncé le financement, donc je ne peux pas commenter pour l'instant.
Zhang Xiaojun : Certains disent que depuis la seconde moitié de 2023, personne ne veut plus investir dans les entreprises de modèles fondamentaux. Ont-ils tort ?
Yang Zhilin : Il y en a encore. On peut effectivement voir le changement de sentiment, mais ce n'est pas que personne n'investit — au moins pour l'instant, il y a pas mal d'intérêt d'investissement sur le marché.
Zhang Xiaojun : Outre le capital et les personnes, quelles autres décisions clés avez-vous prises en 2023 ?
Yang Zhilin : Décider quoi faire. C'est l'avantage d'entreprises comme la nôtre — avoir une vision technique pour les décisions au plus haut niveau.
Nous faisons du long contexte. Cela nécessite un jugement sur l'avenir : il faut savoir ce qui est fondamental et où les choses se dirigent ensuite. Encore une fois, ce sont les premiers principes — le processus de « dépolissage ». Si on se concentre sur le polissage, on ne peut que regarder ce qu'OpenAI a déjà fait et trouver comment le reproduire.
On découvre que faire de la compression de longs textes sans perte dans Kimi donne au produit une expérience unique. Quand vous lisez des articles en anglais, cela vous aide à les comprendre remarquablement bien. En utilisant Claude ou GPT-4 aujourd'hui, vous n'obtiendrez pas forcément un aussi bon résultat ; cela nécessitait de préparer le terrain à l'avance. Nous y avons travaillé pendant plus de six mois. C'est très différent de repérer une tendance du long contexte aujourd'hui, de rassembler à la hâte deux équipes et de la développer à vitesse maximale.
Bien sûr, le marathon ne fait que commencer ; davantage de différenciation viendra, et cela nécessite que vous anticipiez ce qui constitue « un non-consensus qui se vérifie ».
Zhang Xiaojun : En quel mois cette décision a-t-elle été prise ?
Yang Zhilin : Février ou mars — elle a été prise dès la fondation de l'entreprise.
Zhang Xiaojun : Pourquoi le long contexte est-il la première étape de la moonshot ?
Yang Zhilin : Parce que c'est fondamental. C'est la mémoire du nouvel ordinateur.
La mémoire de l'ancien ordinateur a augmenté de plusieurs ordres de grandeur au cours des dernières décennies, et la même chose se produira avec le nouvel ordinateur. Cela peut résoudre de nombreux problèmes actuels. Par exemple, les architectures multimodales actuelles ont encore besoin d'un tokenizer, mais avec un long contexte compressé sans perte, vous n'en avez pas besoin — vous pouvez mettre directement l'entrée brute. Plus loin, c'est le fondement pour rendre le nouveau paradigme informatique plus général.
L'ancien ordinateur pouvait tout représenter avec des 0 et des 1 ; tout pouvait être numérisé. Mais le nouvel ordinateur d'aujourd'hui ne le peut pas encore — il n'y a pas assez de contexte, donc il n'est pas si général. Pour devenir un modèle du monde général, vous avez besoin d'un long contexte.
Deuxièmement, cela permet la personnalisation. La valeur fondamentale de l'IA est l'interaction personnalisée ; la valeur aboutit finalement à la personnalisation, et l'AGI sera plus personnalisée que la génération précédente de moteurs de recommandation.
Mais la personnalisation ne s'obtient pas par le fine-tuning — elle s'obtient en supportant un très long contexte. Toute votre historique avec la machine est un contexte, et ce contexte définit le processus de personnalisation. Il ne peut pas être reproduit, et il permet un dialogue plus direct — un dialogue qui génère de l'information.
Zhang Xiaojun : Quelle marge y a-t-il pour étendre cela ?
Yang Zhilin : Énorme. D'un côté, l'expansion de la fenêtre elle-même a encore un long chemin à parcourir — plusieurs ordres de grandeur.
D'un autre côté, vous ne pouvez pas seulement étendre la fenêtre, et vous ne pouvez pas simplement regarder le nombre ; que la fenêtre soit de quelques millions de tokens ou de plusieurs milliards aujourd'hui est insignifiant en soi. Vous devez regarder la capacité de raisonnement qu'elle permet dans cette fenêtre, la fidélité — la fidélité à l'information originale — et la capacité à suivre les instructions. Vous ne devriez pas courir après un seul indicateur ; vous devez combiner les indicateurs avec les capacités.
Si ces deux dimensions continuent de s'améliorer, vous pouvez faire beaucoup. Il pourrait suivre une instruction de dizaines de milliers de mots, et l'instruction elle-même pourrait définir de nombreux agents — hautement personnalisés.
Zhang Xiaojun : Les technologies derrière le long contexte et le rattrapage de GPT-4 sont-elles réutilisables l'une pour l'autre ? Sont-elles la même chose ?
Yang Zhilin : Je ne pense pas. Il s'agit plutôt d'ajouter une nouvelle dimension — une dimension que GPT-4 n'a pas.
Zhang Xiaojun : Beaucoup de gens disent que les principales entreprises chinoises de modèles fondamentaux font toutes à peu près la même chose — rattraper GPT-3.5 en 2023, rattraper GPT-4 en 2024. Êtes-vous d'accord ?
Yang Zhilin : L'amélioration des capacités générales a certainement des jalons clés, donc cette affirmation est vraie dans une certaine mesure — en tant que retardataire, vous passez inévitablement par un processus de rattrapage. Mais elle est aussi partiale. Au-delà des capacités générales, il y a beaucoup d'espace pour développer des capacités distinctives et atteindre l'état de l'art dans certaines directions. Le long contexte en est un. La génération d'images de DALL-E 3 est complètement dépassée par Midjourney V6. Vous devez donc travailler sur les deux fronts.
Zhang Xiaojun : Quelle proportion de temps et de ressources est consacrée aux capacités générales par rapport aux nouvelles dimensions ?
Yang Zhilin : Elles doivent être combinées. Une nouvelle dimension ne peut exister en dehors des capacités générales, donc il est difficile de donner un ratio direct. Mais un investissement suffisant est nécessaire pour bien réaliser la nouvelle dimension.
Zhang Xiaojun : Toutes ces nouvelles dimensions seront-elles portées par Kimi ?
Yang Zhilin : Kimi est certainement un produit très important pour nous, et nous aurons aussi quelques autres tentatives.
Zhang Xiaojun : Que pensez-vous du commentaire de Li Guangmi, fondateur de Shixiang, selon lequel la distinctivité technologique des entreprises chinoises de modèles fondamentaux n'est pas encore très élevée aujourd'hui ?
Yang Zhilin : Je pense que c'est bien — nous avons déjà produit pas mal de différenciation aujourd'hui. C'est une question de temps ; cette année, vous devriez voir plus de dimensions. L'année dernière, tout le monde mettait juste en place l'échafaudage et faisait fonctionner les choses d'abord.
Zhang Xiaojun : Si la première étape de la moonshot est le long contexte, quelle est la seconde ?
Yang Zhilin : Il y aura deux grandes étapes à venir. D'abord, un modèle du monde véritablement unifié — qui unifie toutes les différentes modalités, une architecture vraiment évolutive et générale.
Deuxièmement, permettre à l'IA de continuer à évoluer sans apport de données humaines.
Zhang Xiaojun : Combien de temps faudra-t-il pour atteindre ces deux étapes ?
Yang Zhilin : Deux à trois ans — peut-être plus vite.
Zhang Xiaojun : Donc dans trois ans, nous regarderons déjà un monde complètement différent de celui d'aujourd'hui.
Yang Zhilin : Au rythme actuel du développement, oui. La technologie est maintenant dans une phase naissante et en croissance rapide.
Zhang Xiaojun : Pouvez-vous imaginer ce qui existera dans trois ans ?
Yang Zhilin : Il y aura un certain degré d'AGI. Beaucoup de choses que nous faisons aujourd'hui, l'IA pourra aussi les faire — même mieux que nous. Mais la clé est la façon dont nous l'utilisons.
Zhang Xiaojun : Et pour vous — pour Moonshot AI en tant qu'entreprise — quelle est la deuxième étape ?
Yang Zhilin : Nous allons faire ces deux choses. Tous les problèmes restants sont dérivés de ces deux facteurs. Le raisonnement et les agents dont on parle aujourd'hui sont des sous-produits de la résolution de ces deux problèmes. Un travail supplémentaire est nécessaire, mais il n'y a pas d'obstacle fondamental.
Zhang Xiaojun : Allez-vous vous concentrer entièrement sur le rattrapage de GPT-4 ?
Yang Zhilin : GPT-4 est une étape nécessaire sur la route de l'AGI. La clé est de ne pas se contenter de simplement égaler GPT-4. D'abord, vous devez demander quel est le véritable non-consensus maintenant : au-delà de GPT-4, quelle est la prochaine étape ? À quoi devraient ressembler GPT-5 et GPT-6 ? Ensuite, vous devez voir quelles capacités distinctives vous avez dans ce cadre — et c'est ce qui importe le plus.
Zhang Xiaojun : D'autres entreprises de modèles fondamentaux publient leurs
