Vous voulez faire de la recherche en IA ? Il est vrai que personne ne vous apprend vraiment comment faire. Pas directement, en tout cas. Mais il s'avère que la manière de démarrer est assez simple : une combinaison de (i) lecture et (ii) construction. Vous ne pouvez pas faire l'un sans l'autre. On devient chercheur par cette combinaison.
Il se trouve que le processus pour devenir un grand chercheur n'est pas si différent de l'apprentissage de la méditation :
I.
Il y a un vieux dicton zen qui dit à peu près ceci :
*Les jours où nous trouvons l'illumination, nous nous asseyons. Les jours où nous ne trouvons pas l'illumination, nous nous asseyons.*
Faire de la recherche, c'est fondamentalement comme ça. Les découvertes scientifiques peuvent survenir apparemment au hasard. La plupart des jours, elles ne viendront pas. Un trait important pour réussir est simplement d'investir du temps et des efforts. Comme toute autre activité (musique, sport, vente, etc.), si vous voulez devenir un expert mondial, cela demandera une énorme discipline.
Noam Shazeer fait un clin d'œil à l'aléatoire inhérent des idées de recherche fructueuses dans l'article SwiGLU :
« Nous n'offrons aucune explication quant à la raison pour laquelle ces architectures semblent fonctionner ; nous attribuons leur succès, comme tout le reste, à la bienveillance divine. »
Un commentaire connexe est qu'il est possible de lire trop d'articles. Si vous voulez résoudre un problème, la voie éprouvée vers le succès est de tenter une solution, de l'essayer, d'atteindre un goulot d'étranglement, d'essayer de le résoudre, et de ne consulter la littérature que lorsque vous êtes à court d'idées vous-même.
II.
D'accord, mais sur quoi devrais-je travailler ?
Si vous débutez, voici ma réponse honnête : je ne pense pas que le sujet exact ait beaucoup d'importance.
Cela dit, je vous mettrais en garde contre le choix de sujets qui sont populaires depuis moins de six mois. L'IA évolue vite, mais les idées fondamentales n'ont pas changé depuis quarante ans. Si vous voulez en faire une carrière, je ne vous conseillerais pas de trop réfléchir aux concepts de 2026 : harnais, agents, ingénierie de contexte, etc. Ceux-ci changeront.
Au lieu de cela, vous apprendrez davantage en revenant aux bases : apprenez ce qu'est l'entropie croisée. Calculez-la à la main pour une petite distribution. Comprenez profondément la SVD, au point de pouvoir la visualiser dans votre tête. Ne pensez pas trop à l'apprentissage par renforcement spécifiquement pour le codage, mais apprenez plutôt les idées derrière les gradients de politique, pourquoi ils sont utiles et pourquoi ils sont populaires depuis des décennies.
Un autre commentaire : si le meilleur résultat possible de votre projet de recherche est un score plus élevé sur un benchmark existant, vous n'allez pas assez loin. Souvent, les ensembles de données existants ne testeront pas de nouvelles capacités intéressantes.
Jason Wei fait un point similaire :
Une compétence sous-estimée mais parfois cruciale dans la recherche en IA (qui n'existait pas vraiment il y a dix ans) est la capacité à trouver un ensemble de données qui mette réellement en pratique une nouvelle méthode sur laquelle vous travaillez.
Quant à une suggestion concrète, je ne peux pas en faire une ; elle doit vous venir. Allez en profondeur, concentrez-vous sur les bases et ne courez pas après les benchmarks. Restez dans l'eau et les idées viendront.
III.
Dans l'esprit du débutant, il y a de nombreuses possibilités ; dans celui de l'expert, il y en a peu – Suzuki
Une chose souvent répétée dans la Silicon Valley ces jours-ci est que l'expérience en recherche en IA pourrait en fait être contre-productive pour une bonne intuition de recherche à l'époque moderne. J'ai observé certains aspects de près ; de nombreux chercheurs de l'ère pré-scaling restent intéressés par la conception de méthodes qui fonctionnent à petite échelle mais échoueront manifestement lorsqu'elles seront testées à grande échelle.
Une chose vraiment impressionnante à propos d'OpenAI est que la plupart des personnes qui dirigent l'entreprise (du côté technique, du moins) ont moins de 35 ans. De nombreux décideurs importants derrière ChatGPT ont moins de 30 ans. Une chose que nous pouvons en retenir est que, puisque l'IA est un domaine si récent (ChatGPT a moins de quatre ans !), personne n'a un énorme avantage, car personne ne travaille dessus depuis très longtemps.
En bref, s'accrocher trop longtemps à des idées peut en fait être contre-productif. Pratiquez l'esprit du débutant. Restez ouvert et refusez de laisser votre ego obscurcir votre jugement.
IV.
L'inspiration frappe quand vous vous y attendez le moins.
Voici deux exemples historiques :
- La découverte de la structure du cycle benzénique est venue célèbrement dans un rêve : la structure n'avait jamais été vue auparavant, mais était imaginée comme un serpent se mordant la queue.
- L'Ozempic vient essentiellement des lézards. L'hormone GLP-1 qu'il imite a été découverte pour la première fois dans le venin du monstre de Gila, un lézard du désert qui ne mange que quelques fois par an. D'une manière ou d'une autre, nous avons compris comment faire fonctionner cela pour les humains aussi.
Un point important à retenir est que pour faire de la bonne recherche, vous devez faire autre chose que de la recherche. La plupart de mes moments "eureka" personnels sont survenus loin du clavier, surtout lors de promenades.
Darwin, Tesla, Feynman, Aristote. De nombreux grands penseurs de l'histoire ont proclamé les avantages démesurés de se dégourdir les jambes et de se promener un peu. Même si vous ne faites pas de recherche, vous devriez probablement faire plus de promenades.
V.
Même lorsque l'inspiration frappe, la nature peut ne pas être bienveillante : même avec une implémentation parfaite, notre idée pourrait tout simplement ne pas être vraie dans un sens fondamental. Ou peut-être l'était-elle, ou semble-t-elle l'être. Lorsque les résultats arrivent, comment devrions-nous réagir ?
Un autre principe que nous pouvons emprunter au zen est l'équanimité (expérimentale).
Lors de l'analyse d'une expérience :
Ça s'est bien passé ? Super !
Ça s'est mal passé ? Super aussi !
Les deux résultats vous apportent la même quantité d'informations. En fait, il est souvent possible d'apprendre plus d'une série de résultats négatifs que d'un seul résultat positif. "Wow, ça ne marche toujours pas – incroyable !" Voilà une attitude saine pour la recherche.
L'inverse est que vous ne devriez pas vous enthousiasmer autant pour les bons résultats. En fait, la plupart des bons résultats viennent à cause d'un bug ; ce n'est pas que les résultats eux-mêmes étaient bons, c'est que vous avez mal mesuré et vous êtes convaincu. Tout le monde veut que ses idées fonctionnent – et c'est une bonne chose ! – mais une chose que tous les chercheurs expérimentés partagent est un scepticisme extrême, surtout face à des résultats qui semblent trop beaux pour être vrais. Malheureusement, ils le sont presque toujours.
VI.
Une fleur ne pense pas à rivaliser avec la fleur à côté d'elle. Elle s'épanouit tout simplement.
La recherche est extrêmement axée sur les résultats. Surtout dans le milieu universitaire, il est facile de regarder les succès des autres sur le papier et de se laisser aller aux émotions.
Les gens réussissent pour différentes raisons. Certains ont de la chance. Le processus de révision académique, en particulier, n'est ni cohérent ni équitable. Lorsque de nouvelles recherches paraissent dans votre domaine et que vous les admirez, posez-vous la question suivante :
Est-ce que j'opère au niveau de profondeur approprié pour avoir fait cette découverte moi-même ?
Maintenant, il y a deux résultats possibles. Si la réponse est oui – super. Votre processus est solide, mais vous n'avez pas fait cette découverte ; vous étiez occupé, vous faisiez autre chose, mais vous auriez pu.
Et si la réponse est non – alors prenez cela comme une motivation pour aller plus loin.
VII.
Avant l'illumination, couper du bois, porter de l'eau. Après l'illumination, couper du bois, porter de l'eau.
De nombreux projets réussis impliquent généralement des centaines d'heures de travail ingrat en coulisses. Andrej Karpathy a étiqueté une partie non négligeable d'ImageNet à la main. Les créateurs de SWEBench, qui étaient en avance sur leur temps à bien des égards, ont passé des centaines d'heures à filtrer minutieusement les données GitHub pour obtenir un petit ensemble de problèmes GitHub utilisables pour l'évaluation.
Si vous regardez la carrière des grands chercheurs, il est probable qu'ils ont passé beaucoup de temps à travailler dans l'ombre avant de connaître le succès. Habituez-vous à cela. Plus une idée est ambitieuse et avant-gardiste, plus il peut falloir de travail pour l'implémenter et l'évaluer en profondeur. Cette difficulté est une caractéristique, pas un défaut.
VIII.
Collin Raffel, un chercheur incroyable que je respecte profondément, a mentionné un jour qu'il pense que beaucoup d'idées échouent non pas parce qu'elles sont mauvaises, mais parce que le code contient un bug que le chercheur n'a jamais trouvé.
En général, c'est un problème vraiment difficile, surtout dans le monde des LLM. Une pile logicielle moderne d'apprentissage profond est extrêmement complexe, et les bugs peuvent se trouver n'importe où : dans l'entraînement, dans l'inférence, dans les harnais, dans les données.
Si quelque chose semble anormal, vous ne pouvez pas passer à autre chose. Vous pouvez et devez enregistrer de nombreuses métriques et vous efforcer de toutes les comprendre. Si certaines métriques semblent différentes de ce à quoi vous vous attendiez, vous devez comprendre pourquoi, car quelque chose peut clocher. J'ai déjà tweeté que l'un des traits les plus importants chez un chercheur est une paranoïa saine. Soyez paranoïaque !
IX.
Un point pratique est que la plupart des expériences impliquant l'apprentissage profond prennent trop de temps. L'entraînement des modèles peut prendre des semaines ou des mois. De nos jours, évaluer un modèle sur une seule tâche peut prendre plusieurs jours.
Surtout lorsqu'on code avec des agents, notre instinct peut être de lancer de nombreuses expériences en parallèle et de les laisser toutes s'exécuter à un rythme lent. Bien que la parallélisation simple aide dans une certaine mesure, le changement de contexte est un modèle nuisible.
Il est d'une importance capitale de concevoir des flux de travail de recherche ergonomiques qui permettent un retour d'expérience expérimental rapide. Réduisez les temps de démarrage à froid pour l'entraînement, créez de petites évaluations qui renvoient des résultats rapidement. J'admire vraiment le nanoGPT speedrun de Keller Jordan comme exemple de tout ce que l'on peut apprendre grâce à des cycles d'itération rapides.
(Ceci dit, en fin de compte, certains résultats prennent inévitablement beaucoup de temps. Quand vous le pouvez, maintenir l'état sur plusieurs jours et comprendre les expériences de la semaine dernière lorsqu'elles se terminent aujourd'hui est une compétence incroyablement utile.)
X.
Les agents de codage vous aident à aller plus vite, mais ils aggravent deux problèmes : nous avons plus de mal à comprendre les détails de base, et nous changeons plus souvent de contexte. Un bon chercheur travaille activement à lutter contre ces deux forces.
Codex peut écrire un script d'entraînement pour vous ; il peut même exécuter le script, le surveiller pendant son exécution, interpréter les résultats et vous les envoyer par email. Mais peut-être a-t-il rencontré une erreur et raccourci le prompt système sans vous demander. Peut-être a-t-il réduit les longueurs de séquence pour que l'évaluation se termine en un temps raisonnable. Peut-être a-t-il exécuté la mauvaise configuration parce que vous n'avez pas spécifié.
D'un point de vue ingénierie, ce sont toutes de petites erreurs faciles à corriger. Mais d'un point de vue scientifique, elles sont graves : de petites omissions comme celles-ci peuvent modifier matériellement les résultats importants des articles et ne sont donc pas acceptables. Méfiez-vous des dragons. Même si vous n'avez pas écrit le code, si vous voulez comprendre vos résultats, vous devez comprendre le système qui les a produits.
Je vais être honnête avec vous – c'est difficile ! Il est tentant de déléguer la compréhension à la machine. Pour de nombreuses applications, c'est plus rapide. Mais faire de la bonne science nécessite d'apprendre comment tout le système fonctionne, afin de pouvoir être sûr que les observations à son sujet sont vraies. Il n'y a pas de moyen simple de contourner cela.
XI.
TLDR : Le talent ne suffit pas pour devenir un chercheur à succès. Le tempérament est grandement sous-estimé. Restez curieux et persévérant, restez réfléchi et méticuleux, et les idées viendront.
