Les modèles d'IA excellent dans tout ce pour quoi vous pouvez écrire une fonction de perte, et l'école est en grande partie une série de fonctions de perte : des problèmes bien définis notés par rapport à des réponses connues. Par conséquent, le travail précieux de la prochaine décennie est tout ce qui ne peut pas être noté pendant la durée de l'entraînement du modèle.
Au cours de mes 6 années de travail, j'ai eu la chance de collaborer avec des personnes exceptionnelles issues d'entreprises de toutes tailles, de ma propre startup, à Helm AI (15→50 ETP), Scale AI (500→1500 ETP), OpenAI (1500→3000 ETP), et Google (100 000+ ETP). En tant que fondateur, je passe beaucoup de temps à réfléchir aux bonnes recrues pour le présent et l'avenir de notre entreprise. Parce que nous sommes entièrement « agent-native », nos besoins sont très différents de ceux de toutes les entreprises où j'ai travaillé auparavant.
Pour les personnes en début de carrière, motivées et ambitieuses, j'ai désormais une vision plus claire des compétences qui seront précieuses dans la décennie à venir. J'ai donné et reçu beaucoup de conseils de carrière, et bien que de nombreux adages célèbres restent vrais (quelque chose comme « monte dans la fusée, ne demande pas quel siège »), beaucoup de choses ont changé avec l'essor du codage agentique. Voici ce qui est resté vrai, ainsi que ce qui est nouveau.
1. Concentrez-vous sur les ressources vraiment limitées
Avant de rejoindre Scale, j'avais des offres de quant avec un salaire garanti bien plus élevé, mais j'ai décidé de rejoindre Scale parce que j'étais enthousiasmé par la communauté et l'exposition à tous les produits et applications de Scale. Grâce à Scale, j'ai été exposé aux fournisseurs d'inférence LLM, ce qui a conduit à mes opportunités chez DeepMind et OpenAI. J'ai aussi rencontré de nombreux autres collègues ambitieux qui forment aujourd'hui une communauté de fondateurs issus de Scale. Aujourd'hui, le réseau unique et les opportunités d'apprentissage de Scale ont bien plus contribué à ma vie que l'argent supplémentaire que j'aurais reçu en tant que quant.
L'accès au capital est bien plus facile aujourd'hui qu'auparavant. L'accès à du temps réel et à des relations solides avec d'autres humains reste rare. L'excellence avérée dans des domaines connexes passés reste le signal le plus fort, donc mon conseil concret est de passer du temps à faire du bon travail et de vous assurer que cela soit connu d'autres personnes réputées qui font elles-mêmes du bon travail. Priorisez impitoyablement votre temps afin que, quoi que vous fassiez, que ce soit à l'école, sur des projets ou des stages, vous vous concentriez sur des problèmes qui ont du sens pour vous. Avec le « vibe-coding », il est facile de trouver des opportunités qui rapportent de l'argent rapidement, mais le gain est généralement bien plus important lorsque vous cherchez une vraie valeur.
Le temps, les relations et la réputation : voilà les véritables ressources limitées sur lesquelles concentrer votre attention.
2. Apprenez à trouver des problèmes en plus de les résoudre
Pour trouver un signal dans une mer de candidats, nous avons longuement réfléchi aux compétences qui comptent aujourd'hui pour les ingénieurs travaillant dans une entreprise « agent-native ». Étant donné que personne n'écrit la moindre ligne de code manuellement, les questions traditionnelles de type Leetcode et même les questions de conception de système semblent décorrélées de la performance réelle au travail. Finalement, nous sommes arrivés à une série d'entretiens qui mesurent la capacité d'une personne à comprendre rapidement l'environnement dans lequel elle est placée, à identifier les problèmes qui valent la peine d'être résolus, puis à les résoudre dans les contraintes de l'environnement existant.
Les compétences les plus importantes seront celles liées à la sélection des problèmes et à l'allocation des ressources. Les agents toujours plus puissants sont capables de prendre en charge des problèmes complexes et bien définis, donc les personnes les plus impactantes seront celles qui excellent à identifier les problèmes importants, puis à allouer des tokens et du temps pour les résoudre.
Je vois une tendance chez les étudiants à se sentir découragés par le fait que les agents peuvent résoudre tous leurs ensembles de problèmes. Mais d'après mon expérience des entretiens, les candidats ont toujours des performances très variables en termes de temps et de tokens nécessaires pour arriver à la solution. Les bons candidats apportent généralement une intuition de haut niveau et un contexte extérieur à leur collaboration avec les agents.
Concrètement, les candidats que nous avons bien notés se sont immergés dans des environnements de résolution de problèmes, que ce soit à travers leurs propres projets passionnés ou en travaillant dans des entreprises à forte croissance où les problèmes significatifs sont plus nombreux que les personnes.
3. Travaillez sur la forme la plus ambitieuse d'un problème
Depuis une décennie, l'un des cadres mentaux les plus utiles dans la recherche est la « leçon amère » : le passage à l'échelle de méthodes générales surpasse finalement les optimisations spécifiques à une tâche. Cette leçon s'applique également au choix des problèmes et des entreprises.
Les entreprises et les carrières ont toujours eu des résultats suivant une loi de puissance, mais l'IA a accéléré le rythme des progrès vers ces résultats. Parce que créer des logiciels est désormais beaucoup plus accessible, n'importe qui peut construire des systèmes simples avec une relative facilité. Une valeur réelle et durable ne se construit qu'avec une concentration extrême sur des problèmes véritablement ambitieux.
Pour choisir une entreprise, le conseil est simple : évaluez si l'entreprise travaille sur la forme la plus ambitieuse de son problème, puis si elle a réellement une chance de le résoudre. Pour choisir un rôle, demandez-vous si ce rôle vous permettra de travailler directement sur la frontière du problème que l'entreprise résout.
4. Sprint sur le dernier kilomètre
Pour les startups, Alfred Lin a un excellent article sur la façon dont les 10% finaux représentent à la fois 90% du travail et 90% de la récompense. L'IA a polarisé les résultats car le résultat médian est ce qu'un agent peut produire avec une invite bâclée. La valeur vient donc du fait d'apporter une perspective unique sur un ensemble de problèmes ou une attention aux détails.
Apprendre à bien exécuter le dernier kilomètre nécessite à la fois de la pratique et de la concentration. Rien n'est parfait du premier coup, donc le dernier kilomètre est souvent une question d'itération. Comme les progrès avec les agents de codage ont été si rapides, il est souvent préférable de tirer les leçons des itérations précédentes et de repartir de zéro avec la génération suivante d'intelligence. Entraînez-vous avec vos propres projets. Prenez l'initiative de passer juste un peu plus de temps sur le polissage, l'architecture propre, l'évolutivité ou la créativité. J'ai clairement vu l'impact chez les candidats qui ont fait cela.
5. Augmentez à la fois le xG et l'efficacité
Au football, le xG (buts attendus) est une mesure du nombre de buts qu'une équipe est censée marquer dans un match en fonction de ses occasions, en tenant compte de la distance, des angles, de la position du gardien, etc. L'efficacité est le taux de conversion relatif sur ces occasions.
L'analogie du xG et de l'efficacité avec ma propre carrière a été assez juste. En 2023, j'ai refusé des offres d'Anthropic (~50 ETP à l'époque) et de Cursor (2 ETP non-fondateurs à l'époque) parce que je voulais travailler sur l'inférence et l'entraînement des modèles de pointe chez DeepMind. En 2024, je les ai refusées à nouveau pour travailler chez OpenAI. Chacune de ces opportunités alternatives aurait eu un xG élevé d'un point de vue professionnel, mais j'ai fini par choisir des entreprises qui correspondaient davantage à mes intérêts, à ma culture d'entreprise et à mes objectifs (jeu de mots intentionnel).
Les carrières sont longues et les opportunités vont et viennent. Je ne crois pas que l'ASI remplacera tous les humains dans les emplois de travail du savoir, car les humains ont des capacités différentielles pour sélectionner des problèmes significatifs à résoudre par l'ASI et pour allouer du capital à la résolution de ces problèmes.
Toutes les opportunités ne se concrétiseront pas en un but, mais être dans la bonne position pour voir les opportunités est la première étape pour marquer des buts. Cela revient encore une fois à la réputation et à l'expertise. L'opportunité Cursor est venue parce que j'avais une bonne réputation parmi mes relations communes avec Michael et Aman, et l'opportunité Anthropic est venue parce que j'investissais du temps professionnel et personnel dans des problèmes qui intéressaient l'équipe là-bas.
À un moment donné, la vie consiste à marquer des buts, pas seulement à voir les opportunités, donc l'efficacité devant le but compte aussi. En repensant à mes décisions, je pense avoir pris beaucoup de bonnes décisions, mais j'aurais préféré passer plus de temps à recueillir des données pour éclairer mes choix.
Au cœur du sujet, la sélection d'entreprises en phase de démarrage repose principalement sur l'équipe et le marché. De nombreux candidats aujourd'hui se focalisent sur le produit existant, mais celui-ci évolue presque toujours vers quelque chose de très différent si l'équipe est bonne. La démo initiale d'Anthropic était un Slackbot qui était moins performant que ChatGPT pour moi.
6. Vous pouvez vous lancer dans la recherche maintenant
Récemment, j'ai reçu beaucoup de questions de personnes sur la façon de se lancer dans la recherche. Mon ancien collègue Vlad est un responsable de l'équipe Gemini et a un excellent article sur ses perspectives à ce sujet.
La recherche moderne est plus facile à faire avec plus de puissance de calcul, mais un excellent point de départ est d'utiliser les modèles et de distiller vos propres intuitions en évaluations. Les classements d'optimisation publics, diffusés par mon ancien collègue @kellerjordan0, offrent également d'excellents forums pour explorer des idées dans un cadre plus structuré.
De nombreux fournisseurs de calcul comme Modal offrent des crédits aux universitaires. Utilisez-les et explorez vos idées dès maintenant. La plupart des idées finiront par échouer à grande échelle, et comprendre ces échecs est la première étape pour construire une compréhension de ce qui fonctionne réellement.
En fin de compte, je crois qu'être chercheur est un état d'esprit, pas une profession. La majeure partie du travail d'un chercheur dans les laboratoires de pointe est un mélange de curiosité suffisante pour explorer de nouvelles idées, de lutte contre l'infrastructure pour mettre en œuvre les idées, de compréhension de l'ensemble du système dans les moindres détails pour déboguer efficacement, et d'articulation de la valeur des résultats pour obtenir plus de puissance de calcul. Vous pouvez faire tout cela sans être dans un laboratoire de pointe.
Réflexions finales
Le monde est encore plein d'opportunités. La clé pour les débloquer est de se concentrer sur la recherche de problèmes intéressants et d'obtenir des résultats extraordinaires. Si cela vous parle, contactez-nous et nous serions ravis de travailler avec vous.
