Nous commençons à voir ce qui se passe lorsqu'une entreprise apprend à se gérer elle-même.
Au cours des six derniers mois, les ingénieurs de Replit ont presque triplé leur production de code. Les délais de relecture sont restés stables. Les retours en arrière et les incidents produit sont restés au même niveau. Les indicateurs de qualité se sont améliorés, et les mises en production se sont accélérées. Aucun des compromis habituels auxquels on pourrait s'attendre ne s'est produit.
Bien que le code soit la partie visible, ce qui se passe en dessous est bien plus intéressant.
Les agents enquêtent désormais sur les incidents de production, relisent les pull requests, répondent aux questions, analysent les données métier, trient les tickets de support, recherchent les comptes commerciaux et améliorent les systèmes qui alimentent Replit Agent lui-même.
On a l'impression d'une intelligence maîtresse unique qui traverse chaque employé, même si ce n'est pas le cas. C'est un système d'agents en expansion qui opère dans toute l'entreprise : ils prennent des objectifs des personnes, rassemblent le contexte, effectuent le travail, vérifient les résultats et remontent les problèmes lorsque le jugement humain est nécessaire.
Nous pensons que cela représente le début d'un nouveau type d'organisation : l'entreprise autonome.
Une entreprise autonome n'est pas une entreprise sans personnes. Les personnes choisissent toujours la destination. Elles décident quels problèmes sont importants, font des compromis difficiles, exercent leur goût et assument la responsabilité du résultat.
Mais de plus en plus, elles n'effectuent pas chaque étape nécessaire pour y parvenir.
Le changement a commencé à la fin de l'année dernière. Comme beaucoup de personnes travaillant dans l'IA, nous sommes revenus des vacances de Noël avec le sentiment que quelque chose de fondamental avait changé. Les modèles pouvaient maintenir un travail sur des horizons beaucoup plus longs.
Des tâches qui avaient échoué à plusieurs reprises, comme le tri des alertes et l'investigation des causes racines, ont commencé à fonctionner. L'IA a commencé à résoudre certains de nos bugs les plus tenaces. Nous avons donc cessé de traiter les agents comme des outils confinés à un éditeur ou une fenêtre de chat. Nous les avons intégrés, avec précaution, dans le tissu même de l'entreprise.
Une fois que l'ingénierie a prouvé la valeur, l'adoption a pris son propre envol. Équipe après équipe, ils ont commencé à déléguer leur travail le plus fastidieux, récupérant du temps pour la réflexion stratégique et créative qui fait réellement avancer l'entreprise. Les gens n'ont pas l'impression d'avoir été automatisés. Ils ont l'impression d'avoir été promus.
Voici l'histoire de la façon dont l'IA a complètement changé notre façon de travailler chez Replit.
L'ingénierie a vu l'impact en premier
Fin janvier, nous avons renforcé l'infrastructure pour expérimenter rapidement des cas d'utilisation d'agents internes. Nous avons mis à profit notre harnais d'agents, nos micro-VM et notre infrastructure de système de fichiers distant pour que tout ingénieur puisse orchestrer des essaims d'agents en parallèle. Ensuite, nous avons verrouillé le tout derrière des politiques d'accès, des proxys de jetons, des journaux d'audit et notre réseau ZeroTrust. À ce stade, nous nous sommes sentis en sécurité en donnant à l'agent accès à tous les outils que nous utilisons pour faire notre travail : GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk, et plus encore.
Avec un contexte transversal aux systèmes, nous avons constaté un bond en avant de la productivité. Des expériences qui échouaient auparavant sont devenues faciles. L'impact le plus immédiat a concerné les statistiques de codage.
Nous étions dans la semaine de sprint précédant la sortie d'Agent 4 en mars, où nous observons généralement un pic important. Les réunions disparaissent, le périmètre est connu, et l'ingénierie passe en mode exécution pure (souvent jusqu'à 16 heures par jour). Mais cette fois, c'était différent. Notre courbe de productivité s'est redressée d'une manière que personne n'avait jamais vue auparavant, ce qui peut être attribué à l'adoption de notre nouveau système d'agents internes. Du début janvier à la fin juin, nous avons constaté une multiplication par 5,8 du nombre de lignes de code contribuées.
Lignes de code modifiées par semaine, workflows existants vs. nouveaux workflows d'agents
Une partie de cette augmentation peut être attribuée à un bon recrutement. Notre nouvel agent accélère le temps de productivité, ce qui est excellent, mais nous pouvons supprimer l'effet du recrutement pour obtenir des données plus propres. En conservant une cohorte d'auteurs constante, nous produisons 2,9 fois plus de code qu'avant. Traditionnellement, on considère comme excellent de maintenir la production par ingénieur stable lorsque l'on fait grandir une équipe. Nous avons triplé le taux par ingénieur tout en doublant l'équipe.
Vous vous demandez peut-être qui relit tout ce nouveau code et si nous avons créé un nouveau goulot d'étranglement dans le processus de relecture. Notre latence de relecture de code est stable, principalement parce que nous avons mis notre agent au travail pour relire le code. Il est désormais capable d'évaluer les niveaux de risque et de ne faire appel à un deuxième relecteur humain que lorsque cela est nécessaire. Cela signifie que 30 % (et en croissance) du temps de relecture humain des PR a été économisé.
Avec notre agent qui écrit et relit plus de code, nous devrions nous inquiéter de la qualité. Si nous regardons les taux de retour en arrière des PR (à gauche) et les incidents ouverts, les tendances sont stables. Cela signifie que nous nous améliorons en réalité sur une base relative.
Une raison est que ces processus sont également assistés par des agents. Les relectures de code humaines bénéficient d'un co-relecteur agentique, donc plus de bugs sont détectés. Les enquêtes sur les incidents (bugs significatifs ou incidents réels) sont assistées par un agent qui tente de trouver la cause racine, donc le temps moyen de mitigation (MTTM) diminue.
Le test final est de savoir si les apports de code supplémentaires représentent une valeur réelle en sortie. En fin de compte, l'ingénierie livre des fonctionnalités aux utilisateurs. Nous suivons les projets dans Linear pour que les équipes commerciales et marketing sachent quand communiquer avec les utilisateurs sur les nouvelles fonctionnalités. Vous pouvez voir que le taux d'achèvement des projets est fortement en hausse, en parallèle de notre volume de codage.
Une équipe d'ingénierie autonome peut livrer plus, tout en améliorant la qualité en même temps.
Notre agent d'agents permet l'ingénierie en boucle à grande échelle
En zoomant, on peut voir à quoi cela ressemble. Lorsque les ingénieurs trouvent des moyens de générer des boucles, en envoyant une flotte d'agents accomplir une tâche vérifiable, nous observons le changement le plus spectaculaire. Chaque employé a accès à un agent manager qui peut générer plusieurs agents, permettant l'orchestration d'agents travaillant en boucles pour vous. Les boucles ont donné lieu à des graphiques de PR très particuliers, comme ceux-ci :
Un ingénieur a achevé une migration longtemps bloquée de notre système CSS et a partagé ses apprentissages. Un autre ingénieur a automatisé une migration qui nous a permis de localiser le produit. Un autre encore a automatisé la maintenance de tests instables. Notre CTO a enfin résolu l'un de nos bugs réseau les plus difficiles, lié à l'arrêt de PSC et fd, avec un essaim d'agents. Toutes nos hypothèses sur ce qui est possible ont changé.
L'exemple d'autonomie le plus excitant vient de notre équipe IA. Ils ont construit un système d'apprentissage continu qui analyse les retours utilisateurs, propose des améliorations et utilise une combinaison de benchmarks et de tests A/B pour valider les gains. Replit Agent s'améliore de lui-même !
La conversation "construire vs. acheter" a changé
Notre nouvel agent interne a également changé les conversations sur le fait de construire ou d'acheter des logiciels. Nous essayons régulièrement de nouveaux outils d'IA. Acheter des solutions peut nous aider à aller plus vite, et nous évaluons constamment le marché. Mais plus nous construisons, moins nous aurons besoin de le faire. Notre agent interne surpasse désormais les produits que nous testons et qui sont considérés comme leaders du marché. Nous venons de résilier une solution SaaS à sept chiffres parce que notre application interne, construite entièrement dans Replit, était supérieure et que les employés avaient migré.
Soudain, les outils semblent construits pour nous. L'intégration profonde avec nos bases de connaissances et la personnalisation que nous avons effectuée rendent les autres solutions inférieures.
Ce qui nous a le plus surpris, c'est que notre agent interne a également surpassé les produits verticaux spécifiques que nous avons évalués. Un outil destiné à aider les ingénieurs à trier les alertes et à investiguer les causes racines des incidents est revenu avec une qualité similaire mais pour un coût 10 fois supérieur à son exécution sur notre agent. Un outil effectuant des tests de pénétration automatisés a trouvé moins de vulnérabilités que notre version interne, pour un coût 10 fois plus élevé. Nos deux versions ont été mises en production avec facilité, réduisant le MTTM des incidents et renforçant les systèmes critiques contre les attaques.
Vu tout ce que nous apprenons encore et l'amélioration des modèles, il est clair que ce n'est que le début.
Au-delà de l'ingénierie, dans toute l'entreprise
Une entreprise autonome ne s'arrête pas à l'ingénierie. Chaque fonction chez Replit est en train de changer.
L'utilisation s'est rapidement répandue hors de l'ingénierie, principalement grâce à une interface Slack. Le reste de l'entreprise a vu les ingénieurs taguer notre agent avec des tâches et a essayé pour eux-mêmes. Au départ, le cas d'utilisation le plus populaire était de poser des questions. En combinant notre base de connaissances avec l'état de la base de code, tout le monde pouvait clarifier les attentes produit sans attendre l'avis de l'ingénierie. Ces employés pouvaient ensuite corriger le texte ou la documentation en conséquence. C'était un coup de pouce immédiat pour pouvoir répondre plus rapidement aux utilisateurs.
Mais ce n'était que le début. À partir de là, les contributions de nouvelles compétences et intégrations ont commencé à arriver de toutes les parties de l'entreprise.
La première grande avancée est venue de notre équipe data. Ils ont donné à l'agent une couche sémantique sur notre entrepôt de données, afin qu'il sache quelles tables sont les sources de vérité et comment elles sont liées entre elles.
Désormais, n'importe qui chez Replit peut poser des questions de business intelligence et obtenir une réponse fiable. Ils peuvent construire des graphiques et des présentations à partir de données en direct (y compris tous les graphiques de cet article). L'équipe data passe son temps à approfondir les problèmes les plus difficiles, au lieu de répondre aux demandes. Récemment, un PM a pu réaliser lui-même une analyse complexe de lancement parce que notre agent comprend les événements dans la base de code, comment ils apparaissent dans notre plateforme de données clients, et comment les joindre à des états d'abonnement complexes.
L'équipe commerciale a trouvé le même levier. L'équipe de développement commercial utilise l'agent pour trouver et enrichir les leads qualifiés produit, en s'appuyant sur des connaissances internes que les outils plus génériques ne peuvent pas voir, afin que la prospection ait plus de contexte. Les responsables de comptes l'utilisent pour préparer les conversations clients, comprendre qui tire le plus de valeur, quels projets sont les plus actifs, et comment l'utilisation des crédits suit leur contrat. Tout cela est ensuite intégré dans des slides personnalisées et adaptées au compte. Une équipe commerciale autonome a plus de points de contact, et de meilleure qualité, avec ses clients.
Notre équipe marketing peut utiliser l'agent pour rédiger des spécifications produit de A à Z à partir d'une seule invite, en se basant sur les conversations et les documents des produits à travers l'ingénierie et le produit. Cela leur donne la capacité de commencer à avancer sur les lancements plus tôt et de rester informés, sans avoir besoin d'être dans chaque réunion. Ils ont plus de temps pour planifier et être créatifs, ce qui garantira que nos versions aient un plus grand impact une fois publiées.
Notre équipe support a donné à l'agent les compétences pour enquêter sur les problèmes et suivre les playbooks standards. Il peut choisir de répondre avec notre ton standard de service client, ou de remonter le problème à l'ingénierie avec un résumé du ticket et de l'investigation. Une équipe support autonome résout les tickets les plus difficiles (ceux remontés aux humains) 60 % plus rapidement. Les utilisateurs peuvent retourner à leurs projets plus tôt.
Dans chaque exemple, l'humain n'a pas été automatisé. Il a été promu. L'autonomie transforme les exécutants en directeurs, et les personnes qui prospèrent sont celles qui pensent en termes de résultats et fixent la direction. C'est le travail le plus précieux qui existe aujourd'hui.
—
Et ensuite ?
Rendre notre propre productivité plus excitante est une chose, mais ce qui motive vraiment les gens chez Replit, c'est de démocratiser la technologie.
Nous voulons apporter cette nouvelle façon de travailler à tous nos utilisateurs. Nous travaillons dur pour nous assurer de pouvoir le faire avec les politiques, les autorisations, la sécurité et les contrôles de coûts nécessaires pour déployer cela à grande échelle. Les utilisateurs les plus actifs de Replit sont des entrepreneurs et des utilisateurs professionnels qui construisent de vraies entreprises. L'autonomie a besoin de mesures de sécurité capables de passer à l'échelle pour répondre à ces utilisateurs.
Nous travaillons dur pour construire cela maintenant.
Compte tenu de tous les graphiques ci-dessus, vous n'aurez pas à attendre longtemps.
