Estamos começando a ver o que acontece quando uma empresa aprende a operar sozinha.
Nos últimos seis meses, os engenheiros da Replit quase triplicaram a produção de código. O tempo de revisão permaneceu estável. Reversões e incidentes de produto se mantiveram constantes. As métricas de qualidade melhoraram e os lançamentos aceleraram. Todas as compensações típicas que você poderia esperar não ocorreram.
Embora o código seja a parte visível, o que está acontecendo por baixo da superfície é muito mais interessante.
Agentes agora investigam incidentes de produção, revisam pull requests, respondem perguntas, analisam dados de negócios, triam tickets de suporte, pesquisam contas de vendas e melhoram os sistemas que alimentam o próprio Replit Agent.
Parece uma única inteligência mestra entrelaçada em cada funcionário, mesmo não sendo. É um sistema em expansão de agentes operando em toda a empresa: recebendo objetivos das pessoas, reunindo contexto, realizando trabalho, verificando os resultados e escalando quando o julgamento humano é necessário.
Acreditamos que isso representa o início de um novo tipo de organização: a empresa autônoma.
Uma empresa autônoma não é uma empresa sem pessoas. As pessoas ainda escolhem o destino. Elas decidem quais problemas são importantes, fazem compensações difíceis, exercem bom gosto e assumem a responsabilidade pelo resultado.
Mas, cada vez mais, elas não executam todas as etapas necessárias para chegar lá.
A mudança começou no final do ano passado. Como muitos que trabalham com IA, voltamos das férias de Natal sentindo que algo fundamental havia mudado. Os modelos conseguiam sustentar o trabalho por horizontes muito mais longos.
Tarefas que falhavam repetidamente, como triagem de alertas e investigação de causa raiz, começaram a funcionar. A IA começou a resolver alguns dos nossos bugs mais teimosos. Então, paramos de tratar os agentes como ferramentas que viviam dentro de um editor ou janela de chat. Nós os entrelaçamos, cuidadosamente, na própria estrutura da empresa.
Assim que a engenharia provou o valor, a adoção ganhou vida própria. Time após time começou a delegar seu trabalho mais tedioso, recuperando tempo para o pensamento estratégico e criativo que realmente move o negócio. As pessoas não sentem que foram automatizadas. Elas sentem que foram promovidas.
Esta é a história de como a IA mudou completamente a forma como trabalhamos na Replit.
A engenharia viu o impacto primeiro
No final de janeiro, aumentamos a infraestrutura para experimentar rapidamente casos de uso de agentes internos. Aproveitamos nossa estrutura de agentes, microVMs e infraestrutura de sistema de arquivos remoto para que qualquer engenheiro pudesse orquestrar enxames de agentes em paralelo. Em seguida, bloqueamos tudo por trás de políticas de acesso, proxies de token, registro de auditoria e nossa rede ZeroTrust. Nesse ponto, nos sentimos seguros em dar ao agente acesso a todas as coisas que usamos para fazer nosso trabalho: GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk e muito mais.
Com contexto entre os sistemas, vimos um salto na produtividade. Experimentos que falhavam anteriormente se tornaram fáceis. O impacto mais imediato foi nas estatísticas de codificação.
Estávamos na semana de sprint que antecedeu o lançamento do Agent 4 em março, onde normalmente vemos um grande pico. As reuniões desaparecem, o escopo é conhecido e a engenharia entra em modo de execução pura (muitas vezes por até 16 horas por dia). Mas desta vez foi diferente. Nossa curva de produtividade se inclinou para cima de uma forma que nenhum de nós tinha visto antes, o que pode ser atribuído à adoção do nosso novo sistema de agentes interno. Do início de janeiro ao final de junho, houve um aumento de 5,8X nas linhas de código contribuídas.
Linhas de código alteradas por semana, fluxos de trabalho existentes vs. novos com agentes
Parte desse aumento pode ser atribuída a boas contratações. Nosso novo agente acelera o tempo de produtividade, o que é ótimo, mas podemos remover o efeito das contratações para obter dados mais limpos. Mantendo uma coorte consistente de autores, vemos 2,9x mais código do que antes. Tradicionalmente, é considerado excelente se você mantiver a produção por engenheiro estável à medida que escala uma equipe. Nós triplicamos a taxa por engenheiro enquanto dobramos a equipe.
Você deve estar se perguntando quem está revisando todo esse código novo e se criamos um novo gargalo no processo de revisão. Nossa latência de revisão de código está estável, em grande parte porque colocamos nosso agente para trabalhar na revisão de código. Agora ele é capaz de avaliar níveis de risco e chamar um segundo revisor humano apenas quando necessário. Isso significa que 30% (e crescendo) do tempo de revisão humana de PR foi economizado.
Com nosso agente escrevendo e revisando mais código, devemos nos preocupar com a qualidade. Se observarmos as taxas de reversão de PR (à esquerda) e os incidentes abertos, as tendências são estáveis. Isso significa que estamos realmente melhorando em uma base relativa.
Uma razão é que esses processos também são assistidos por agentes. As revisões de código humano se beneficiam de um co-revisor agente, então mais bugs são capturados. Investigações de incidentes (bugs significativos ou incidentes reais) são assistidas por um agente que tenta encontrar a causa raiz, então o tempo médio para mitigação (MTTM) está diminuindo.
O teste final é se as entradas de código adicionais representam valor real de saída. No final do dia, a engenharia está entregando funcionalidades para os usuários. Acompanhamos projetos no Linear para que as equipes de vendas e marketing saibam quando se comunicar com os usuários sobre novos recursos. Você pode ver que a taxa de conclusão de projetos aumentou acentuadamente junto com nosso volume de codificação.
Uma equipe de engenharia autônoma pode entregar mais, enquanto aumenta a qualidade ao mesmo tempo.
Nosso agente de agentes está permitindo engenharia em loop em escala
Aprofundando, temos uma ideia de como isso se parece. Quando os engenheiros encontram maneiras de gerar loops, enviando uma frota de agentes para concluir uma tarefa verificável, vemos a mudança mais dramática. Cada funcionário tem acesso a um agente gerente que pode gerar vários agentes, permitindo a orquestração de agentes trabalhando em loops em seu nome. Os loops resultaram em alguns gráficos de PR muito únicos, como estes:
Um engenheiro concluiu uma migração há muito parada do nosso sistema CSS e compartilhou seus aprendizados. Outro engenheiro automatizou uma migração que nos permitiu localizar o produto. Outro ainda automatizou a manutenção de testes instáveis. Nosso CTO finalmente resolveu um dos nossos bugs de rede mais difíceis relacionados ao PSC e desligamento de fd com um enxame de agentes. Todas as nossas suposições sobre o que é possível mudaram.
O exemplo autônomo mais empolgante vem da nossa equipe de IA. Eles construíram um sistema de aprendizado contínuo que analisa o feedback do usuário, propõe melhorias e usa uma combinação de benchmarks e testes A/B para validar os ganhos. O Replit Agent está se auto aprimorando!
A conversa sobre construir vs. comprar mudou
Nosso novo agente interno também mudou as conversas sobre se construímos ou compramos software. Testamos regularmente novas ferramentas de IA. Comprar soluções pode nos ajudar a ir mais rápido, e também avaliamos o mercado constantemente. Mas quanto mais construímos, menos disso precisaremos fazer. Nosso agente interno agora supera os produtos que testamos e que são vistos como líderes de mercado. Acabamos de cancelar uma solução SaaS de sete dígitos porque nosso aplicativo interno, construído inteiramente no Replit, era superior e os funcionários tinham migrado para ele.
De repente, as ferramentas parecem ter sido construídas para nós. A integração profunda com nossas bases de conhecimento e a personalização que fizemos fazem outras soluções parecerem inferiores.
O que nos surpreendeu ainda mais foi que nosso agente interno também superou produtos verticais específicos que avaliamos. Uma ferramenta para ajudar engenheiros a triar alertas e investigar causas raiz de incidentes retornou com qualidade semelhante, mas a um custo 10x maior para executá-la em nosso agente. Uma ferramenta que executa testes de penetração automatizados encontrou menos vulnerabilidades do que nossa versão interna a um custo 10x maior. Ambas as nossas versões foram colocadas em produção com facilidade, reduzindo o MTTM em incidentes e endurecendo sistemas críticos contra ataques.
Com o quanto ainda estamos aprendendo e como os modelos estão melhorando, está claro que este é apenas o começo.
Além da engenharia e para todo o negócio
Uma empresa autônoma não para na Engenharia. Todas as funções na Replit estão mudando.
O uso se espalhou rapidamente para fora da Engenharia, principalmente por causa de uma interface no Slack. O resto da empresa notou engenheiros marcando nosso agente com tarefas e experimentou por conta própria. Inicialmente, o caso de uso mais popular era fazer perguntas. Ao combinar nossa base de conhecimento com o estado do código, qualquer pessoa podia esclarecer expectativas sobre o produto sem esperar pela contribuição da engenharia. Esses funcionários podiam então corrigir cópias ou documentação como acompanhamento. Foi um impulso imediato na capacidade de responder aos usuários mais rapidamente.
Mas isso foi apenas o começo. A partir daí, contribuições de novas habilidades e integrações começaram a chegar de todas as partes da empresa.
O primeiro grande avanço veio da nossa equipe de dados. Eles deram ao agente uma camada semântica sobre nosso data warehouse, para que ele saiba quais tabelas são fontes da verdade e como elas se relacionam umas com as outras.
Agora, qualquer pessoa na Replit pode fazer perguntas de inteligência de negócios e obter uma resposta confiável. Eles podem construir gráficos e apresentações a partir de dados ao vivo (incluindo todos os gráficos deste post). A equipe de dados passa seu tempo se aprofundando nos problemas mais difíceis, em vez de atender a solicitações. Recentemente, um PM conseguiu realizar uma análise de lançamento complexa de forma autônoma porque nosso agente entende os eventos no código, como eles aparecem em nossa plataforma de dados do cliente e como juntá-los com estados de assinatura complexos.
Vendas encontraram a mesma alavancagem. A equipe de desenvolvimento de vendas usa o agente para encontrar e enriquecer leads qualificados de produto, aproveitando o conhecimento interno que ferramentas mais genéricas não podem ver, para que o alcance tenha mais contexto. Os executivos de contas o usam para se preparar para conversas com clientes, para entender quem está obtendo mais valor, quais projetos estão mais ativos e como o uso de crédito se alinha com seu contrato. Tudo isso é então empacotado em slides personalizados para a conta. Uma equipe de vendas autônoma tem mais pontos de contato de maior qualidade com seus clientes.
Nossa equipe de marketing pode usar o agente para redigir especificações de produto do zero com um único prompt, com base em conversas e documentos de produtos em toda a engenharia e produto. Isso lhes dá a capacidade de começar a trabalhar nos lançamentos mais cedo e se manter atualizados, sem precisar estar em todas as reuniões. Eles têm mais tempo para planejar e ser criativos, o que garantirá que nossos lançamentos tenham maior impacto quando estiverem no mundo.
Nossa equipe de suporte deu ao agente habilidades para investigar problemas e seguir playbooks padrão. Ele pode optar por oferecer uma resposta no nosso tom de atendimento padrão ou escalar para a engenharia junto com um resumo do ticket e da investigação. Uma equipe de suporte autônoma fecha os tickets mais difíceis (aqueles escalados para humanos) 60% mais rápido. Os usuários voltam a construir mais cedo.
Em todos os exemplos, o humano não foi automatizado para fora. Ele foi promovido. A autonomia transforma executores em diretores, e as pessoas que estão prosperando são aquelas que pensam em resultados e definem a direção. Esse é o trabalho mais valioso que existe agora.
—
Para onde ir a seguir?
Tornar-nos mais produtivos é empolgante, mas o que realmente motiva as pessoas na Replit é democratizar a tecnologia.
Queremos trazer esta nova forma de trabalhar para todos os nossos usuários. Estamos trabalhando duro para garantir que possamos fazer isso com as políticas, permissões, segurança e controles de custo necessários para implantar isso em escala. Os usuários mais ativos do Replit são empreendedores e usuários corporativos construindo negócios reais. A autonomia precisa de medidas de segurança que possam escalar para atender a esses usuários.
Estamos trabalhando duro para construir isso agora.
Considerando todos os gráficos acima, você não terá que esperar muito.
