Como os modelos de IA aprendem novas habilidades e comportamentos?
O processo é surpreendentemente humano e fácil de entender, mesmo que você não tenha formação em machine learning.
Colegas prestativos
Os modelos de IA, cada vez mais usados através de agentes, são semelhantes a um colega prestativo. Quais características as melhores pessoas com quem você já trabalhou compartilham?
Talvez você tenha pensado em colegas que eram ótimos comunicadores, ou que tinham o discernimento de saber quando pedir ajuda versus quando resolver as coisas sozinhos. Existem também qualidades mais humanas, como ser agradável, empático e gentil. Mas eu particularmente gosto de trabalhar com pessoas que conseguem pegar problemas ambíguos e encontrar maneiras de resolvê-los.
Então, como fazemos um modelo agir como esse colega ideal? Precisamos primeiro escrever nossa versão do comportamento "correto". Esse documento é chamado de model specification, princípios, constituição ou similar. É usado tanto para alinhamento interno quanto como diretriz para testar o comportamento do modelo (ou seja, evals) durante o treinamento.
Como melhoramos no nosso trabalho?
Minha simplificação excessiva é tentar coisas difíceis, falhar, aprender e melhorar através da repetição.
Se você está integrando um novo colega de equipe, não espera que ele seja produtivo no primeiro dia. Ele precisa aprender a usar seus sistemas e ferramentas, e como sua equipe trabalha em conjunto. Os humanos, com todas as nossas imperfeições, somos muito bons em aprender novas habilidades (e lembrar delas).
Digamos que você queira se tornar o melhor jogador de basquete do mundo. Qual abordagem você deve adotar para melhorar suas habilidades?
- Ler tudo o que já foi escrito sobre o jogo de basquete. Vamos ignorar a limitação de 24 horas por dia.
- Jogar 10.000 partidas de basquete. As mesmas regras de flexibilização do tempo se aplicam. Você aprende por tentativa e erro, revisando filmes, avaliando sua tomada de decisão e melhorando durante a prática.
Conhecimento e experiência são estatísticas diferentes e, idealmente, você quer maximizar ambas. Isso me lembra como as pessoas falam sobre "inteligência de livros" versus "inteligência de rua". Os melhores jogadores têm ambas.
Como aprendemos as coisas mais rápido? Com um coach! O coach ideal vai assistir você jogar, dizer o que precisa ser corrigido e sempre te desafiar além dos seus limites atuais. Ele vai te ensinar a tomar decisões de alta qualidade quando você estiver sozinho, ajustando seus "pesos cerebrais" em direção a melhores decisões com o tempo.
Como os modelos aprendem?
Os modelos não aprendem exatamente como os humanos, mas o aprendizado humano fornece uma analogia útil.
Esses modelos começam aprendendo a prever padrões a partir de uma biblioteca enorme de experiências de outras pessoas (ou seja, pré-treinamento). Eles conseguem ler todos os livros sobre basquete!
Após o pré-treinamento, você tem um modelo base. O modelo pode ser muito "inteligente de livros" (por exemplo, sabe tudo sobre história antiga), mas é imperfeito e tem algumas peculiaridades. Não é agradável conversar com ele e ele pode cometer erros.
Você então mostra ao modelo muitos exemplos do ótimo comportamento que deseja que ele imite (ou seja, fine-tuning supervisionado, ou SFT). Pense nisso como estudar filmes de grandes jogadores. Isso te leva longe, mas você não pode se tornar grande apenas copiando os movimentos de outra pessoa.
Você precisa observar o modelo fazendo trabalho real para poder ajudá-lo a aprender e melhorar. Para moldar seu comportamento, você deixa o modelo jogar partidas simuladas e o recompensa quando ele vai bem (ou seja, reinforcement learning, ou RL). Essa recompensa é como o feedback de um coach, onde você diz ao modelo se as decisões que ele tomou foram boas ou ruins, estimulando-o a melhorar com mais tentativas.
Novas pesquisas também sugerem que qualidades mais generalizáveis, como a veracidade, podem ser aprendidas durante o RL. Se você ensinar o modelo a ser mais honesto ao responder perguntas de um domínio, valores como a veracidade podem se generalizar ao responder qualquer pergunta.
Avaliando o modelo
Medimos se os modelos estão melhorando de duas maneiras principais: testes de prática onde eles podem revisar as respostas, e exames finais onde eles nunca viram as perguntas antes.
Seria difícil para os humanos saber se estamos melhorando em cálculo, por exemplo, sem testar a compreensão. Se você faz um teste e é reprovado, sabe exatamente onde precisa melhorar, mas isso só funciona quando o domínio sendo testado (por exemplo, matemática) tem um gabarito.
Um dos principais desafios para treinar grandes modelos de IA é criar um conjunto diversificado de "testes". Esses testes podem ser sobre qualquer coisa, desde matemática até programação. Se você puder criar um gabarito, os modelos podem tentar o teste várias vezes e aprender a melhorar.
E quanto a medir a inteligência em muitas tarefas diferentes? Pense nos exames AP, que cobrem matérias que vão desde cálculo até história. Muitos desses exames combinam questões de múltipla escolha, corrigidas pela exatidão, com questões dissertativas, avaliadas de acordo com uma rubrica.
Isso é semelhante a como avaliamos modelos com benchmarks. Alguns benchmarks medem coisas objetivamente verificáveis (por exemplo, os testes passaram?) e outros pedem a um modelo separado para avaliar os resultados usando uma rubrica (ou seja, LLM-como-juiz). Esses resultados fornecem uma referência para você entender se o modelo está realmente aprendendo e melhorando durante o treinamento.
Criticamente, os benchmarks são projetados para testar tarefas não vistas ou "reservadas". Caso contrário, seria um pouco como memorizar todas as respostas do seu teste e depois aparecer e escrevê-las de memória, o que não é uma medida real de inteligência.
Inteligência sozinha não é suficiente
Se você é um gênio, mas rude e socialmente desatento, é provável que as pessoas não gostem de você.
Todos nós provavelmente podemos pensar em alguém que conhecemos assim. Não basta ser inteligente! É por isso que alinhar os modelos para agir "corretamente" (de acordo com a especificação do modelo que definimos) é incrivelmente importante.
Imagine que você tivesse um amigo que terminava toda conversa com aquela baboseira de LLM agora popularizada, tipo "Sinceramente? Esse é o ponto". Você rapidamente se cansaria de conversar com ele.
Engenheiros e pesquisadores que treinam modelos passam bastante tempo conversando com um novo modelo antes de ele ser finalizado. Eles documentam todas as peculiaridades e pontos onde ele pode melhorar. Isso pode ser o uso excessivo de frases feitas como "No final das contas:" ou sacrificar a clareza por um bullet point mais curto, levando a uma linguagem estranha e ininteligível com palavras excessivamente complexas.
Com os problemas identificados, eles podem então trabalhar para treinar ainda mais o modelo e penalizar comportamentos ruins, levando lentamente a um modelo com um comportamento mais alinhado. Além disso, eles podem fazer testes A/B do modelo em produção e medir se os usuários preferiram as respostas da nova versão e tiveram melhores resultados.
Aprendizagem contínua
Você pode esperar que esses modelos melhorem e se tornem mais inteligentes com o tempo.
Mas não é assim que eles funcionam hoje! O aprendizado só acontece quando o modelo está treinando. Suas conversas não atualizam a inteligência do modelo em tempo real.
Em vez disso, você precisa escrever coisas para lembrar, geralmente como regras ou habilidades. Os agentes podem então ler esses arquivos e incluí-los no contexto ao dar instruções ao modelo.
Essa abordagem ingênua de memória através de arquivos tem funcionado surpreendentemente bem, mas ainda há trabalho a ser feito antes que os agentes possam aprender e lembrar habilidades da mesma forma que um novo colega faria.
Ensinar modelos a serem úteis é um tópico profundo. Espero que esta visão geral de alto nível tenha sido interessante o suficiente para inspirar você a aprender mais. Se você quiser ver mais explicações como esta, ou quiser que eu cubra outra parte com mais profundidade, me avise!
