Comment les modèles d'IA apprennent-ils de nouvelles compétences et comportements ?
Le processus est étonnamment humain et facile à comprendre, même sans formation en apprentissage automatique.
Des collègues serviables
Les modèles d'IA, de plus en plus utilisés via des agents, ressemblent à un collègue serviable. Quels traits partagent les meilleures personnes avec qui vous avez travaillé ?
Vous pensez peut-être à des collègues qui étaient de bons communicateurs, ou qui avaient le jugement nécessaire pour savoir quand demander de l'aide plutôt que de se débrouiller seuls. Il y a aussi des qualités plus humaines, comme être agréable, empathique et gentil. Mais j'apprécie particulièrement travailler avec des personnes capables de prendre des problèmes ambigus et de trouver des moyens de les résoudre.
Alors, comment faire pour qu'un modèle se comporte comme ce collègue idéal ? Nous devons d'abord formaliser notre version du comportement « correct ». Ce document s'appelle une spécification de modèle, des principes, une constitution, ou autre. Il est utilisé à la fois pour l'alignement interne et comme ligne directrice pour tester le comportement du modèle (c'est-à-dire les évaluations) pendant l'entraînement.
Comment s'améliorer dans son travail ?
Ma simplification excessive est d'essayer des choses difficiles, d'échouer, d'apprendre et de s'améliorer par la répétition.
Si vous intégrez un nouveau coéquipier, vous ne vous attendez pas à ce qu'il soit productif dès le premier jour. Il doit apprendre à utiliser vos systèmes et outils, et comment votre équipe fonctionne ensemble. Les humains, avec toutes nos imperfections, sommes assez doués pour apprendre de nouvelles compétences (et les retenir).
Disons que vous voulez devenir le meilleur joueur de basket-ball au monde. Quelle approche devriez-vous adopter pour améliorer vos compétences ?
- Lire tout ce qui a été écrit sur le basket-ball. Nous allons ignorer le fait d'être limité à 24 heures par jour.
- Jouer 10 000 matchs de basket-ball. Les mêmes règles de distorsion temporelle s'appliquent. Vous apprenez par essais et erreurs, en visionnant les matchs, en évaluant votre prise de décision et en vous améliorant à l'entraînement.
La connaissance et l'expérience sont deux statistiques différentes, et idéalement, vous voulez maximiser les deux. Cela me rappelle comment les gens parlent de « l'intelligence livresque » par rapport à « l'intelligence de la rue ». Les meilleurs joueurs possèdent les deux.
Comment apprendre plus vite ? Avec un coach ! Le coach idéal vous regardera jouer, vous dira quoi corriger et vous poussera toujours au-delà de vos limites actuelles. Il vous apprendra à prendre des décisions de haute qualité lorsque vous êtes seul, orientant vos « poids cérébraux » vers de meilleures décisions au fil du temps.
Comment les modèles apprennent-ils ?
Les modèles n'apprennent pas exactement comme les humains, mais l'apprentissage humain fournit une analogie utile.
Ces modèles commencent par apprendre à prédire des modèles à partir d'une immense bibliothèque d'expériences d'autres personnes (c'est-à-dire le pré-entraînement). En fait, ils peuvent lire tous les livres sur le basket-ball !
Après le pré-entraînement, vous obtenez un modèle de base. Le modèle peut être très « intelligent livresque » (par exemple, il sait tout sur l'histoire ancienne), mais il est imparfait et présente quelques bizarreries. Il n'est pas agréable à écouter et peut faire des erreurs.
Vous montrez ensuite au modèle de nombreux exemples du bon comportement que vous voulez qu'il imite (c'est-à-dire l'ajustement supervisé, ou SFT). Considérez cela comme l'étude de films de grands joueurs. Cela vous mène loin, mais on ne peut pas devenir excellent en copiant simplement les mouvements de quelqu'un d'autre.
Vous devez regarder le modèle faire un vrai travail pour l'aider à apprendre et à s'améliorer. Pour façonner son comportement, vous laissez le modèle jouer des jeux simulés et le récompensez quand il fait bien (c'est-à-dire l'apprentissage par renforcement, ou RL). Cette récompense est comme un retour d'information du coach, où vous dites au modèle si les décisions qu'il a prises étaient bonnes ou mauvaises, l'incitant à s'améliorer avec plus de tentatives.
De nouvelles recherches suggèrent également que des qualités plus généralisables comme la véracité peuvent être apprises pendant le RL. Si vous apprenez au modèle à être plus honnête lorsqu'il répond à des questions d'un domaine, des valeurs comme la véracité peuvent se généraliser lors de la réponse à n'importe quelle question.
Évaluer le modèle
Nous mesurons si les modèles s'améliorent de deux manières principales : des tests d'entraînement où ils peuvent consulter les réponses, et des examens finaux où ils n'ont jamais vu les questions auparavant.
Il serait difficile pour les humains de savoir s'ils s'améliorent en calcul, par exemple, sans tester la compréhension. Si vous passez un test et échouez, vous savez exactement sur quoi vous devez vous améliorer, mais cela ne fonctionne que lorsque le domaine testé (par exemple, les mathématiques) a un corrigé.
L'un des principaux défis de l'entraînement des grands modèles d'IA est de créer un ensemble diversifié de « tests ». Ces tests peuvent porter sur n'importe quoi, des mathématiques au codage. Si vous pouvez créer un corrigé, alors les modèles peuvent essayer le test plusieurs fois et apprendre à s'améliorer.
Qu'en est-il de la mesure de l'intelligence à travers de nombreuses tâches différentes ? Pensez aux examens AP, qui couvrent des sujets allant du calcul à l'histoire. Beaucoup de ces examens combinent des questions à choix multiples notées sur la base de l'exactitude avec des questions à réponse libre notées selon une grille d'évaluation.
C'est similaire à la façon dont nous évaluons les modèles avec des benchmarks. Certains benchmarks mesurent des choses objectivement vérifiables (par exemple, les tests ont-ils réussi ?) et d'autres demandent à un modèle séparé de noter les résultats à l'aide d'une rubrique (c'est-à-dire LLM-as-judge). Ces résultats vous donnent une référence pour comprendre si le modèle apprend et s'améliore réellement pendant l'entraînement.
De manière cruciale, les benchmarks sont destinés à tester des tâches non vues ou « retenues ». Sinon, ce serait un peu comme mémoriser toutes les réponses à votre test, puis se présenter et les écrire de mémoire, ce qui n'est pas une véritable mesure de l'intelligence.
L'intelligence seule ne suffit pas
Si vous êtes un génie, mais impoli et socialement inadapté, il y a de fortes chances que les gens ne vous aiment pas.
Nous pouvons probablement tous penser à quelqu'un que nous connaissons comme ça. Il ne suffit pas d'être intelligent ! C'est pourquoi aligner les modèles pour qu'ils agissent « correctement » (selon la spécification du modèle que nous avons définie) est incroyablement important.
Imaginez que vous ayez un ami qui terminait chaque conversation par un langage pompeux d'LLM désormais populaire comme « Honnêtement ? C'est ça le signe ». Vous vous lasseriez vite de lui parler.
Les ingénieurs et chercheurs qui entraînent les modèles passent beaucoup de temps à parler à un nouveau modèle avant qu'il ne soit terminé. Ils documentent toutes les bizarreries et les points d'amélioration. Cela peut être une utilisation excessive d'expressions toutes faites comme « En résumé : » ou le sacrifice de la clarté pour un point de puce plus court, conduisant à un langage étrange et inintelligible avec des mots trop complexes.
Les problèmes identifiés, ils peuvent alors travailler à entraîner davantage le modèle et pénaliser les mauvais comportements, menant progressivement à un modèle avec un comportement plus aligné. De plus, ils peuvent tester le modèle en production avec des tests A/B et mesurer si les utilisateurs ont préféré les réponses de la nouvelle version et ont obtenu de meilleurs résultats.
Apprentissage continu
On pourrait s'attendre à ce que ces modèles s'améliorent et deviennent plus intelligents avec le temps.
Mais ce n'est pas comme ça qu'ils fonctionnent aujourd'hui ! L'apprentissage ne se produit que lorsque le modèle est en phase d'entraînement. Vos conversations ne mettent pas à jour l'intelligence du modèle en temps réel.
Au lieu de cela, vous devez noter les choses à retenir, généralement sous forme de règles ou de compétences. Les agents peuvent ensuite lire ces fichiers et les inclure dans le contexte lors de l'interrogation du modèle.
Cette approche naïve de la mémoire via des fichiers a fonctionné étonnamment bien, mais il reste du travail à faire avant que les agents puissent apprendre et se souvenir des compétences de la même manière qu'un nouveau collègue.
Apprendre aux modèles à être utiles est un sujet profond. J'espère que cet aperçu de haut niveau était assez intéressant pour vous inspirer à en apprendre davantage. Si vous voulez voir plus d'explications comme celle-ci, ou si vous voulez que j'aborde une autre partie plus en détail, faites-le moi savoir !
