Ecco la traduzione in italiano del testo fornito:
Come fanno i modelli di intelligenza artificiale a imparare nuove abilità e comportamenti?
Il processo è sorprendentemente simile a quello umano e facile da capire, anche se non hai una formazione nel machine learning.
Colleghi disponibili
I modelli di IA, sempre più utilizzati tramite agenti, sono simili a un collega disponibile. Quali caratteristiche hanno in comune le persone migliori con cui hai lavorato?
Forse hai pensato a colleghi che erano bravi comunicatori, o che avevano la capacità di capire quando chiedere aiuto piuttosto che risolvere le cose da soli. Ci sono anche qualità più umane, come essere simpatici, empatici e gentili. Ma io apprezzo particolarmente lavorare con persone che sanno prendere problemi ambigui e trovare il modo di risolverli.
Quindi, come possiamo ottenere un modello che si comporti come quel collega ideale? Dobbiamo prima scrivere la nostra versione del comportamento "corretto". Questo documento si chiama model specification, principi, costituzione o simile. Viene utilizzato sia per l'allineamento interno che come linea guida per testare il comportamento del modello (cioè le valutazioni) durante l'addestramento.
Come miglioriamo nel nostro lavoro?
La mia semplificazione è: provare cose difficili, fallire, imparare e migliorare attraverso la ripetizione.
Se stai inserendo un nuovo membro nel team, non ti aspetti che sia produttivo dal primo giorno. Deve imparare come usare i tuoi sistemi e strumenti, e come il tuo team lavora insieme. Gli umani, con tutte le loro imperfezioni, sono piuttosto bravi ad apprendere nuove abilità (e a ricordarle).
Diciamo che vuoi diventare il miglior giocatore di basket al mondo. Quale approccio dovresti adottare per migliorare le tue abilità?
- Leggi tutto ciò che è mai stato scritto sul gioco del basket. Ignoreremo il fatto di essere limitati a 24 ore al giorno.
- Gioca 10.000 partite di basket. Si applicano le stesse regole di curvatura temporale. Impari per tentativi ed errori, rivedendo le partite, valutando le tue decisioni e migliorando durante gli allenamenti.
Conoscenza ed esperienza sono due statistiche diverse e, idealmente, vuoi massimizzarle entrambe. Mi ricorda come si parla di "intelligenza libresca" rispetto a "intelligenza pratica". I migliori giocatori possiedono entrambe.
Come impariamo le cose più velocemente? Con un allenatore! L'allenatore ideale ti guarderà giocare, ti dirà cosa correggere e ti spingerà sempre oltre i tuoi limiti attuali. Ti insegnerà a prendere decisioni di alta qualità quando sei da solo, orientando i tuoi pesi neurali verso decisioni migliori nel tempo.
Come imparano i modelli?
I modelli non imparano esattamente come gli umani, ma l'apprendimento umano fornisce un'analogia utile.
Questi modelli iniziano imparando a prevedere schemi da un'enorme biblioteca di esperienze altrui (cioè il pre-addestramento). In effetti, possono leggere tutti i libri sul basket!
Dopo il pre-addestramento, hai un modello base. Il modello può essere molto "intelligente librescamente" (ad esempio, sa tutto sulla storia antica), ma è imperfetto e ha qualche stranezza. Non è piacevole da usare e può commettere errori.
Poi mostri al modello molti esempi del comportamento eccellente che vuoi che imiti (cioè il fine-tuning supervisionato, o SFT). Pensalo come studiare le partite dei grandi giocatori. Questo ti porta lontano, ma non puoi diventare grande solo copiando le mosse di qualcun altro.
Devi guardare il modello mentre lavora davvero per poterlo aiutare a imparare e migliorare. Per modellare il suo comportamento, lasci che il modello giochi partite simulate e lo premi quando fa bene (cioè l'apprendimento per rinforzo, o RL). Questo premio è come il feedback di un allenatore, in cui dici al modello se le decisioni che ha preso sono state buone o cattive, spingendolo a migliorare con più tentativi.
Nuove ricerche suggeriscono anche che qualità più generalizzabili come l'onestà possono essere apprese durante l'RL. Se insegni al modello a essere più onesto quando risponde a domande di un dominio, valori come l'onestà possono generalizzarsi quando risponde a qualsiasi domanda.
Valutare il modello
Misuriamo se i modelli stanno migliorando in due modi principali: test di pratica in cui possono rivedere le risposte, ed esami finali in cui non hanno mai visto le domande prima.
Per gli umani, sarebbe difficile sapere se stiamo migliorando in analisi, per esempio, senza testare la comprensione. Se fai un test e fallisci, sai esattamente dove devi migliorare, ma questo funziona solo quando il dominio testato (ad esempio la matematica) ha una chiave di risposta.
Una delle principali sfide nell'addestramento di grandi modelli di IA è creare un insieme diversificato di "test". Questi test possono riguardare qualsiasi cosa, dalla matematica alla programmazione. Se riesci a creare una chiave di risposta, i modelli possono provare il test molte volte e imparare a migliorare.
E per quanto riguarda la misurazione dell'intelligenza attraverso molti compiti diversi? Pensa agli esami AP, che coprono materie dal calcolo alla storia. Molti di questi esami combinano domande a scelta multipla, valutate in base alla correttezza, con domande a risposta aperta, valutate in base a una griglia di valutazione.
Questo è simile a come valutiamo i modelli con i benchmark. Alcuni benchmark misurano cose oggettivamente verificabili (ad esempio, i test sono stati superati?) e altri chiedono a un modello separato di valutare i risultati usando una griglia (cioè LLM-as-judge). Questi risultati ti danno un riferimento per capire se il modello sta effettivamente imparando e migliorando durante l'addestramento.
Fondamentalmente, i benchmark sono progettati per testare compiti non visti o "tenuti da parte". Altrimenti, sarebbe un po' come memorizzare tutte le risposte del tuo test e poi presentarsi e scriverle a memoria, il che non è una vera misura dell'intelligenza.
L'intelligenza da sola non basta
Se sei un genio, ma scortese e socialmente inconsapevole, è probabile che alla gente non piacerai.
Probabilmente ci viene in mente qualcuno che conosciamo così. Non basta essere intelligenti! Ecco perché allineare i modelli a comportarsi "correttamente" (secondo la specifica del modello che abbiamo definito) è incredibilmente importante.
Immagina di avere un amico che concludeva ogni conversazione con qualche frase fatta ormai popolare dei LLM, tipo "Onestamente? Questo è il punto". Ti stancheresti subito di parlare con lui.
Ingegneri e ricercatori che addestrano i modelli passano molto tempo a parlare con un nuovo modello prima che sia finito. Documentano tutte le stranezze e i punti in cui potrebbe migliorare. Questo potrebbe essere l'uso eccessivo di frasi fatte come "In conclusione:" o il sacrificio della chiarezza per un elenco puntato più breve, portando a un linguaggio strano e incomprensibile con parole eccessivamente complesse.
Una volta identificati i problemi, possono lavorare per addestrare ulteriormente il modello e penalizzare i comportamenti negativi, portando lentamente a un modello con un comportamento più allineato. Inoltre, possono testare A/B il modello in produzione e misurare se gli utenti hanno preferito le risposte della nuova versione e hanno ottenuto risultati migliori.
Apprendimento continuo
Potresti aspettarti che questi modelli migliorino e diventino più intelligenti nel tempo.
Ma non è così che funzionano oggi! L'apprendimento avviene solo quando il modello è in fase di addestramento. Le tue conversazioni non aggiornano l'intelligenza del modello in tempo reale.
Invece, devi scrivere le cose da ricordare, tipicamente come regole o abilità. Gli agenti possono quindi leggere questi file e includerli nel contesto quando interrogano il modello.
Questo approccio ingenuo alla memoria tramite file ha funzionato sorprendentemente bene, ma c'è ancora molto lavoro da fare prima che gli agenti possano imparare e ricordare le abilità allo stesso modo di un nuovo collega.
Insegnare ai modelli a essere utili è un argomento profondo. Spero che questa panoramica di alto livello sia stata abbastanza interessante da ispirarti a saperne di più. Se vuoi vedere altre spiegazioni come questa, o se vuoi che approfondisca un'altra parte, fammelo sapere!
