Quindi vuoi fare ricerca nell'AI? È vero che nessuno te lo insegna davvero. Non direttamente, almeno. Ma a quanto pare il modo per iniziare è piuttosto semplice: una combinazione di (i) leggere e (ii) costruire cose. Non puoi fare l'uno senza l'altro. Diventi un ricercatore attraverso la combinazione.
A quanto pare, il processo per diventare un grande ricercatore non è dissimile dall'imparare a meditare:
I.
C'è un vecchio detto Zen che suona più o meno così:
*nei giorni in cui troviamo l'intuizione, ci sediamo. nei giorni in cui non troviamo l'intuizione, ci sediamo.*
Fare ricerca è fondamentalmente così. Le intuizioni scientifiche possono arrivare apparentemente a caso. La maggior parte dei giorni non arriveranno. Un tratto importante per avere successo è semplicemente metterci tempo e impegno. Come in qualsiasi altra attività (musica, sport, vendite, ecc.), se vuoi diventare di livello mondiale, ci vorrà una quantità enorme di disciplina.
Noam Shazeer fa un simpatico cenno alla casualità intrinseca delle idee di ricerca di successo nell'articolo su SwiGLU:
"Non offriamo alcuna spiegazione sul perché queste architetture sembrano funzionare; attribuiamo il loro successo, come tutto il resto, alla benevolenza divina."
Un commento correlato è che è possibile leggere troppi articoli. Se vuoi risolvere un problema, il percorso collaudato per il successo è tentare una soluzione, provarla, raggiungere un collo di bottiglia, cercare di risolverlo e ricorrere alla letteratura solo quando hai finito le idee da solo.
II.
Bene, ma su cosa dovrei lavorare?
Se stai appena iniziando, ecco la mia risposta onesta: non credo che l'argomento esatto conti molto.
Detto questo, ti avvertirei di non scegliere cose che sono state popolari per meno di sei mesi. L'AI si muove veloce, ma le idee fondamentali non sono cambiate in quarant'anni. Se vuoi farne una carriera, non ti consiglierei di pensare troppo ai concetti del 2026: harness, agenti, context engineering, ecc. Questi cambieranno.
Invece, imparerai di più tornando alle basi: impara cos'è l'entropia incrociata. Calcolala a mano per una piccola distribuzione. Comprendi a fondo SVD, al punto da poterla iniziare a visualizzare nella tua testa. Non pensare troppo al RL specifico per la programmazione, impara invece le idee dietro i policy gradient, perché sono utili e perché sono popolari da decenni.
Un altro meta-commento: se il miglior risultato possibile del tuo progetto di ricerca è un punteggio più alto su un benchmark esistente, non stai andando abbastanza a fondo. Spesso, i dataset esistenti non testeranno nuove interessanti capacità.
Un'abilità sottovalutata ma a volte decisiva nella ricerca sull'AI (che non esisteva veramente dieci anni fa) è la capacità di trovare un dataset che effettivamente eserciti un nuovo metodo su cui stai lavorando.
Quanto a un suggerimento concreto, non posso dartene uno; deve venire da te. Vai in profondità, concentrati sulle basi e non inseguire i benchmark. Rimani nell'acqua e le idee arriveranno.
III.
nella mente del principiante ci sono molte possibilità; in quella dell'esperto poche – Suzuki
Qualcosa di spesso ripetuto nella Silicon Valley al giorno d'oggi è come l'esperienza nella ricerca sull'AI possa essere in realtà controproducente per una buona intuizione di ricerca nell'era moderna. Ho osservato parti di questo da vicino; molti ricercatori dell'era pre-scaling rimangono interessati a progettare metodi che funzionano su piccola scala ma falliranno ovviamente se testati su larga scala.
Una cosa davvero impressionante di OpenAI è che la maggior parte delle persone che dirigono l'azienda (almeno sul lato tecnico) ha meno di 35 anni. Molti dei decisori importanti dietro ChatGPT hanno meno di 30 anni. Una cosa che possiamo imparare da questo è che, poiché l'AI è un campo così nascente (ChatGPT ha meno di quattro anni!), nessuno ha un enorme vantaggio, perché nessuno ci lavora da molto tempo.
In breve, aggrapparsi alle idee troppo a lungo può essere in realtà controproducente. Pratica la mente del principiante. Rimani aperto e rifiuta di lasciare che l'ego offuschi il tuo giudizio.
IV.
L'ispirazione arriva quando meno te l'aspetti.
Ecco due esempi dalla storia:
- La scoperta della struttura dell'anello del benzene arrivò famosamente in un sogno: la struttura non era mai stata vista prima, ma fu immaginata come un serpente che si morde la coda.
- Ozempic fondamentalmente deriva dalle lucertole. L'ormone GLP-1 che imita fu trovato per la prima volta nel veleno del mostro di Gila, una lucertola del deserto che mangia solo poche volte all'anno. In qualche modo abbiamo capito come farlo funzionare anche per gli umani.
Un importante insegnamento è che per fare buona ricerca, devi fare cose diverse dalla ricerca. La maggior parte dei miei momenti "aha" personali sono avvenuti lontano dalla tastiera, specialmente durante le passeggiate.
Darwin, Tesla, Feynman, Aristotele. Molti grandi pensatori della storia hanno proclamato i benefici straordinari di sgranchirsi le gambe e fare una piccola passeggiata. Anche se non fai ricerca, dovresti probabilmente fare più passeggiate.
V.
Anche quando l'ispirazione colpisce, la natura potrebbe non essere benevola: anche con un'implementazione perfetta, la nostra idea potrebbe semplicemente non essere vera in un senso fondamentale. O forse lo era, o sembra esserlo. Quando arrivano i risultati, come dovremmo reagire?
Un altro principio che possiamo prendere in prestito dallo Zen è l'equanimità (sperimentale).
Quando analizzi un esperimento:
È andato bene? Fantastico!
È andato male? Anche fantastico!
Entrambi i risultati ti insegnano la stessa quantità di informazioni. In effetti, è spesso possibile imparare di più da una serie di risultati negativi che da un singolo risultato positivo. "Wow, ancora non funziona – incredibile!" Ecco un atteggiamento sano per la ricerca.
Il contrario di questo è che non dovresti entusiasmarti troppo per i buoni risultati. In effetti, la maggior parte dei buoni risultati arriva a causa di un bug; non è che i risultati stessi fossero buoni, è che hai misurato in modo errato e ti sei convinto. Tutti vogliono che le loro idee funzionino – e questa è una buona cosa! – ma una cosa che tutti i ricercatori esperti condividono è lo scetticismo estremo, specialmente di fronte a risultati che sembrano troppo belli per essere veri. Sfortunatamente, lo sono quasi sempre.
VI.
Un fiore non pensa di competere con il fiore accanto. Semplicemente fiorisce.
La ricerca è estremamente orientata ai risultati. Soprattutto in ambito accademico, è facile guardare ai successi altrui sulla carta e lasciarsi andare alle emozioni.
Le persone riescono per ragioni diverse. Alcuni sono fortunati. Il processo di revisione accademica, in particolare, non è né coerente né equo. Quando esce una nuova ricerca nel tuo ambito che ammiri, chiediti la seguente domanda:
Sto operando al livello di profondità adeguato per aver potuto fare questa scoperta da solo?
Ora ci sono due possibili risultati. Se la risposta è sì – ottimo. Il tuo processo è valido, ma non hai fatto questa scoperta; eri occupato, stavi facendo altro, ma avresti potuto.
E se la risposta è no – allora prendilo come motivazione per andare più a fondo.
VII.
prima dell'illuminazione, taglia legna, porta acqua. dopo l'illuminazione, taglia legna, porta acqua.
Molti progetti di successo implicano tipicamente centinaia di ore di lavoro sporco dietro le quinte. Andrej Karpathy ha etichettato a mano una porzione non banale di ImageNet. I creatori di SWEBench, che erano avanti per molti aspetti, hanno passato centinaia di ore a filtrare meticolosamente dati di GitHub per ottenere un piccolo set gestibile di issue di GitHub utili per la valutazione.
Se guardi la carriera dei grandi ricercatori, è probabile che abbiano passato molto tempo a lavorare nell'oscurità prima di trovare il successo. Abituati. Più un'idea è ambiziosa e lungimirante, più lavoro potrebbe richiedere per essere implementata e valutata a fondo. Questa difficoltà è una caratteristica, non un difetto.
VIII.
Collin Raffel, un ricercatore straordinario che rispetto profondamente, una volta ha menzionato che pensa che molte idee falliscano non perché siano cattive idee, ma perché il codice ha un bug che il ricercatore non ha mai trovato.
In generale questo è un problema davvero difficile, specialmente nel mondo degli LLM. Uno stack software moderno per il deep learning è estremamente complesso, e i bug possono nascondersi ovunque: nell'addestramento, nell'inferenza, negli harness, nei dati.
Se qualcosa sembra sbagliato, non puoi andare avanti. Puoi e dovresti registrare molte metriche e sforzarti di capirle tutte. Se alcune metriche appaiono diverse da quanto previsto, devi capire perché, perché qualcosa potrebbe non andare. Ho twittato in passato che uno dei tratti più importanti in un ricercatore è la paranoia sana. Sii paranoico!
IX.
Un punto pratico è che la maggior parte degli esperimenti che coinvolgono il deep learning richiedono troppo tempo. Addestrare modelli può richiedere settimane o mesi. Oggigiorno, valutare un modello su un singolo compito può richiedere diversi giorni.
Specialmente quando si programma con agenti, il nostro istinto potrebbe essere quello di avviare molti esperimenti in parallelo e lasciarli tutti eseguire a un ritmo lento. Sebbene una semplice parallelizzazione aiuti fino a un certo punto, il cambio di contesto è un modello dannoso.
È di fondamentale importanza progettare flussi di lavoro di ricerca ergonomici che supportino un feedback sperimentale rapido. Accorcia i tempi di avvio a freddo per l'addestramento, crea piccole valutazioni che restituiscano risultati velocemente. Ammiro molto la nanoGPT speedrun di Keller Jordan come esempio di quanto possiamo imparare da cicli di iterazione rapidi.
(Detto questo, alla fine della giornata, alcuni risultati richiedono un tempo inevitabilmente lungo. Quando puoi, mantenere lo stato per più giorni e capire gli esperimenti della scorsa settimana quando terminano oggi è un'abilità incredibilmente utile.)
X.
Gli agenti di programmazione ti aiutano ad andare più veloce, ma peggiorano due problemi: abbiamo più difficoltà a capire i dettagli di base e cambiamo contesto più spesso. Un buon ricercatore lavora attivamente per combattere entrambe le forze.
Codex può scrivere uno script di addestramento per te; può persino eseguire lo script, sorvegliarlo mentre è in esecuzione, interpretare i risultati e inviarteli in una email. Ma forse ha incontrato un errore e ha accorciato il prompt di sistema senza chiedertelo. Forse ha accorciato le lunghezze delle sequenze per far funzionare la valutazione in un tempo ragionevole. Forse ha eseguito la configurazione sbagliata perché non hai specificato.
Da una prospettiva ingegneristica, sono tutti piccoli errori con una soluzione facile. Ma da una scientifica, sono gravi: piccole omissioni come queste possono alterare materialmente risultati importanti di articoli e non sono quindi accettabili. Attenti ai draghi. Anche se non hai scritto il codice, se vuoi capire i tuoi risultati, devi capire il sistema che li ha prodotti.
Sarò sincero con te – è difficile! È tentativo esternalizzare la comprensione alla macchina. Per molte applicazioni, è più veloce. Ma fare buona scienza richiede imparare come funziona l'intero sistema, in modo da poter essere sicuri che le osservazioni su di esso siano vere. Non c'è una via facile per aggirare questo.
XI.
TLDR: Il talento non è tutto ciò che serve per diventare un ricercatore di successo. Il temperamento è enormemente sottovalutato. Rimani curioso e persistente, resta riflessivo e meticoloso, e le idee arriveranno.
