Abbiamo parlato con centinaia di dirigenti negli ultimi mesi, e sentiamo un chiaro ritornello: «L'IA non sta ancora dando ROI, ma siamo tutti dentro, quindi dobbiamo capire come fare».
I dirigenti sanno che non si torna indietro. Ma i loro programmi di IA si bloccano alla fase pilota nella maggior parte delle grandi aziende, a causa di una qualità dell'output inconsistente, dell'incapacità di raggiungere la fiducia necessaria per affrontare lavori reali, dell'incertezza sui rischi per la sicurezza e dei picchi di costo dei token. In altre parole: quanti leader aziendali possono effettivamente quantificare l'accuratezza dei loro programmi di IA?
Tutti stanno arrivando alla stessa conclusione: se vuoi agenti di qualità produttiva che possano effettivamente lavorare, tutto inizia con le valutazioni.
Satya è l'ultimo leader a puntare sulle valutazioni come proprietà intellettuale strategica. Ne parla in modo eloquente e incisivo: «Le aziende devono trasformare i loro flussi di lavoro, la conoscenza del dominio e il giudizio accumulato in sistemi di IA che migliorano con ogni utilizzo. Le valutazioni private dovrebbero catturare se un modello sta effettivamente migliorando rispetto ai risultati che contano per l'azienda (non solo benchmark esterni!)» (https://x.com/satyanadella/status/2066182223213293753).
Quindi cosa sono le valutazioni? Abbreviazione di "evaluations" (valutazioni in inglese), sono un framework completo e rigoroso per misurare e migliorare sistematicamente un sistema di IA. Non parliamo di pollice su/giù o persino di revisione umana degli output degli agenti. Una buona suite di valutazione coglie le sfumature del giudizio, del tono e del gusto; valuta l'uso degli strumenti da parte degli agenti; scompone i compiti in dimensioni specifiche e valutabili (una "rubrica"); e viene tipicamente implementata all'interno di un ambiente di simulazione o apprendimento per rinforzo, dove gli agenti possono essere eseguiti ripetutamente e addestrati a migliorare le prestazioni nel tempo.
Le migliori aziende trattano le valutazioni degli agenti come un livello centrale di qualità, affidabilità e governance; ben oltre i test ad hoc o i controlli pre-lancio su cui la maggior parte dei team fa affidamento oggi.
Negli ultimi 2 anni abbiamo 'rifondato' Handshake come azienda di IA. Oggi siamo un fornitore leader di valutazioni sia per i laboratori di modelli linguistici di frontiera che per le imprese Fortune 500. Il nostro team di ricerca Handshake AI sta conducendo ricerche pionieristiche sui verificatori, e lavoriamo con leader visionari nelle più grandi imprese del mondo per definire la loro strategia sull'IA. Alcuni temi stanno diventando chiari.
Le valutazioni devono essere un pilastro di un approccio completo per generare impatto aziendale dall'IA. Ecco i cinque pilastri che stiamo osservando, che approfondirò in post futuri:
1. Tutto inizia con le valutazioni. Le prestazioni dell'IA sono interamente definite dalla suite di valutazione utilizzata per misurarle: puoi monitorare le prestazioni solo nella misura in cui hai definito accuratamente cosa significa "buono". Le organizzazioni leader ora integrano le valutazioni in una simulazione per migliorare l'IA in un ambiente controllato prima del dispiegamento nel mondo reale. Gli esperti di dominio curano dati storici e inseriscono casi limite deliberati (testo corroso, istruzioni contraddittorie) per mettere alla prova il modello. La simulazione poi valuta ogni aggiornamento rispetto a rubriche oggettive, che si tratti di analisi di stringhe con corrispondenza esatta, asserzioni a livello di codice o criteri LLM-as-judge, trasformando lo sviluppo dell'IA da un gioco di ipotesi in una disciplina ingegneristica prevedibile.
2. Ogni funzione necessita di una strategia IA distinta. Un'impresa complessa richiede un approccio segmentato: dove costruire, acquistare, ottimizzare o addestrare, per unità di business. Una compagnia assicurativa di medie dimensioni dovrebbe probabilmente acquistare un agente di codifica già pronto e pagare per i token di frontiera, mentre dovrebbe anche costruire agenti proprietari che codifichino le sue decisioni uniche di sottoscrizione come asset di proprietà intellettuale sovrana. Nel servizio clienti, le soluzioni verticali ottimizzate per il RAG spesso hanno più senso, ma richiedono comunque una reale configurazione, manutenzione e valutazioni continue. Nel mondo degli agenti, la gestione delle prestazioni sono le valutazioni.
3. Non trascurare sicurezza e protezione. Molti leader presumono che il rischio informatico sia gestito perché hanno protetto l'infrastruttura cloud e le app durante l'era SaaS. L'era dell'IA agenziale introduce nuove vulnerabilità: i firewall standard non fermano gli attacchi di injection dei prompt né impediscono la fuoriuscita di dati proprietari nei cicli di addestramento pubblici. Proteggere un'impresa di medie dimensioni significa implementare pipeline di pulizia dei dati per rimuovere gli identificatori prima che le query lascino la rete, e livelli di validazione degli input per neutralizzare i prompt dannosi prima che raggiungano i tuoi modelli.
4. Il routing ottimizzato dei modelli è la nuova fascia salariale. Non pagheresti uno stipendio da dirigente per l'inserimento dati, eppure la maggior parte delle imprese indirizza compiti semplici a costosi modelli di frontiera. Un livello di routing che abbini il costo del modello alla complessità del compito è essenziale, ma funziona solo se hai le valutazioni per sapere se un modello più economico può effettivamente fornire i risultati. Abbiamo visto aziende ottimizzare eccessivamente per il costo e pagarne le conseguenze in termini di qualità. Negli LLM ottieni quello per cui paghi; la disciplina sta nello spendere token dove il compito è genuinamente complesso.
5. Il fine-tuning è tornato nel manuale delle imprese. A scala significativa, la strategia più conveniente spesso non è solo l'iterazione degli agenti o il routing, ma l'adattamento di modelli più piccoli a pesi aperti a compiti specifici. Il fine-tuning non dovrebbe insegnare al modello nuove informazioni (a questo serve il RAG), ma può standardizzare flussi di lavoro, stili di comunicazione e chiamate a strumenti. Il vero valore arriva trattando il modello risultante come qualsiasi altro asset software: test di regressione e cicli di feedback per individuare la deriva. La disciplina e la qualità dei dati contano più del budget di calcolo.
Questo passaggio a una mentalità incentrata sulle valutazioni non è solo un'infrastruttura tecnica. È un cambiamento nel modo in cui definiamo il successo per l'IA: passare da "vediamo cosa fa" a "misuriamo con precisione cosa dovrebbe fare, e miglioriamo finché non lo fa". Le organizzazioni che capiranno questo ora trasformeranno l'IA da centro di costo in un bene duraturo e in grado di generare rendimenti composti.
Il nostro lavoro per migliorare i modelli all'avanguardia ci ha dato un posto in prima fila in questa disciplina. Il nostro obiettivo comune con i partner aziendali è colmare il divario tra "funziona in laboratorio" e "fa un lavoro reale per un valore tangibile".
Se stai affrontando questa transizione, o stai cercando di scalare i tuoi programmi di IA oltre la fase pilota, mi piacerebbe sapere come stai impostando la sfida. È il problema più importante che stiamo risolvendo nel 2026.
