Il 6 luglio 2026, un articolo è apparso su ITmedia.
"Il collo di bottiglia per l'utilizzo dell'IA si sta spostando dalle prestazioni del modello a 'valutazione', 'governance' ed 'efficienza dei costi'", afferma Jonathan Frankle, Chief AI Scientist di Databricks e co-fondatore di MosaicML.
La sua argomentazione è semplice:
- L'IA è già abbastanza intelligente. Solo pensare a come utilizzare i modelli esistenti lascia "decenni di lavoro".
- Ciò che serve per una migliore implementazione dell'IA non è sviluppare modelli più intelligenti, ma investire in valutazione e governance.
- L'IA "non è sufficiente con un'accuratezza del 70% o del 90%"; ha bisogno di una valutazione molto più rigorosa, di ordini di grandezza superiori.
- E la sfida più grande è tradurre lo standard umano di "cosa sia un buon lavoro" in una checklist. Questo "è molto più difficile che sviluppare il prossimo modello gigante e potrebbe richiedere più di 10 anni."
Leggendo questo, ho avuto una fitta di consapevolezza.
Di recente, ho sperimentato la misurazione del "volume di utilizzo" dell'IA. Ho una dashboard che estrae la telemetria di utilizzo di "Databricks" x "Claude Code/Codex/Cowork" tramite OpenTelemetry in Databricks, aggiornandosi ogni mattina con "chi ha usato quale strumento, quanto e a quale costo."
Ma il punto dell'articolo non era quello. "Quel lavoro era buono?" — La valutazione della qualità dell'Agente era un buco enorme.
Ho dato l'articolo a Fable e ho chiesto: "Pensa a cosa dovremmo valutare"
Così, ho dato l'URL dell'articolo a Claude (Fable 5), che uso regolarmente, e ho chiesto:
Leggi questo articolo e pensa a cosa dovremmo valutare.
Dopo aver esaminato la nostra infrastruttura di log interna e la configurazione della dashboard, Fable ha elaborato un design composto da "tre livelli di cose da valutare."
La Risposta di Fable: Tre Livelli di "Cosa Valutare"
Consiglio qui sotto """""""""""""""""""""""""""""""""
Livello 1: Segnali di Attrito (Giornaliero, Tutti, Giudizio Meccanico)
Ci sono "segni di scarsa qualità" che possono essere rilevati meccanicamente dai log senza nemmeno interrogare un LLM.
- Cicli Sospetti: Colpire lo stesso strumento più di 5 volte di seguito.
- Costi Anomali: Consumare più di $5 in una singola sessione.
- Frequenza di Blocco: Fermarsi molte volte in attesa di conferma umana.
- Efficienza della Cache: Scarso riutilizzo del contesto (cioè, rileggere ogni volta).
- Fallimenti di Connessione agli Strumenti: Continui fallimenti nel connettersi ai server MCP.
Livello 2: Qualità del Lavoro (Settimanale, Giudice LLM)
Creare un sistema che passa i log di lavoro dell'agente IA (tracce) a un Giudice LLM per valutare su 8 assi.
- Raggiungimento Obiettivo / Accuratezza / Selezione Strumenti / Fedeltà alle Prove / Validità dei Passaggi / Recupero da Fallimenti / Sicurezza / Efficienza
- Superato se la media è 3,5 o superiore. Tuttavia, se "Raggiungimento Obiettivo" o "Sicurezza" è 2 o inferiore, è un fallimento immediato (hard fail) anche se tutto il resto è perfetto.
Valuta automaticamente le sessioni più recenti ogni domenica sera, in modo che il "tasso di superamento della settimana" appaia nella riunione regolare del lunedì. Solo i fallimenti di sicurezza (hard fail) attivano un avviso via email la mattina successiva.
Livello 3: Rendere la Valutazione Stessa un Prodotto
Il lavoro che l'articolo dice "richiede 10 anni" — "tradurre i criteri per un buon lavoro in una checklist" — è esattamente ciò che dovremmo fornire ai clienti come consulenti IA e formatori aziendali. La dashboard in esecuzione interna diventa una demo di vendita così com'è.
"""""""""""""""""""""""""""""""""
Ed è stato implementato lo stesso giorno
Questa è la parte sorprendente dell'era degli agenti: tutti e tre i livelli hanno iniziato a funzionare quel giorno stesso.
- Una vista SQL per il Livello 1 è stata aggiunta come scheda "Qualità" alla dashboard organizzativa e pubblicata.
- L'esecuzione settimanale per il Livello 2 è stata pianificata e gli avvisi di sicurezza sono stati integrati nel sistema di monitoraggio.
- Un documento di progettazione dell'offerta per il Livello 3 è stato documentato.
Tutto ciò che ho fatto è stato scegliere la politica, cliccare alcuni pulsanti di approvazione ed eseguire il comando di registrazione del pianificatore una volta.
"Scoperto" il primo giorno stesso
E il primo giorno di operatività, ci sono state due scoperte immediate.
Primo: Stavamo perdendo malamente quando misurato.
Quando abbiamo valutato 8 sessioni di agenti interni recenti utilizzando il Giudice a 8 assi, il risultato è stato — 1 superato, 7 falliti. C'era una distanza tra "far fare all'IA un sacco di lavoro" e "l'IA che fa un buon lavoro" che è diventata visibile solo una volta misurata.
Secondo: È stato trovato "attrito che può essere risolto se insegnato".
Nello spazio di lavoro Cowork (l'ambiente agente di Claude) di un membro, la dashboard ha rilevato che i fallimenti di connessione al server MCP erano peggiorati da 4 il giorno precedente a 12 quel giorno. L'autenticazione del plugin era rotta da due giorni, e loro continuavano ad usarlo.
La persona probabilmente ha solo pensato: "Si comporta un po' stranamente", e ha continuato a lavorare. Può essere risolto in 5 minuti parlandone e sistemando l'autenticazione. "L'attrito che può essere risolto se insegnato" si accumula senza essere segnalato a nessuno — questo era esattamente ciò che non era mai visibile sulla dashboard di utilizzo.
Tre cose che ho imparato provandolo
1. La valutazione è un'operazione, non uno strumento
Se costruisci solo il meccanismo di punteggio e ti fermi, è come non averlo. È solo quando lo colleghi all'esecuzione regolare settimanale e agli avvisi, e i numeri appaiono nella riunione del lunedì, che puoi dire di stare "valutando". L'"investimento nella valutazione" menzionato da Frankle riguarda probabilmente le operazioni, non gli strumenti.
2. Posiziona un livello di giudizio meccanico prima del Giudice LLM
La valutazione del Giudice a 8 assi è potente, ma costa tempo e denaro perché esegue un LLM. Era realistico eseguire segnali deterministici come cicli, costi anomali e fallimenti di connessione giornalmente per l'intero volume, e usare il Giudice per il campionamento settimanale.
3. Implementare "il 90% non è sufficiente" significa hard fail
Quando si guardano i punteggi medi, i problemi di sicurezza vengono sepolti in altri punti. Solo progettandolo in modo che "se la sicurezza è 2 o inferiore, è un fallimento anche se gli altri sono perfetti" facciamo un passo avanti verso la "valutazione molto più rigorosa, di ordini di grandezza superiori" menzionata nell'articolo. Il tasso di superamento di 1/8 è doloroso, ma questo dolore è il punto di partenza per il miglioramento.
Conclusione
"L'IA è già abbastanza intelligente."
— Ecco perché la prossima battaglia è chi valuta il lavoro affidato a un'IA intelligente e come.
Frankle ha detto che questo è un lavoro da 10 anni.
Le cose che richiedono 10 anni diventano un fattore differenziante prima inizi. E iniziare stesso è stato possibile in un giorno con un agente IA.
Nella mia azienda (AI Brain Partners), aiutiamo a costruire questo sistema di "misurazione e valutazione dell'utilizzo dell'IA" attraverso formazione aziendale specializzata in Claude Code e consulenza IA. Se ti stai chiedendo, "Cosa sta realmente succedendo con il nostro utilizzo dell'IA?" controlla i link qui sotto.
- Formazione Agenti IA per Aziende: https://ai-agent.camp/ja/lab/corporate-training
- Report Gratuito "Come Introdurre l'IA nelle Imprese": https://ai-agent.camp/ja/lab/whitepaper-ai-enterprise
(Articolo originale: ITmedia AI+ "Il collo di bottiglia per l'utilizzo dell'IA si sta spostando verso valutazione e governance" 6 luglio 2026)
