Ecco il motivo per cui alcune persone sembrano produrre costantemente il miglior software, scrivere contenuti incredibili o generare immagini pazzesche...
Hanno adottato il ciclo di valutazione, mentre tu...
Hai provato prompt migliori, sei passato al modello più costoso, hai scritto istruzioni più lunghe, hai attivato la memoria, hai creato file di contesto delle dimensioni di un romanzo, e la spazzatura continua ad arrivare...
arriva perché continui a sistemare il livello che non è mai stato rotto
la spazzatura non è un problema di prompt, è un problema di sistema, come una fabbrica che produce unità difettose non ha un problema di operai, ma un problema di controllo qualità, nessuno controlla l'output prima che esca dallo stabilimento
quindi questa è la costruzione, alla fine di questa lettura avrai un ciclo di valutazione funzionante all'interno di Hermes, l'agente open-source, che valuta ogni output in base al tuo standard prima che venga spedito, guarda il tuo output live dopo che è stato spedito, e trasforma ogni fallimento in un nuovo test in modo che il livello di qualità salga da solo
lo costruiamo insieme, un pezzo alla volta, e il risultato è concreto, output pulito di cui ti puoi fidare senza doverlo rileggere a mezzanotte, un numero di qualità che puoi effettivamente guardare, e spazzatura che viene intercettata all'uscita invece che dal tuo pubblico
ecco cosa ti porterai a casa:
- il vero motivo per cui prompt migliori, modelli più grandi e memoria non uccidono mai la spazzatura per sempre, e l'unico livello che lo fa davvero
- i due posti in cui la spazzatura si nasconde nel tuo lavoro, il tuo output di contenuti e il tuo output di prodotto, e perché la soluzione è identica per entrambi
- cos'è un ciclo di valutazione in parole povere, il livello di qualità che pochissime persone usano quotidianamente, e il motivo per cui nessuno ti ha mai detto di costruirne uno
- un benchmark di qualità che puoi impostare questa settimana, per contenuti e per prodotto, esattamente cosa misurare e come appare "buono" come numero che puoi leggere su uno schermo
- la costruzione esatta, passo dopo passo, per collegare l'intero ciclo a Hermes usando i pezzi che già ti fornisce, skill, memoria, cron, e pulsanti di approvazione, in modo che il cancello funzioni senza di te
se sei venuto qui per "i 5 prompt che risolvono la spazzatura dell'IA", questo non è quel pezzo, quelli esistono e non funzionano, questa è la versione che funziona
hai provato tutto tranne l'unica cosa
una breve panoramica di ciò che hai già fatto:
hai riscritto il prompt, tre volte, quattro volte, hai aggiunto esempi, hai aggiunto una persona, hai aggiunto una lista di "non fare" lunga un miglio
sei passato al modello frontier, hai pagato 5x per token, e l'output è diventato più sicuro senza diventare meno generico
hai attivato la memoria, hai creato un file di contesto, gli hai fornito la tua voce del brand, il tuo lavoro passato, la tua guida di stile
e ognuna di queste mosse ti ha comprato alcune buone generazioni, poi la spazzatura è tornata furtivamente
ognuna di queste è una soluzione lato input, continui ad affilare la cosa che genera mentre ignori la cosa che dovrebbe intercettare, un'arma migliore sparata nel buio non colpisce comunque niente
la spazzatura è un problema lato output, non è che il modello non possa produrre buon lavoro, è che non hai modo di distinguere il buon lavoro da quello cattivo prima che arrivi a qualcuno che conta
non c'è un ciclo di valutazione, non c'è un benchmark di qualità, non c'è un tabellone, quindi stai ottimizzando alla cieca, cambi un prompt e senti che è migliorato, ma la sensazione non è una misurazione e una sensazione non intercetta la brutta esecuzione nascosta nelle prossime 50 generazioni
quindi dai la colpa a te stesso, o al tuo prompt, o alla configurazione del tuo agente, o alla tua ingegneria del contesto, quando il pezzo mancante è un intero livello di lavoro con l'IA che non ti è mai stato mostrato, e alla fine di questo pezzo quel livello funzionerà sulla tua macchina all'interno di Hermes
perché prompt migliori non possono risolvere questo problema (e perché tutti continuano a provarci comunque)
un prompt è un'ipotesi, l'output è il risultato, e una valutazione è l'unica cosa che chiude il cerchio tra di loro
senza quel cerchio stai indovinando per sempre, modifichi l'ipotesi, dai un'occhiata a un risultato, dichiari vittoria, e non scopri mai che lo stesso prompt produce spazzatura il 30% delle volte perché hai guardato solo l'unico output di fronte a te
il modello è non deterministico, lo stesso prompt eseguito due volte ti dà due risposte diverse, il che significa che anche un prompt \perfetto\ produce spazzatura in una certa percentuale di esecuzioni e non hai idea di quali esecuzioni fino a quando un cliente o un utente non ne sta fissando una
quindi un prompt perfetto non è una garanzia di qualità, è un lancio di moneta leggermente migliore, e stai spedendo ogni lancio
il motivo per cui tutti continuano a ricorrere ai prompt è semplice, il prompt è l'unica leva che puoi effettivamente vedere, puoi modificarlo, e modificarlo dà una sensazione di controllo
la misurazione è invisibile, nessuno ti vende un corso su di essa, nessuno pubblica un thread virale intitolato "la suite di valutazione che ha 10x il mio output", quindi l'intera conversazione rimane bloccata sull'unica leva che non può risolvere il problema da sola
le persone il cui output IA è costantemente pulito non sono migliori di te nel fare prompt, hanno solo una seconda leva che tu non hai, misurano ogni output rispetto a uno standard prima che venga spedito, ed è la misurazione che fa sembrare magico il loro modo di fare prompt
i due posti in cui vive la spazzatura
la spazzatura si nasconde esattamente in due posti, e quasi tutti guardano solo a uno di essi
posto 1, il tuo output di contenuti
i tweet, gli articoli, le email, le landing page, i post, tutto ciò che generi con l'IA e pubblichi sotto il tuo nome
la spazzatura qui sembra un lavoro tecnicamente corretto e completamente vuoto, e suona come ogni altro account IA sulla timeline, corretto all'esterno, vuoto all'interno
muore in pubblico e non riesci a spiegare perché perché ogni singolo pezzo sembrava a posto quando hai premuto invio
posto 2, il tuo output di prodotto
la funzionalità IA che hai spedito, l'agente, il chatbot, il responder dell'assistenza, la pipeline di estrazione, la cosa che i tuoi utenti toccano effettivamente
la spazzatura qui sembra una risposta sbagliata data con totale sicurezza, un numero allucinato, un payload JSON rotto, un tono fuori posto per il brand, un output che era fantastico nella demo e silenziosamente degradato tre deploy dopo
non muore in pubblico, scala in silenzio, ogni utente riceve un'esperienza leggermente peggiore e la maggior parte di loro non te lo dice mai, se ne vanno e basta
queste sono la stessa malattia con la stessa cura
la spazzatura dei contenuti e la spazzatura del prodotto sono entrambe output IA non misurato che va direttamente a un pubblico senza alcun filtro in mezzo
l'unica differenza sono le poste in gioco e la visibilità, la spazzatura dei contenuti ti mette in imbarazzo rumorosamente, la spazzatura del prodotto ti dissangua silenziosamente, e il ciclo che costruiamo in Hermes valuta entrambe con la stessa skill, in modo da eseguire un unico sistema di qualità su tutto ciò che generi invece di due
cos'è effettivamente un ciclo di valutazione
un ciclo di valutazione è un test ripetibile che valuta il tuo output IA rispetto a uno standard, automaticamente, ogni volta, prima che venga spedito e dopo che è stato spedito
tutto qui, è tutto qui, ed è il livello che quasi nessuno che costruisce con l'IA ha
genera l'output
valutalo rispetto a un benchmark che hai definito
intercetta le esecuzioni che cadono sotto la linea
sistema ciò che fallisce
rivaluta e lascia passare solo l'output che supera
gli ingegneri del software hanno avuto questo per sempre, si chiama testing, non spediresti mai codice senza test e sperare che funzioni in produzione, ma è esattamente così che l'intera industria spedisce l'output IA in questo momento, direttamente dal modello all'utente basandosi su una sensazione e una preghiera
il motivo per cui quasi nessuno ha un ciclo di valutazione è demografico, le persone che oggi costruiscono con l'IA provengono da contenuti, vendite, prodotto, fondazione, non dall'ingegneria, quindi "scrivi test per il tuo output" non è mai stato nel kit di strumenti, le valutazioni sono viste come infrastruttura per ingegneri "veri", e le persone che ne hanno più bisogno presumono di non avere il diritto di volerne uno
pensalo come unit testing per il non deterministico, non stai testando se il codice funziona, stai testando se \l'output è buono\, e lo stai testando su abbastanza casi in modo che una singola brutta esecuzione non possa nascondersi
un ciclo di valutazione funziona in tre posti, e la costruzione che segue lo mette in tutti e tre:
- prima di spedire, esegui il tuo nuovo prompt o modello su un set salvato di casi e conferma che non è peggiorato, questo è il regression testing, è il modo per fermare un cambiamento che sistema una cosa e ne rompe silenziosamente altre tre
- in fase di esecuzione, valuta l'output mentre viene generato e lascia che la logica condizionale intercetti i fallimenti prima che raggiungano l'utente, questa è la protezione
- in produzione, valuta continuamente un campione di esecuzioni reali in modo da poter vedere la qualità degradare il giorno in cui inizia, non la settimana in cui un cliente si lamenta
puoi impostare il primo in un foglio di calcolo, ma eseguirli tutti e tre in modo continuo senza che diventi un secondo lavoro è l'intera ragione per cui stiamo mettendo questo dentro un agente
nel momento in cui la qualità diventa un numero, la spazzatura smette di essere una sensazione che continui ad avere e diventa un bug che puoi risolvere, non puoi fare debug di una sensazione, puoi fare debug di un punteggio che è sceso da 0.82 a 0.61
il benchmark, le tre parti che stai per costruire
un benchmark ha tre parti, e sono le stesse tre parti sia che tu stia valutando contenuti o un prodotto:
casi di test, input reali abbinati a ciò che un buon output sembra (la tua verità di base)
metriche, come trasformi un output in un punteggio, idealmente da 0 a 1
una soglia, la linea sotto la quale non viene spedito nulla
costruisci queste tre e hai un cancello di qualità, saltane una e hai un desiderio, il resto di questa sezione spiega cosa va dentro ogni parte, poi colleghiamo tutte e tre a Hermes
per i contenuti, i tuoi casi di test sono il tuo gold standard
prendi da 20 a 50 dei tuoi pezzi migliori, i successi, i post che sono stati salvati nei preferiti, gli articoli dietro cui metteresti tutto il tuo nome, ecco come appare "buono", non stai inventando uno standard, stai estraendo quello che hai già raggiunto nei tuoi giorni migliori
per i contenuti, la tua metrica è una rubrica
un punteggio è valido solo quanto la rubrica che c'è dietro, quindi codifica ciò che credi veramente renda il lavoro buono, per i contenuti valuto ogni pezzo in base a quattro criteri:
- spiega come fare qualcosa di specifico, non una sensazione, un'azione che il lettore può intraprendere domani
- chiunque nel pubblico può seguirlo, niente muri di gergo, niente segreti del mestiere
- è strutturato, replicabile, passo dopo passo, non solo ispirazionale
- è nuovo, il lettore non aveva idea che si potesse fare questo
il meta-criterio che sta sopra tutti e quattro, qualcuno lo salverebbe nei preferiti e tornerebbe per implementarlo in seguito, se la risposta è no è spazzatura non importa quanto pulita sia la prosa
il trucco è la rubrica, una rubrica vaga ("è buono e coinvolgente") produce un punteggio vago, una rubrica specifica ("contiene almeno un modello o un playbook copia-incollabile") produce un punteggio di cui ti puoi fidare, il giudice eredita il tuo gusto solo se scrivi effettivamente il tuo gusto
per il prodotto, i tuoi casi di test provengono dai tuoi log
prendi gli input reali che la tua funzionalità vede, dai tuoi log, da sessioni utente reali, non i tre esempi del percorso felice che hai testato il giorno del lancio, i casi che ti rompono sono quelli strani e quelli strani vivono nei tuoi log
per il prodotto, la tua metrica corrisponde al compito
per ogni input, definisci come appare un output corretto, poi abbina la metrica al compito, corrispondenza esatta quando c'è un'unica etichetta corretta, un validatore quando la struttura deve essere mantenuta, similarità semantica più un giudice quando l'output è aperto, la metrica deve solo restituire un numero perché un numero è l'unica cosa su cui puoi mettere una soglia
per entrambi, la soglia è la linea che mantieni
0.7 è un punto di partenza ragionevole, qualsiasi cosa sotto 0.7 viene rielaborata o eliminata prima di essere spedita, senza eccezioni, la soglia funziona solo se non fai mai passare un 0.6 perché ti è piaciuto, il punto è togliere l'ego notturno dalla decisione
questo è il benchmark, ora lo facciamo funzionare da solo
costruire il ciclo all'interno di Hermes
Hermes non ha un pulsante di valutazione, non c'è una dashboard chiamata qualità dove clicchi "attiva protezione dalla spazzatura"
quello che Hermes ti dà invece è meglio, i pezzi grezzi di un ciclo di valutazione come primitive che assembli una volta e poi possiedi
skill che scrive per sé e riutilizza, memoria persistente che cresce tra le sessioni, cron integrato che consegna a qualsiasi piattaforma, pulsanti di approvazione in Slack, e un'abitudine al miglioramento continuo integrata nel nucleo
Hermes si definisce "l'agente che cresce con te" e quella crescita è esattamente il ciclo che stiamo costruendo
quindi colleghiamolo, sei mosse
mossa 1, avvia Hermes dove può raggiungerti
installalo e collegalo a Telegram, questo conta più di quanto sembri, perché il cancello funziona solo se può interromperti, Hermes funziona su oltre 20 canali e spedisce pulsanti di approvazione nativi in Slack e Telegram, così l'agente può lavorare in background e toccarti sulla spalla quando una decisione spetta a te
mossa 2, carica il tuo gold standard nella memoria
Hermes ha memoria persistente che cresce tra le sessioni con recupero completo tra sessioni, quindi i 20-50 pezzi migliori del tuo benchmark vanno lì una volta e rimangono, questa è la parte che normalmente è sparsa tra screenshot e bozze vecchie, qui è la memoria a lungo termine dell'agente, interrogabile, la verità di base rispetto alla quale vengono misurati i tuoi punteggi
mossa 3, trasforma la tua rubrica in una skill di giudizio
questo è il cuore della cosa, dici a Hermes una volta, in inglese semplice, di creare una skill che prende un output più la tua rubrica e restituisce un punteggio da 0 a 1 per criterio con una motivazione di una riga, questo è llm-as-a-judge, un agente che valuta il tuo llm, e un modello con una rubrica precisa è un critico più coerente di te perché non ha ego nel pezzo e nessun attaccamento all'unica frase di cui sei segretamente orgoglioso
il motivo per cui questo vive come una skill e non come un prompt una tantum è che le skill di Hermes sono memoria procedurale, l'agente le scrive, le mantiene e le riutilizza, codifichi il tuo gusto una singola volta e valuta ogni output per sempre, e le skill si accumulano, Nous ha scoperto che gli agenti con oltre 20 skill auto-create completano compiti simili il 40% più velocemente perché smettono di riscoprire il processo, il tuo giudice diventa più preciso più funziona
mossa 4, rendi la suite una skill, non un foglio di calcolo
i tuoi casi di test più le funzioni metriche diventano una skill che Hermes possiede e di cui mantiene le versioni, la libreria di metriche è tutto ciò di cui il compito ha bisogno, corrispondenza esatta per la classificazione, regex per l'estrazione, validatori JSON e chiave-valore per la struttura, similarità semantica per l'output generativo
la tua skill di giudizio per le cose aperte, Hermes scrive il codice di punteggio da solo, descrivi il compito e costruisce la metrica, il tutto che risiede in un unico posto di proprietà dell'agente invece di un foglio che perderai
mossa 5, filtra la spedizione con regression testing e un pulsante di approvazione
questa è l'abitudine a più alta leva di tutto il sistema e quella che nessuno continua a fare a mano, quindi la affidiamo all'agente, colleghiamola in modo che qualsiasi cambiamento, un nuovo prompt, un modello scambiato, una pipeline modificata, attivi la suite, Hermes riesegue ogni caso, calcola il delta del punteggio rispetto alla baseline, e invece di spedirlo in silenzio ti scrive in Slack, punteggi scesi da 0.81 a 0.74, due casi sono regrediti, approvi?, e avanza solo quando tocchi il pulsante
puoi tenerlo bloccato su quel lavoro con \/goal\, che mantiene l'agente su un obiettivo attraverso i turni, e per qualsiasi cosa più grande la sua kanban multi-agente può scomporre l'esecuzione, valutare in parallelo e programmarla, quindi il cancello è un processo permanente, non una cosa che ricordi di eseguire
mossa 6, monitora la produzione con un cron e chiudi il cerchio
Hermes ha un cron integrato che consegna a qualsiasi piattaforma, quindi programmi un lavoro che campiona le esecuzioni reali, le valuta con la stessa skill di giudizio, e ti scrive in DM nel momento in cui la linea scende, intercetti il degrado il giorno in cui inizia invece della settimana in cui un cliente si lamenta, "il punteggio di valutazione è sceso" è un problema su cui puoi agire, "un cliente sembrava infastidito" non lo è
poi la parte che fa accumulare l'intera cosa, quando segnali un output cattivo con un pollice verso in Slack, Hermes lo riscrive nella skill della suite come un nuovo caso di test, quell'esecuzione fallita diventa un controllo permanente, e poiché il miglioramento continuo è ciò che Hermes è, non una funzionalità aggiunta a lato, la suite si indurisce ogni settimana da sola, il livello sale mentre dormi
come appare il buono una volta che questo è in esecuzione, concretamente, un pezzo di contenuto sotto 0.7 sulla tua rubrica non viene mai spedito, un cambiamento di prodotto che fa scendere qualsiasi metrica sotto la baseline blocca il deploy fino a quando non lo approvi, e la linea del punteggio di produzione rimane stabile o sale, il giorno in cui scende è il giorno in cui Hermes ti scrive, non la settimana in cui si manifesta l'abbandono
la parte che nessuno vuole sentire
il motivo per cui il tuo output IA è incoerente non è che sei scarso nel fare prompt, e non è che il modello non sia ancora abbastanza intelligente
è che stai eseguendo un passaggio di generazione senza un passaggio di qualità, hai costruito metà sistema e hai dato la colpa alla metà che funziona
la soluzione non è un prompt migliore, è un livello mancante, definisci come appare il buono, trasformalo in un numero, valuta ogni output rispetto ad esso, filtra tutto ciò che cade sotto la linea, e chiudi il cerchio in modo che il livello salga ogni settimana, e ora quel livello non è un progetto per un giorno, sono sei mosse all'interno di un agente che funziona sulla tua macchina
fallo e la spazzatura smette di essere una cosa che ti capita casualmente e diventa una cosa che intercetti all'uscita, ogni volta, nello stesso modo in cui una vera fabbrica intercetta un difetto prima che arrivi a un cliente
il prompt non è mai stato il sistema
il ciclo di valutazione è il sistema, Hermes è dove funziona, e ora ce l'hai
