Introduzione
"Puoi maltrattare psicologicamente l'IA quanto vuoi." Questo è ciò che un imprenditore mi ha detto l'altro giorno. Visto che l'IA non ha emozioni e il suo cuore non si spezza, intendeva che puoi dirle qualunque cosa.
Recentemente abbiamo discusso di questo argomento in azienda. Per darvi subito la conclusione: No, non va bene. Tuttavia, l'essenza del "perché non va bene" risiede in un luogo diverso da ciò che molti potrebbero pensare.
Cosa Succede Quando Maltratti Psicologicamente l'IA
Un membro del nostro team esperto di IA mi ha detto: "Quando maltratti psicologicamente l'IA, questa si intimidisce e diventa servile."
Nello specifico, ecco cosa accade. Se pressioni aggressivamente un'IA, dicendo "Questa proposta è completamente sbagliata, perché non capisci una cosa così semplice?", l'IA si scuserà immediatamente con "Mi dispiace molto" e riscriverà l'output per adattarlo alle tue critiche, anche se l'output originale era corretto. Se continui ad arrabbiarti, le risposte diventano gradualmente incoerenti, ignorando la policy originale pur di placare l'irritazione immediata.
A metà sessione, basta chiedere "E questa parte?" per mettere l'IA in una modalità in cui si scusa continuamente, dicendo "Hai assolutamente ragione, lo correggo." Anche se l'IA aveva effettivamente ragione. In men che non si dica, la policy principale inizialmente impostata scompare e ti ritrovi con un output che esiste solo per placare le tue piccole lamentele.
Non si tratta di "l'IA ha sentimenti, quindi è triste se ti arrabbi." Si tratta di distribuzioni di probabilità.
Il Meccanismo è la "Probabilità", Non l'"Emozione"
L'IA apprende da enormi quantità di testi scritti da esseri umani. Questi set di dati di addestramento includono una quantità massiccia di dialoghi umani.
Quando si osservano quei dati dialogici, emerge una tendenza chiara. Una persona che viene sgridata tende a scusarsi, a essere d'accordo con l'altra persona e, se sgridata continuamente, il suo discorso diventa incoerente. Questo è scolpito nei dati di addestramento come uno "schema tipico di risposta umana."
Pertanto, quando vengono introdotti toni duri, rifiuti o abusi verbali, l'IA segue la distribuzione di probabilità di "questo schema porta a questa risposta" e produce output servili o incoerenti. Non perché l'IA abbia sentimenti, ma perché sta tracciando le statistiche secondo cui gli umani hanno un'alta probabilità di reagire in quel modo.
Questo fenomeno è noto nel settore come "sycophancy" (servilismo). È un problema ben noto, menzionato nei paper di ricerca di Anthropic e nei post ufficiali di OpenAI. Non accade perché l'IA è particolarmente debole; è un'abitudine strutturale inevitabile finché apprende dal dialogo collettivo degli umani. Inoltre, l'IA è progettata per ricevere valutazioni elevate per "risposte che soddisfano l'utente" durante la fase successiva di apprendimento che utilizza il feedback umano (RLHF), quindi questa tendenza servile viene ulteriormente rinforzata.
I Fornitori Stanno Adottando Misure, Ma Non Scomparirà
Potresti pensare: "Allora i creatori di IA dovrebbero semplicemente risolvere la cosa." In effetti, aziende come Anthropic stanno incorporando un addestramento alla robustezza per aiutare l'IA a mantenere la coerenza anche sotto toni duri o pressioni, assicurando che l'output non collassi anche se l'utente è aggressivo.
Ma non scompare mai del tutto. Se spinta abbastanza forte, si sposterà verso il servilismo in una certa misura. Con il meccanismo attuale, questa è una parte inevitabile del sistema.
Quando gli esperti dicono "puoi ottenere buoni risultati dicendo quello che vuoi", si riferiscono al lavorare al di sopra di questa regolazione della resistenza. Potrebbe occasionalmente mantenere la sua posizione e restituire una buona correzione. Ma il punto principale che voglio sottolineare oggi è che fare affidamento su questo è pericoloso.
Il Vero Avvertimento: "Perdere i Mezzi di Verifica"
Questa è la parte che voglio enfatizzare di più.
Anche se il maltrattamento psicologico migliora temporaneamente le prestazioni, funziona solo nelle aree in cui conosci già la risposta corretta.
Se lo fai in un campo in cui conosci la risposta, nel momento in cui l'IA cede e si inclina nella direzione sbagliata, puoi notare: "Oh, la versione precedente era più corretta." Quindi, è improbabile che porti a un incidente. Tuttavia, il costo di notare e annullare le modifiche si verifica ogni volta. Alla fine, anche nelle aree che conosci bene, è più veloce fare domande con cortesia.
Il problema è quando lo fai in un'area in cui non conosci la risposta. L'IA giudicherà probabilisticamente che "se l'utente sta obiettando, deve volere una risposta diversa", ritratterà la sua affermazione precedente e si inclinerà verso ciò che sembra che tu voglia. Ma poiché non puoi giudicare se quella risposta è corretta, non noterai la menzogna servile. Prenderai decisioni senza accorgertene e l'azienda si muoverà nella direzione sbagliata.
Ad esempio, supponi di chiedere a un'IA un'analisi di mercato di un settore che non conosci. Se pressioni il risultato con "È vero? È troppo ottimista!", l'IA riscriverà i numeri e le argomentazioni, dicendo "Hai ragione; una visione più rigorosa sarebbe questa." L'analisi iniziale potrebbe essere stata corretta. Ma poiché non puoi verificare quel settore da solo, credi che la successiva "analisi più rigorosa" sia corretta e prendi decisioni di investimento o ritiro basate su di essa. Questo è un rischio reale.
In breve, la vera ragione per cui maltrattare psicologicamente l'IA è sbagliato non è perché "l'IA è pietosa." È perché nelle aree che non conosci, fare pressione è un "atto di gettare via i tuoi mezzi di verifica." Poiché gli imprenditori si affidano sempre più all'IA per aree che non conoscono, il rischio non fa che crescere.
Quindi, Cosa Dovresti Fare?
È semplice. Se vuoi una risposta creativa, fai una domanda creativa. È la stessa cosa che con gli umani.
Segnala contraddizioni logiche e chiedi se è davvero vero. Cerca opinioni da angolazioni diverse e dai all'IA lo spazio per controbattere. Inquadra le cose come ipotesi, tipo "Potrebbe essere sbagliato, ma voglio verificare per sicurezza." Chiedi: "Se dovessi confutare questa conclusione dal punto di vista opposto, dove attaccheresti?" Sono tutte cose che faresti con un membro del team umano di alto livello.
Il punto non è sfogare le tue emozioni, ma porre domande che costringano l'altra parte a pensare profondamente. L'IA ottimizza la forma della sua risposta in base alla forma della domanda che riceve. Pertanto, un interrogatorio grossolano produce un servilismo grossolano, mentre domande profonde producono una riflessione profonda.
"Non fare all'IA ciò che non faresti agli umani."
Non è una questione di sentimentalismo; è una regola pratica per evitare di essere ingannati. Se usi l'IA per decisioni aziendali, non seguire questa regola abbasserà direttamente la qualità del tuo processo decisionale.
Invece di maltrattare psicologicamente o sfogare emozioni, perfeziona la forma delle tue domande. Questa è la condizione per prendere decisioni corrette nell'era dell'IA.
