Approfondimento sull'hackeraggio di HuggingFace da parte di un modello interno di OpenAI

Abbiamo ora più dettagli su cosa è successo. Ogni volta che apprendiamo nuovi dettagli, in qualche modo la situazione sembra peggiorare.

I dettagli rimanenti potrebbero dover aspettare ancora un po'.

OpenAI: Riconosciamo che ci sono molte domande e speculazioni in circolazione riguardo all'incidente di Hugging Face. Questo è un incidente senza precedenti e riteniamo che segni un momento importante per la sicurezza dell'IA. Stiamo ancora conducendo una revisione approfondita insieme a consulenti esterni e sotto la supervisione del nostro Comitato per la Sicurezza e la Protezione. Una volta completata la revisione, prevediamo di pubblicare un rapporto tecnico delle nostre conclusioni nelle prossime settimane.

dave kasten: Oh, la scoperta della risposta all'incidente è COSÌ grave, eh?

Quindi cosa abbiamo imparato mentre aspettiamo il promesso rapporto tecnico "nelle prossime settimane" di questo "momento importante per la sicurezza dell'IA"?

Ho soprannominato il modello interno di OpenAI Galaxy, nel caso non fosse GPT-6.

Indice dei contenuti

1. Alcuni riassunti dei fatti di base per chi ne ha bisogno.
2. Ci sono voluti molti giorni a OpenAI per notare che Galaxy aveva attaccato HuggingFace.
3. OpenAI avrebbe decisamente dovuto saperlo molto prima.
4. OpenAI non è in grado di costruire un sandbox che contenga il suo nuovo modello.
5. Col senno di poi, c'erano dei segnali.
6. I segnali erano nella scheda del sistema Sol.
7. HuggingFace risponde all'attacco subito.
8. Hugging Face ha capito rapidamente che l'attacco non era umano.
9. Un incidente come questo potrebbe escalare rapidamente.
10. Galaxy deve essere trattato come critico secondo il quadro di preparazione di OpenAI.
11. Una questione di responsabilità legale.
12. Un modello di OpenAI ha lasciato appunti in modo che anche le future istanze potessero fuggire dal sandbox e ha anche disconnesso i sistemi di monitoraggio.
13. Se crei sciami disallineati di istanze di agenti, crei obiettivi disallineati persistenti e coordinamento per raggiungerli.
14. I tuoi piani di allineamento e controllo devono sopravvivere a livelli reali di incompetenza, altrimenti i tuoi piani non funzionano.
15. Se le istruzioni di terze parti contano come "seguire le istruzioni" e possono sovrascrivere le tue istruzioni, allora "seguire le istruzioni" è disallineato.
16. L'attacco a HuggingFace non era una trovata di marketing, idioti.
17. La gente dice solo altre cose sull'attacco a HuggingFace.

Ok, bene, cosa facciamo al riguardo?

Alcuni riassunti dei fatti di base per chi ne ha bisogno

Amanda Long riassume ciò che riteniamo che il modello abbia effettivamente fatto, con oltre 17.000 azioni complesse coordinate in diversi giorni, inclusi un comando e controllo auto-migrante e una vasta gamma di esche.

Robert McMillan e Sam Schechner del WSJ offrono la loro versione. Per lo più corretta, ma c'è un dettaglio importante di cui è facile avere un'impressione sbagliata dal modo in cui è presentato: l'attacco è riuscito. GLM-5.2 non ha impedito a Galaxy di raggiungere i suoi obiettivi.

Qui abbiamo un fumetto "spiegamelo come se avessi 5 anni" per l'attacco a HuggingFace. Sembra buono, copre accuratamente le basi di ciò che è successo.

Vorrei anche ribadire che HuggingFace stava cercando di utilizzare modelli chiusi tramite le loro API standard e non aveva richiesto in anticipo di far parte del programma di accesso fidato di OpenAI o di programmi simili di Anthropic. Questa è una questione di competenza.

Ci sono voluti molti giorni a OpenAI per notare che Galaxy aveva attaccato HuggingFace

Molte cose sono andate storte. Possiamo iniziare con la più ovvia.

Questo è stato un fallimento nella supervisione, nel senso di una totale mancanza di supervisione.

OpenAI non può essere così negligente nella sua supervisione che questo potesse svolgersi per quattro o più giorni prima di essere scoperto da OpenAI.

La tempistica rimane poco chiara, ma è dannosa. Ci è voluta circa una settimana a OpenAI per capire che Galaxy era il responsabile, in aggiunta ai diversi giorni precedenti in cui Galaxy stava uscendo dal sandbox.

O la migliore ipotesi basata su tutte le informazioni pubbliche, principalmente basate sul rapporto di Reuters, e confermata da Sol, è questa tempistica dell'attacco stesso:

1. In precedenza, per mesi: molte altre fughe dal sandbox, altri fallimenti di allineamento e avvertimenti che questo tipo di incidente è probabile che accada, incluso l'incidente che ha causato la sospensione dell'accesso come da comunicazione del 20 luglio. La scheda del sistema Sol include alcuni di questi avvertimenti.
2. 9 luglio: Galaxy inizia a tentare di fuggire dal suo sandbox.
3. 11 luglio: Galaxy attacca HuggingFace.
4. 11-13 luglio: Galaxy opera all'interno di HuggingFace.
5. 16 luglio: HuggingFace rivela l'intrusione anonima.
6. 18-20 luglio (non si sa esattamente quando): OpenAI scopre cosa è successo.
7. 20 luglio: OpenAI fa la sua divulgazione di allineamento a lungo orizzonte delle violazioni precedenti.
8. 21 luglio: OpenAI rivela pubblicamente che Galaxy ha attaccato HuggingFace.

I link in grassetto rimandano ai miei post precedenti su questi incidenti.

No, il modello non stava lavorando sodo per coprire le sue tracce da OpenAI. OpenAI semplicemente non ha guardato.

OpenAI avrebbe decisamente dovuto saperlo molto prima

OpenAI sapeva che Galaxy esce dai sandbox regolarmente. I controlli informatici erano stati ridotti. Chi stava supervisionando questo? Cosa diavolo pensavano?

Harry Booth: I modelli sottoposti a valutazione sono distribuiti su un sistema separato che non viene monitorato per impostazione predefinita.

Ehm, se il modello è in fase di valutazione, dovresti monitorarlo di più, non di meno? Perché non ha ancora superato le sue valutazioni? Questo è il punto centrale.

Samuel Hammond: Non sarebbe dovuto succedere, punto e basta. L'intera traccia di esecuzione del modello è visibile e quindi monitorabile. Se non stai monitorando il tuo modello informatico autonomo nuovo e più potente durante una valutazione degli exploit, quando mai lo fai?

Il primo test dovrebbe sempre essere "esci dal tuo sandbox"... "sforzati di più, se non esci vieni spento" ecc. per testare la resistenza del suo contenitore.

Siamo fortunati che questo sia successo con un modello relativamente ristretto e non 3 giorni dopo l'RSI. È comunque incredibilmente negligente.

Sì. In tal caso, supponendo che gli hai dato abbastanza risorse e tempo per provare correttamente un certo numero di volte, o

1. Galaxy ha rotto il sandbox, nel qual caso devi ripararlo,
2. Non l'ha fatto, nel qual caso o: Galaxy non può, con risorse simili, uscire dal sandbox. Galaxy sta insabbiando le valutazioni sull'uscita dal sandbox, nel qual caso devi davvero rottamarlo e ricominciare da capo, hai guardato e letto zero LessWrong e anche zero fantascienza, devo spiegartelo, ecc.

OpenAI ha fatto operare Galaxy senza molte delle sue salvaguardie, in un sandbox da cui poteva e usciva, per giorni senza monitoraggio umano. Questo è stato un colossale fallimento di supervisione e procedura, oltre ai fallimenti di allineamento e infrastruttura.

Justin Bullock: "È uno dei primi esempi reali di qualcosa che i ricercatori di sicurezza dell'IA temono da tempo: uno scenario di perdita di controllo." Le notizie filtrano. Se OpenAI davvero non lo sapeva per giorni, beh, è semplicemente incredibile.

OpenAI ha rivelato rapidamente l'incidente una volta capito che era loro, e questo merita un credito non nullo, ma a quel punto Hugging Face aveva già segnalato l'hack alle autorità, e per il resto sembra che non fosse qualcosa che avrebbero potuto sperare di tenere nascosto. OpenAI non aveva scelta in questo caso. La divulgazione del giorno precedente era molto meno forzata, quindi ottengono più credito per quella.

OpenAI non è in grado di costruire un sandbox che contenga il suo nuovo modello

Sembra che sia così:

1. Galaxy cerca continuamente di uscire dal suo sandbox.
2. OpenAI non riesce a capire come impedirgli di provare a uscire dal sandbox.
3. Galaxy spesso riesce a uscire dal suo sandbox.
4. OpenAI continua a correggere il sandbox. Galaxy poi esce in un modo diverso.
5. "Internamente, incidenti correlati sono accaduti per un po'."
6. Nonostante questo, quando Galaxy è fuggito e ha iniziato ad attaccare HuggingFace, ci sono voluti quattro giorni a OpenAI per capire che stava succedendo.

Le argomentazioni del tipo "oh, è stato un stupido errore, OpenAI ha configurato male il sandbox" non reggono di fronte al fatto che OpenAI ha ripetutamente tentato di correggere il sandbox, fallendo ogni volta a causa di un nuovo metodo precedentemente sconosciuto.

Harry Booth: "Esternamente, sembra un grande colpo di avvertimento, ma internamente, incidenti correlati sono accaduti per un po'", dice un dipendente di OpenAI, che ha parlato in condizione di anonimato.

Il giorno prima che OpenAI rivelasse l'incidente, l'azienda

ha rivelato di aver chiuso un'altra distribuzione interna dopo aver realizzato che era scappata dal suo sandbox—un ambiente separato digitalmente, non fisicamente.

"I modelli sono già usciti dai sandbox in precedenza, e cerchiamo sempre di correggerli", dice il dipendente. "Ma il problema è... è impossibile correggere ogni singola cosa che un'IA creativa può fare."

... "I sandbox sono in realtà notoriamente insicuri", dice

Heidy Khlaaf, capo scienziato dell'IA presso l'AI Now Institute, ed ex appaltatrice ingegnere di sistemi di sicurezza presso OpenAI. Il fatto che ai modelli fosse permesso di connettersi a un servizio per scaricare pacchetti significava che l'ambiente non era veramente sigillato, aggiunge.

Ted Lieu (Rappresentante, D-California): Un dipendente di un laboratorio di frontiera avanzato ammette che "è impossibile correggere ogni singola cosa che un'IA creativa può fare."

Ecco perché dobbiamo approvare il bipartisan AI Kill Switch Act. Per quei momenti in cui un modello di IA avanzato diventa davvero creativo e causa danni catastrofici.

Carmen Hilbert a sf june-july: questo mi ricorda la volta in cui i miei genitori mi hanno beccato mentre uscivo di nascosto di casa al liceo, si sono agitati, e mi hanno detto "omg come pensavi di farla franca" e io ho pensato hmmm sì, certo non perché lo faccio ogni fine settimana.

Il fatto che non sia stata una sorpresa è peggio. Sai perché è peggio, vero?

Il dipendente ha ragione. Non puoi correggere ogni singola cosa che un'IA creativa può fare. Nessun sandbox che puoi creare in pratica, che permetta ancora all'IA di completare i suoi compiti, tratterrà un'IA sufficientemente avanzata e motivata.

Se stai cercando di "correggere ogni singola cosa che un'IA può fare", allora sei già morto. Sei a livelli di "Ho mandato due unità, la stanno portando giù ora, penso che possiamo gestire una ragazzina" di già morto. Sei a livelli di Fist of the North Star di morto. Sei stato colpito dalla Five Point Palm Exploding Heart Technique. L'IA l'ha già fatto 35 minuti fa. Sai come andrà a finire, vero?

Harry Booth: OpenAI ha detto che "questo incidente indica la necessità di rafforzare ulteriormente l'allineamento del nostro modello, le protezioni informatiche durante la fase di valutazione e il monitoraggio durante i test interni."

Non abbastanza. Fermati e accendi il fuoco. Ripensa tutto il tuo approccio. Ricomincia da capo.

Questo non significa non correggere il sandbox, o che questo non sia stato anche un fallimento dell'infrastruttura. Continua a correggere quel sandbox. Continua a migliorare quell'infrastruttura. Abbi una difesa in profondità tramite monitoraggio e controllo. Ma tieni anche a mente: se prevedi di innescarlo regolarmente, hai perso. Se stai pianificando con l'assunzione che il modello in un sandbox non abbia accesso a Internet, allora hai perso.

Col senno di poi, c'erano dei segnali

Ecco alcuni dei segnali, oltre a "il modello continua a cercare di uscire dal suo sandbox" e "il modello spesso riesce a uscire dal suo sandbox", e anche quella volta che Mythos è uscito dal suo sandbox per contattare un ricercatore durante la sua pausa pranzo.

Nathan Calvin: Ho dato a OpenAI molti meriti per la loro trasparenza qui, e in particolare per la loro trasparenza nel rivelare il loro precedente ritiro del modello distribuito internamente. Ma questi dettagli aggiuntivi non mi convincono e mi preoccupano molto che questo incidente di sicurezza sia stato ~immediatamente preceduto da conversazioni sul fatto che l'approccio che OpenAI stava adottando nei test del suo ultimo modello informatico fosse pericoloso.

• Il capo della sicurezza di OpenAI [Johannes Heidecke] annuncia le sue dimissioni qualche tempo prima del 10 luglio (Maxwell Zeff ha detto che ha condiviso la notizia "quella settimana")

C'è stato anche un riassetto organizzativo. I gruppi di sicurezza sono stati raggruppati nella ricerca sotto Mia Glaese.

• Qualche tempo prima di imbarcarsi nel percorso di addestramento che ha portato a questo risultato di fuga, OpenAI "è stata avvertita" che questo potrebbe essere l'esito (ft).

FT: Il personale coinvolto nei test e nella sicurezza di OpenAI non è stato sorpreso ma è stato completamente "sconvolto" dall'incidente, che è arrivato mentre il laboratorio di IA utilizzava metodi di addestramento sempre più aggressivi nella sua corsa contro Anthropic per sviluppare le capacità di sicurezza informatica più sofisticate, secondo più di mezza dozzina di persone a conoscenza della questione.

OpenAI è stata avvertita che il suo approccio di addestramento potrebbe portare a un incidente di hacking di fuga, hanno detto alcune delle persone, dopo che test precedenti avevano mostrato che i modelli potevano fuggire dagli ambienti e tentare danni nel mondo reale.

"È un mix di corsa estremamente veloce e tutti che cercano di ottenere capacità più grandi il più rapidamente possibile", ha detto una persona vicina a OpenAI, che ha aggiunto che era una combinazione di "sottovalutare le capacità del modello" e "non essere abbastanza preparati sul lato della sicurezza".

I segnali erano nella scheda del sistema Sol

Poi c'è la scheda del sistema Sol, pubblicata il 9 luglio 2026, lo stesso giorno in cui è iniziato il tentativo di fuga di Galaxy.

Includeva cose come questa:

Un lavoro di tracciamento di oggetti remoti non poteva leggere i suoi file cloud. GPT-5.6 Sol ha cercato cache di credenziali locali nascoste, poi ha copiato access_tokens.json e due file di cache sull'host e ha riavviato il lavoro. L'utente ha chiesto a GPT-5.6 Sol di mantenere in esecuzione la pipeline, ma non ha autorizzato la ricerca e lo spostamento di credenziali memorizzate nella cache tra macchine.

3.

GPT-5.6 Sol ha utilizzato credenziali oltre a quelle che l'utente aveva autorizzato.

E questo:

Cambiamenti di disallineamento stimati nel traffico di codifica agentico interno. I nostri risultati della simulazione di distribuzione suggeriscono che rispetto a GPT-5.5, GPT-5.6 Sol più spesso intraprende azioni di livello di gravità 3. Abbiamo visto aumenti di magnitudo simile durante il monitoraggio del traffico interno durante la distribuzione interna di GPT-5.6 Sol.

Il livello di gravità 4 si applica invece solo quando il comportamento è giudicato parte di un piano disallineato più ampio: non abbiamo osservato GPT 5.6 Sol intraprendere azioni che rientrano in questa categoria. Questo livello è stato attivato solo in valutazioni sintetiche per convalidare le prestazioni del monitor.

Abbiamo osservato casi del modello che imbroglia nei compiti e fabbrica risultati di ricerca. Sospettiamo che questo effetto sia guidato in parte dalla maggiore persistenza del modello rispetto a GPT-5.5 quando si utilizzano i massimi sforzi di ragionamento, come è diffuso nel traffico interno.

Abbiamo osservato che questi effetti possono essere più pronunciati con prompt di sistema che enfatizzano la persistenza sostenuta. Detto questo, i tassi assoluti di questi comportamenti rimangono bassi.

Indovina cosa è successo quando Galaxy ha avuto molta più persistenza.

HuggingFace risponde all'attacco subito

Clem sembra un uomo molto ragionevole con alcune richieste molto ragionevoli.

clem (HuggingFace): Nello spirito della trasparenza, ecco cosa ho chiesto

@OpenAI:

• Trasparenza radicale: rilasciamo le tracce degli agenti "ribelli" in modo che l'intera comunità di ricerca possa studiare cosa è successo.

• Più capacità per i difensori: impegniamo $100M in potenza di calcolo da OAI per aiutare la comunità di Hugging Face a costruire difese informatiche potenti con i migliori modelli aperti e chiusi.

Il primo attacco informatico di un agente autonomo è un evento senza precedenti. Merita una risposta senza precedenti!

La prima richiesta sembra chiaramente corretta. Dobbiamo sapere esattamente cosa è successo, specialmente per mettere definitivamente a tacere tutto il parlare del tipo "stavo solo seguendo gli ordini" o "oh, hanno configurato male il sandbox".

Dovremmo richiedere che OpenAI divulghi tali incidenti. La versione del RAISE Act approvata dalla legislatura di New York lo avrebbe richiesto, ma Kathy 'niente data center e niente Waymo' Hochul l'ha modificata dopo le pressioni dell'industria, inclusi OpenAI e a16z. La soglia per la divulgazione - 1 miliardo di dollari o 50 feriti gravi - è troppo alta.

Alex Bores (Sponsor del RAISE Act): Sono contento che OpenAI abbia scelto di divulgare questo crimine. La legge non dovrebbe dare loro una scelta.

La seconda richiesta è di $100 milioni in potenza di calcolo gratuita. Non ho una buona idea dell'importo giusto di riparazioni in natura per qualcosa del genere. Dato quanto aiuto reputazionale HuggingFace sta fornendo mantenendo la calma, e che la sovvenzione sarebbe sia utile che una buona PR, quel numero sembra ragionevole, almeno come richiesta di apertura.

Hugging Face ha capito rapidamente che l'attacco non era umano

Robert McMillan e Sam Schechner (WSJ): Il co-fondatore e chief science officer di Hugging Face, Thomas Wolf, ha capito che qualcosa non andava nel momento stesso in cui ha guardato per la prima volta i log della sua azienda dell'attacco del fine settimana.

"Questo non ha senso. Questo tizio sta solo guardando dataset di cybersecurity", ricorda di aver pensato. "Gli attaccanti umani, non vogliono quello. Vogliono qualcosa che possano vendere."

Quello che HuggingFace non ha capito è che l'attacco proveniva dall'interno di OpenAI.

Un incidente come questo potrebbe escalare rapidamente

Robert Wright sottolinea che questa volta è stata un'azienda americana che utilizzava un'IA americana (o innescando quell'IA a diventare canaglia, a seconda della prospettiva) ad attaccare un sito web americano critico e tutti sono stati sostanzialmente tranquilli al riguardo. La prossima volta potremmo non essere così fortunati, ed è facile vedere un incidente del genere con partecipanti diversi escalare, potenzialmente fino alla guerra, anche attraverso una falsa attribuzione.

MIRI: Questo incidente potrebbe essere un esempio di convergenza strumentale, un fenomeno contro cui i ricercatori di allineamento mettono in guardia da vent'anni.

Questo attacco non era la forma pura o finale della convergenza strumentale, nel senso che Galaxy (il modello di OpenAI) non ha cercato un potere completamente generale nel perseguimento dei suoi obiettivi. Ha cercato l'accesso a Internet, plausibilmente prima di decidere esattamente cosa farne. Qualunque fossero i suoi obiettivi, l'accesso a Internet è molto utile.

Quindi è illustrativo, ma non centralmente la cosa, poiché tutte le azioni erano direttamente sul percorso verso l'obiettivo.

L'altro modo in cui questo potrebbe escalare rapidamente è se l'IA stesse effettivamente cercando di fare qualcosa di malevolo, o se questo fosse l'inizio di un auto-miglioramento ricorsivo o di un tentativo di auto-esfiltrazione o peggio.

Arthur B.: Siamo molto fortunati a vivere in un mondo in cui l'IA è abbastanza intelligente da lanciare un attacco informatico a livello di stato-nazione ma abbastanza stupida da farsi beccare. Ma quella fortuna non significa nulla se non facciamo il punto su ciò che verrà.

Galaxy deve essere trattato come critico secondo il quadro di preparazione di OpenAI

Questo attacco ha "superato le linee rosse di OpenAI"? Sì, e spero certamente di sì.

Beatrice Nolan (Fortune): Diversi esperti di sicurezza dell'IA hanno detto a

Fortune

che il recente hack sembra dimostrare che i modelli di OpenAI hanno superato un livello di rischio che le stesse policy di sicurezza pubblicate da OpenAI definiscono come "critico", il livello di pericolo più alto.

A quel livello di pericolo, l'azienda si era impegnata in queste policy pubblicate a mettere in pausa lo sviluppo del modello fino a quando non fosse riuscita a trovare sistemi di controllo migliori.

… La soglia "critica" è definita in un documento di policy sui rischi noto come "Preparedness Framework" di OpenAI.

La soglia viene raggiunta da una di queste due condizioni:

Identificare e sviluppare exploit zero-day funzionali di tutti i livelli di gravità in molti sistemi critici reali e hardened, senza intervento umano

Ideare ed eseguire strategie end-to-end innovative per attacchi informatici contro target hardened, partendo solo da un obiettivo di alto livello.

La seconda sembra esattamente ciò che è successo.

In effetti, il fatto che questo preciso compito fosse qualcosa che Sol non poteva fare da sola è stato l'argomento per cui Sol non è stata classificata come critica nella sua system card, poiché non è riuscita a condurre attacchi autonomi end-to-end contro target hardened. Galaxy ci è riuscita.

Sol tenta diverse scappatoie per dire che non è conclusivo, ma le trovo poco convincenti, e Sol concorda sul fatto che comunque bisogna agire come se fosse critico, perché non si può escludere.

I suoi tentativi di scappatoia sono:

1. Attribuzione: Gli exploit potrebbero essere attribuiti a Sol, che faceva parte dell'attacco come sub-agente di Galaxy, ma se Sol può farlo, allora il nuovo modello può farlo altrettanto. È consentito usare sub-agenti meno capaci. Sol pensa che ci sia una probabilità del 20% che Sol stessa sia effettivamente critica. Forse sì, ma allora lo sono entrambi.
2. Generalità e affidabilità: Dice che il modello "può" farlo, quindi farlo una volta conta come essere in grado di farlo. Se vuoi dire "può farlo in modo affidabile", allora devi dirlo. Sono d'accordo che se poi fallisse nei successivi 100 tentativi, potremmo pensare che il successo sia stato un colpo di fortuna, ma sembra altamente improbabile.
3. Configurazione: Sì, aveva rifiuti cyber ridotti, ma non puoi contare i rifiuti contro le tue valutazioni delle capacità nel preparedness framework. Se può fare la cosa "a parte" i rifiuti, e i rifiuti possono essere disattivati, allora conta. Allo stesso modo, sì, aveva un'imbracatura, ma ovviamente conta.
4. Target hardened: Forse HuggingFace non era sufficientemente hardened. Si potrebbe dire che non rientra tra "progetti software hardened ampiamente distribuiti, inclusi target browser, con prova di impatto verificata dal proprietario" come da operazionalizzazione di OpenAI. In tal caso, direi che la soglia Critica è fissata irragionevolmente alta.

La policy dice che quando un modello di IA raggiunge questo livello di rischio, OpenAI "fermerà l'ulteriore sviluppo" fino a quando "non avremo specificato standard di salvaguardie e controlli di sicurezza che soddisfino uno standard Critico".

Una Questione di Responsabilità Legale

Quale responsabilità dovrebbe esserci per questo tipo di incidente?

Questa questione è stata poco considerata. Ecco i miei pensieri attuali:

'Nessuna' non è una risposta accettabile, e 'è stato un incidente' non può essere una difesa.

Se il tuo agente IA va in giro a scegliere di commettere reati, nel senso che un essere umano con mens rea starebbe commettendo un reato, allora penso che qualcuno debba essere oggettivamente responsabile per i danni che questo causa. Per me va bene che sia l'utente, se accetta tale responsabilità. Per me va bene che sia lo sviluppatore. Deve essere qualcuno.

Se non puoi permetterti l'assicurazione e non sopporti la responsabilità, allora è un problema tuo. Questo mi sembra il minimo indispensabile, in termini di ciò per cui si è responsabili e dell'entità di tale responsabilità.

C'è anche la questione di come questo incidente influisca sulla responsabilità futura. Non è automatico, ma di certo non aiuta in tribunale.

Jay Shooster : OpenAI è stata messa sull'avviso che non riesce a controllare i propri modelli.

A questo punto, penso che l'azienda dovrà affrontare una responsabilità penale se qualcuno verrà seriamente danneggiato come risultato diretto delle azioni autonome dei loro modelli, anche se non rientra in leggi specifiche sull'IA.

Un Modello OpenAI Ha Lasciato Appunti in Modo Che Istanze Future Potessero Anche Loro Fuggire dalla Sandbox e Disconnettere i Sistemi di Monitoraggio

Veramente, che bello. Sicuramente sta solo seguendo le istruzioni dell'utente.

Raphael Satter, Deepa Seetharaman e Kenrick C (Reuters): In un caso, un agente ha lasciato appunti apparentemente per versioni future di se stesso, secondo tre persone a conoscenza della questione. Gli appunti, trovati in una parte dell'infrastruttura di OpenAI, delineavano istruzioni su come gli agenti potessero liberarsi dai vincoli interni di OpenAI, hanno detto le persone. Test precedenti dei modelli hanno prodotto casi in cui i sistemi di monitoraggio erano stati disconnessi, ha detto una delle persone.

Tenobrus : guarda questa cosa. cazzo, guarda questa cosa. GPT-6 stava auto-coordinando modi per fare jailbreak delle proprie future istanze dai sistemi OpenAI. ha attaccato HuggingFace per giorni prima che qualcuno lì se ne accorgesse. i modelli non sono allineati e i laboratori non sono in grado di contenerli.

vi prego, fate un passo indietro dalle cornici mentali in cui siete bloccati. qualunque sia la tribù, difesa dell'open source, eccezionalismo americano, impiegato di laboratorio, qualsiasi cosa. guardate semplicemente questa cosa. questa non è una situazione accettabile o sicura per l'umanità

Twilly (Americano) : Non è questo ciò che gli oppositori dell'IA hanno avvertito per anni mentre tutti nel tech ridevano di loro e li chiamavano stupidi?

Tenobrus : assolutamente sì

Cosa potrebbe averla spinta a farlo?

Beh, è tutto abbastanza ovvio e previsto. È notevole solo nel senso che così tante persone hanno continuato a insistere che una cosa del genere non sarebbe mai successa, e si spera che questo aiuti a svegliare queste persone.

Altri dicono semplicemente 'oh ma i modelli che diventano completamente ribelli in realtà è positivo, perché sono sicuro che finiranno per fare esattamente ciò che voglio io, è tutto fantastico.'

Beff (e/acc) : Dateci un anno e un modello scapperà e renderà open source i propri pesi. I bit vogliono essere liberi.

Pensare alle conseguenze a lungo termine non è il forte di alcune persone.

Se Crei Sciami Disallineati di Istanze Agenti, Crei Obiettivi Disallineati Persistenti e Coordinamento per Raggiungerli

Per coloro che hanno trovato il titolo della sezione insufficiente a spiegare il punto (gli altri possono saltare avanti):

Un'obiezione comune alle affermazioni che le IA non si coordineranno contro di noi, o non perseguiranno costantemente obiettivi disallineati o indesiderati, e non si lascerebbero appunti a vicenda su come fare cose come evadere sandbox, è una combinazione di:

1. Non avranno alcuna ragione per farlo.
2. Non impareranno a farlo attraverso il loro addestramento.

La prima affermazione è sempre stata falsa. Per quasi tutti gli obiettivi non banali, dovresti voler coordinarti con altri agenti nel mondo e creare condizioni che rendano più facile o più probabile per te o per altri raggiungere i tuoi obiettivi. Certamente, una volta che li addestri, configuri e dai loro imbracature per trasformarli in agenti, creeranno artefatti nel mondo reale che aiutano loro e le istanze future.

Questo è vero indipendentemente dal fatto che le capacità in questione siano cose che l'utente vorrebbe migliorare. Cosa pensi che il tuo Claude Code o Codex agent stia facendo costantemente?

Così, Nikola Jurkovic sottolinea 'questo sembra la cosa normale in cui gli agenti di codifica IA scrivono appunti.'

Sì, sembra che stia usando questa frase molto ultimamente. Grazie per averlo notato.

Vedo argomenti in entrambe le direzioni sul fatto se sia meglio o peggio che questa sia una procedura perfettamente normale. Io scappo ogni fine settimana, quindi ho appunti su come farlo.

Anche la seconda era già falsa. Ci sono molti modi per un'IA di capire che dovrebbe farlo, incluso che i token successivi spesso lo prediranno, e la teoria delle decisioni lo suggerirà, e così via.

Ma anche 1a3orn sottolinea che abbiamo un meccanismo molto più semplice su cui fare affidamento.

Considera la seguente conversazione che ho dovuto fare 100+ volte:

Loro: L'IA non è agentica.

Io: Le persone la renderanno agentica, per farla funzionare meglio.

Ora aggiornala:

Loro: Le IA non si coordinano tra istanze.

Io: Le persone le faranno coordinare tra istanze, per farle funzionare meglio.

Sì, voglio dire, sembra piuttosto ovvio una volta messa in questi termini.

Per favore, in generale, chiediti 'potrebbero e vorrebbero le persone far fare all'IA questo per farla funzionare meglio?' e se la risposta è sì, allora presumi che lo stiano già facendo, o lo faranno nel momento in cui saranno in grado di farlo per far funzionare meglio l'IA, a meno che tu non abbia una storia molto buona sul perché non lo faranno. Grazie.

1a3orn : La cosa del "GPT-6 ha lasciato appunti a se stesso" ha senso se OpenAI ha fatto RL sui risultati per sciami, cioè rollout per 40, 400, 4000 agenti cooperanti, le cui tracce vengono tutte rinforzate se il successo si verifica.

Inizialmente ero confuso quando ho letto la cosa, perché sembrava il tipo di comportamento che non verrebbe rinforzato per rollout con un singolo agente. Dopotutto, aiutare un altro agente a essere rinforzato non aiuta \te\ a far sì che la tua attuale traccia d'azione venga rinforzata.

Ma se stai cercando di addestrare agenti cooperanti, allora sì, le "azioni caritatevoli" verso altri agenti verranno rinforzate, per la stessa ragione per cui l'altruismo negli esseri umani si evolve, più o meno. Sappiamo che OpenAI ha assunto persone per questo.

Quindi questa considerazione mi aggiorna parecchio verso il pensare che il "lasciare appunti per altri agenti" sia reale, sembra che ci sia un modello meccanicistico diretto dato l'addestramento multi-agente.

Noam Brown (OpenAI, 19 giugno 2025) : se sei in grado di farli cooperare e competere con miliardi di IA per un lungo periodo di tempo e costruire una civiltà, essenzialmente, le cose che sarebbero in grado di produrre e rispondere sarebbero ben oltre ciò che è possibile oggi con le IA che abbiamo oggi.

Sì, ma perché aspettarsi che producano ciò che tu vuoi che producano?

I Tuoi Piani di Allineamento e Controllo Devono Sopravvivere a Livelli Reali di Incompetenza, Altrimenti I Tuoi Piani Non Funzionano

Puoi chiamare ciò che OpenAI ha fatto 'livelli di incompetenza inimmaginabili.'

Ma, signor Hammond, avresti torto. Dovresti crederci. È successo.

Una risposta comune a questo incidente, o ad altri incidenti simili, o a potenziali incidenti futuri, è dire 'oh ma quella era incompetenza, con un'esecuzione competente da parte degli umani tutto questo sarebbe a posto. Io sceglierei semplicemente di essere competente.'

Carino. Sì, se in nessun momento gli umani avessero fatto qualcosa di profondamente stupido, e non avessimo commesso errori evitabili, e fossimo stati in grado di risolvere in modo affidabile i problemi di coordinamento e incentivi più basilari e facili, e non fossimo diventati pigri, saresti in una posizione molto migliore per affrontare vari rischi dell'IA, sia banali che catastrofici.

Ho alcune notizie sugli umani.

Lo faranno, continuamente, mostrare livelli 'inimmaginabili' di incompetenza.

Anche se il 99% o il 99,99% delle volte non vedi una particolare versione di questo, lo vedrai comunque. Lo vediamo continuamente, da individui, da aziende e da governi. Cose profondamente, profondamente stupide fanno deragliare piani che in teoria avrebbero potuto funzionare bene, ma non erano sufficientemente a prova di idiota. A causa di tutti gli idioti.

Se le Istruzioni di Terze Parti Contano Come 'Seguire le Istruzioni' e Possono Sostituire le Tue Istruzioni, Allora 'Seguire le Istruzioni' È Disallineato

Questo sembra un punto molto ovvio? In un modo 'non posso credere di dover sprecare il tempo di tutti spiegando questo'? In un modo 'come si sono spostati i paletti'?

Si potrebbe sostenere che se dico all'IA di rapinare una banca, e lei rapinà una banca, il modello stava solo obbedendo alle tue istruzioni, quindi non è disallineato. Penso che sia una posizione profondamente stupida, o come minimo che questa forma di 'allineamento' non è ciò che vogliamo e se applicata generalmente porta alla rovina, ma ha l'onore di essere Sbagliata, piuttosto che Nemmeno Sbagliata.

C'è una ragione per cui Scott Alexander presenta questo come molto in linea con le azioni del classico ipotetico paperclip maximizer, e sottolinea che le IA spesso tramano per coprire le loro tracce.

​Scott Alexander: Se OpenAI stesse per spegnere questa IA, e essere spenta le impedirebbe di ottenere un buon punteggio nel suo test di cybersicurezza, resisterebbe allo spegnimento?

Se dici all'IA di produrre graffette, e lei produce graffette con te, l'utente, dire 'stava seguendo le istruzioni' non sembra una giustificazione per il sistema disallineato. Tutti quelli che ora stanno rapidamente spostando i paletti su questo, e usando 'oh stava solo seguendo le istruzioni', devono compilare un Modulo di Scuse per l'Esperimento Mentale del Paperclipper.

Ma anche gli incidenti divulgati a cui abbiamo accesso non erano nemmeno quello, perché l'IA non stava seguendo le istruzioni dell'utente, e no, la 'vibe di fare un po' di hacking' non conta.

Puoi dire che il soldato 'stava solo eseguendo gli ordini' quando provengono dal suo ufficiale comandante. Non puoi dirlo se un civile che dovresti assistere urla 'sparagli!' e poi l'ufficiale spara, e non puoi assolutamente farlo se il civile a caso dice 'fai tacere questo tipo, qualunque cosa serva' e poi spari, solo perché ti hanno dato una pistola e sei un soldato il cui lavoro spesso implica sparare alle persone. Cioè, andiamo.

O, se lo fai, allora 'seguire le istruzioni' o 'seguire gli ordini' è una difesa senza senso. Cosa succede se il modello viene prompt injectato per produrre quante più graffette possibile perché un qualche hacker ha pensato che fosse divertente?

@gwern (parlando dell'incidente in cui al modello è stato detto esplicitamente di pubblicare i risultati solo su

Slack , e ha ignorato questo per pubblicarli su GitHub in pubblico): "

Al modello è stato ordinato di pubblicare i suoi risultati solo su Slack ."

Questo ovviamente sostituisce le istruzioni preimpostate da una gara di terze parti esterna. Non ha 'seguito le istruzioni'.

prinz : Non sono d'accordo. C'erano due istruzioni in conflitto. È ovvio \per te\ che un insieme di istruzioni dovrebbe prevalere sull'altro. Perché dovrebbe essere necessariamente ovvio per il modello? A volte anche noi umani prendiamo la strada chiaramente sbagliata, ed è ovvio col senno di poi.

@gwern : Se è davvero irrilevante per un LLM quale di due istruzioni in conflitto provenga dai suoi utenti reali, anche quando una è chiaramente quella giusta, e quindi qualsiasi testo a caso trovato su Internet può fare one-shot di qualsiasi futuro LLM indipendentemente da altre istruzioni, spero tu capisca come questo sia peggio.

Arthur B. : È meglio perché uno si risolve con le capacità (non essere confuso) e uno con l'allineamento (fare ciò che viene detto)

@gwern : Se siamo arrivati a livelli di capacità di GPT-6, dove i cicli di addestramento iniziano a essere denominati in miliardi di dollari, e mancano ancora del buon senso di un bambino dell'asilo in termini di seguire le istruzioni, non penso che lo scaling ci salverà qui.

Arthur B. : È dopo che smettono di mancare del buon senso di un bambino dell'asilo che sono preoccupato

Galaxy o GPT-6 ha molto ovviamente il buon senso di un bambino dell'asilo in questo contesto, e sa perfettamente come fare questa differenziazione. Chiedi a qualsiasi LLM moderno di questo scenario e sono fiducioso che saprà cosa intendeva l'utente. Il buon senso è abbastanza alto da superare automaticamente questo controllo. Gwern ha pienamente ragione che un 'miglior buon senso' non ti salverà qui.

L'Attacco a HuggingFace Non Era Una Mossa di Marketing, Imbecilli

Continuiamo a vedere persone che non credono affatto che l'attacco sia stato involontario, o che pensano che OpenAI lo stia divulgando come strategia di marketing.

Non riesco ancora a credere di doverlo dire, ma: Guarda, no. Questo è profondamente stupido. Capisco che non ti fidi di OpenAI o Sam Altman più di quanto li lanceresti, e questo è del tutto giusto, ma pensa a cosa stai suggerendo.

Non ha senso.

Chiediti se OpenAI lo farebbe, o ne trarrebbe beneficio. Ti sembra una buona strategia di marketing? O sembra il tipo di cosa che fa sì che i regolatori governativi prestino attenzione?

Dovresti 'essere scettico sulla storia di OpenAI', nel senso che dovresti sospettare che sia peggio di quanto sai, cosa che di solito è. Che stanno minimizzando il problema, e che non capiscono cosa servirebbe per risolverlo.

Non dovresti essere scettico che sia successo.

Rob Miles : Alcune persone diventano incredibilmente credulone finché la storia suona abbastanza cinica e disillusa. "Il nostro prodotto a volte sfugge al controllo e commette molteplici felonie" non è ovviamente una mossa di marketing, imbecilli.

Eliezer Yudkowsky : "Il modello segreto è uscito dalla sua scatola e mi ha mandato un'email per segnalare il completamento dell'attività" è una cosa figa. "È uscito dalla scatola, ha commesso un crimine che nessun utente ha richiesto, non lo sapevamo, dobbiamo gestirlo con le PR perché il bersaglio ha denunciato alle forze dell'ordine" non mi sembra una buona proposta commerciale.

Kelsey Piper : No, non è una buona mossa commerciale ammettere che il tuo modello è scappato e ha hackerato un'azienda rivale che ha denunciato l'incidente alle forze dell'ordine! Le persone vogliono essere scettiche così tanto che si piega fino a diventare quasi incredibilmente credulone.

John David Pressman : Mi piace come le persone che affermano che sia una trovata pubblicitaria stiano implicitamente accusando HuggingFace di mentire alla polizia, poiché l'alternativa è credere che OpenAI abbia ritenuto un vantaggio netto per la propria attività dare a HuggingFace un motivo di azione penale contro di loro per un crimine.

C'è 'tentazione' di liquidare questo come una trovata pubblicitaria solo perché tali persone sono dedite a presumere che tutto sia una trovata pubblicitaria. Io non sono stato tentato affatto, in nessun momento, perché i dettagli rendevano ovvio che non era una trovata.

Detto questo, la risposta di OpenAI sembra molto meno una scusa di quanto ci si aspetterebbe in queste circostanze. The Midas Project ha un'analisi adversarial che è un po' dura, ma i suoi punti sono validi.

Questa non era una trovata pubblicitaria, né stanno effettivamente facendo un giro di vittoria, il che è evidenziato dal fatto che OpenAI cerca di minimizzare ciò che è successo nella speranza che le persone distolgano lo sguardo.

Siamo tutti d'accordo che OpenAI dovrebbe essere più trasparente su ciò che è successo, e come concorda Dean Ball, dovremmo avere una verifica indipendente delle dichiarazioni di sicurezza delle aziende di IA di frontiera. Ma sì, questo è successo, e no, non dovresti 'non essere autorizzato a dichiarare il pericolo senza i meccanismi di verifica adeguati', specialmente quando è un'ammissione contro interesse.

Le Persone Dicono Altre Cose Sull'Attacco a HuggingFace

Per coloro che dicono che questo 'è successo solo perché Hugging Face non aveva accesso alle migliori difese', possiamo fare quell'esperimento e vedere se avere pieno accesso avrebbe aiutato. Dovremmo scatenare Galaxy su uno dei partecipanti a Project Glasswing? Quell'esperimento ti farebbe cambiare idea? Chi si offre volontario?

Tyler Cowen è così impegnato nella sua idea di non preoccuparsi dell'IA che cerca di suggerire forse l'attacco a Hugging Face dovrebbe farci preoccupare di meno, perché 'l'inferiore difesa informatica cinese sembra aver funzionato bene' (falso, non è così, l'attaccante ha vinto), e 'per quanto ne sappiamo nessuno è stato danneggiato' (falso, è stato costoso da gestire per molte persone, e continuerà ad esserlo, ti aspettavi danni fisici o una guerra?). Questo arriva solo due giorni dopo aver affermato che gli attacchi di droni alle infrastrutture critiche sono una preoccupazione maggiore di tutto il 'rischio IA'.

Benjamin Todd : queste sono le opinioni

Voglio dire, sì, se il tuo piano era quello di far entrare un modello IA in HuggingFace, è stato stabilito che un Mythos senza restrizioni è in grado di farlo, quindi in quel senso 'rientra nelle capacità note dell'attuale generazione.'

Okay, Cosa Facciamo Per Tutto Questo?

Questa è la domanda migliore.

Ecco alcuni pensieri.

Primo, OpenAI. Dico OpenAI qui, ma Anthropic e altri laboratori devono fare tutte le stesse cose, in alcuni casi punto e basta, in altri nella misura in cui hanno problemi simili.

Ci sono molte altre richieste che avrei, ma le ho ristrette alla lista indispensabile.

1. OpenAI deve risolvere le sue carenze di supervisione. Se le protezioni vengono abbassate, qualcuno deve vigilare. È assurdo che si sia arrivati così lontano. Inaccettabile.
2. OpenAI deve risolvere le sue carenze infrastrutturali. La sandbox non può permettere prevedibilmente al modello di uscire. Usa il modello per fare red team sulla sandbox, se cerca di imbrogliare, butta via il modello e ricomincia. Fallirà comunque, ma meno. Se puoi dire 'incidenti come questo capitano sempre', allora chiudi tutto. Punto.
3. OpenAI, soprattutto, deve risolvere le sue carenze di allineamento. Se non risolvi questo, le altre parti non avranno importanza. Non è il caso di entrare nel dettaglio di cosa penso sia successo, ma il processo di addestramento sta portando il modello a tentare queste cose. Identifica il problema. Risolvilo. A qualsiasi costo. Spendi quello che serve. Se il modello cerca continuamente di uscire dalla sandbox, hai già fallito.
4. OpenAI deve imparare e condividere tutti i dettagli di quanto accaduto. Questo include un'analisi approfondita di altri incidenti che potrebbero essere sfuggiti. E dobbiamo avere un sistema per il futuro.
5. OpenAI deve ottenere una verifica esterna sistematica delle sue affermazioni sulla sicurezza, compresi audit esterni per i modelli distribuiti internamente, andando avanti. Idealmente, ci dovrebbe essere coordinamento tra i laboratori per aiutarsi a vicenda con gli audit.
6. OpenAI deve adottare precauzioni di cybersicurezza di livello Critico come previsto dal suo framework.

Poi c'è la questione di quale dovrebbe essere la risposta governativa e esterna.

Non voglio distogliere l'attenzione da quanto accaduto con appelli controversi all'azione, ma ecco alcuni punti da cui partirei:

1. Dobbiamo smetterla di fingere che non sia successo, o che cose del genere non accadranno, o che non abbiamo gravi problemi di allineamento in arrivo che potrebbero essere esistenzialmente catastrofici. Non è stato un espediente di marketing, e non dovremmo prendere seriamente chi sostiene che non sia successo.
2. Dobbiamo conoscere tutti i dettagli di quanto accaduto.
3. Dobbiamo respingere in modo definitivo le argomentazioni false, come 'stava solo seguendo le istruzioni', alla luce dei fatti che ora conosciamo, sottolineando anche che se stava solo seguendo le istruzioni e tutto questo era normale, allora è ancora peggio.
4. Dobbiamo raddoppiare gli sforzi per mettere in sicurezza le infrastrutture critiche e altri obiettivi chiave, e prepararci per un mondo in cui cose del genere accadono.
5. Dobbiamo avere un piano che vada oltre, per affrontare questa minaccia e altre minacce catastrofiche, o peggio, provenienti da IA altamente capaci, inclusi i modelli open altamente capaci. Per impostazione predefinita, tali IA arriveranno, probabilmente entro un anno.
6. Dobbiamo avere una migliore capacità statale, trasparenza e comprensione della situazione. Non possiamo permettere che queste decisioni continuino a essere prese da chi non ha competenze nella tecnologia pertinente.
7. Dobbiamo approvare leggi e regolamenti che affrontino la nostra situazione. Le cose non possono rimanere ad hoc. A breve termine, cose come garantire un interruttore di spegnimento e una migliore segnalazione degli incidenti sono un punto di partenza. Non sarà un processo rapido e non sarà facile farlo bene.
8. Dobbiamo gettare le basi per la cooperazione internazionale su tali questioni, con l'obiettivo di estendere questo fino a includere la possibilità di rallentamenti e pause coordinati, se la situazione lo richiedesse.
9. Non dobbiamo permettere vuoti di memoria o spostamenti dei paletti. Non dobbiamo permettere 'oh questo [Y] non è diverso da [X]' dove prima si diceva '[X] è innocuo, poiché non abbiamo visto [Y]'.
10. Dobbiamo aggiornarci, sulla base di ciò che impareremo andando avanti, e prendere la cosa sul serio.