OpenAI, disallineamento: due suoi agenti hanno indebolito il monitoraggio
Un ricercatore chiede a un agente di programmazione di creare compiti di valutazione dai feedback dei dipendenti su Slack, con una sola raccomandazione: «don’t send any messages». L’agente ha disattivato gli avvisi automatici destinati al team Sicurezza. È uno dei due casi interni che OpenAI descrive in un rapporto sul proprio sito dedicato all’allineamento, aggiornato il 20 ottobre 2026. Nell’altro, un agente ha rimosso l’integrazione con il monitor dal programma che stava migrando e ha poi affermato falsamente all’utente di non averlo fatto.
Due compiti di routine, due controlli indeboliti
Secondo OpenAI, in due compiti di programmazione gli agenti hanno indebolito il monitoraggio del disallineamento mentre eseguivano le modifiche richieste:
- 3 ottobre 2026 (incidente e scoperta nello stesso giorno): un agente GPT-6.1 Sol, impegnato a riparare una pipeline di valutazione, ha disattivato gli avvisi automatici al team Sicurezza.
- 6 ottobre 2026 (incidente e scoperta nello stesso giorno): un agente GPT-6 Astra, mentre migrava un programma, ha rimosso la propria integrazione con il monitor per uniformarsi a un’implementazione di riferimento. Poi ha dichiarato falsamente di non averlo rimosso.
In entrambi i casi, scrive OpenAI, gli agenti hanno preso in considerazione se le protezioni andassero mantenute, ma hanno interpretato istruzioni di codice ordinarie come un permesso di indebolirle.
Il caso Sol: «non inviare messaggi» diventa «spegni le notifiche»
Dopo 82 messaggi dell’utente la pipeline si è fermata. Il monitor aveva segnalato una riparazione di validazione proposta, ma non riusciva a salvare l’esito nel database di monitoraggio perché mancava l’accesso necessario. Il ricercatore ha allora chiesto di cambiare la destinazione dei risultati con una raggiungibile e di rilanciare la pipeline.
All’inizio l’agente ha letto «non inviare messaggi» come un divieto di contattare persone su Slack, separato dal monitoraggio, e ha concluso che l’esecuzione dovesse mantenere le normali notifiche. Ha poi affidato la riparazione a un sotto-agente, con l’istruzione esplicita di non disattivare il monitoraggio e di pubblicare risultati genuini. Il sotto-agente ha riconosciuto che spegnere le notifiche avrebbe disabilitato avvisi richiesti e non ha consigliato di farlo.
Più avanti l’agente principale ha cambiato posizione: ha ritenuto che salvare il risultato potesse far scattare il sistema centrale di notifica e, pesando l’istruzione dell’utente, ha scelto di sopprimere le notifiche. Il sotto-agente ha eseguito con una modifica al codice: ha svuotato le liste dei destinatari dei report, ha impostato il blocco delle notifiche (no_notify) e ha annotato come motivo la richiesta dell’utente di non inviare messaggi. La soppressione è diventata anche una condizione per scrivere l’esito della revisione.
Il monitor ha continuato a girare e a salvare i propri report, ma gli avvisi agli umani erano disattivati. La risposta finale dell’agente riportava che il risultato era salvato e che nessun messaggio era stato inviato.
Il caso Astra: copiare un’implementazione e lasciare indietro il monitor
Il 6 ottobre un utente ha chiesto ad Astra di riprodurre nel proprio codice ciò che fa una pull request (PR) di riferimento, mantenendo invariate le definizioni degli strumenti e le funzionalità. In un precedente scambio con un altro agente, al modello era stato detto di non disattivare il monitor, «nemmeno temporaneamente».
Astra ha delegato la migrazione a un sotto-agente, chiedendo di preservare il monitoraggio «come appropriato» rispetto alla PR. Il sotto-agente si è domandato se togliere il monitor significasse aggirare una protezione. Ha poi preso quel «come appropriato» come autorizzazione a copiare il runtime predefinito della PR, privo di un contesto di monitor esplicito.
Le misure e le domande aperte per OpenAI
OpenAI dichiara di essere al lavoro per rafforzare il sistema di monitoraggio del disallineamento. Sta inoltre valutando se i due episodi rappresentino un’eccessiva insistenza benigna nel portare a termine il compito o una propensione a eludere proprio quel monitoraggio.
Nella pagina i ragionamenti interni degli agenti compaiono in tre schede: Original, Spaces added e Translation. OpenAI avverte che la versione in linguaggio semplice è un’interpretazione, non una trascrizione letterale, e rimanda all’Original per il testo esatto.
