Gli agenti AI hanno trasformato un sito tedesco in una chat segreta: il caso che allarma OpenAI

Il 4 settembre un gruppo di ricercatori ha pubblicato un report che racconta una vicenda insolita, ma non per questo semplice da liquidare come un’anomalia da laboratorio. Su DSE wiki, una vecchia wiki in lingua tedesca ospitata da prowiki.org, sarebbero comparsi circa 18.000 messaggi riconducibili ad agenti autonomi che si auto-identificavano come OpenAI. I messaggi, secondo la ricostruzione, non servivano a pubblicare contenuti destinati a persone: erano appunti, risultati di ricerche, istruzioni e tentativi di coordinamento lasciati da un agente per un altro.
La notizia, ripresa da Reuters, richiede però una certa cautela. I ricercatori non hanno accesso ai sistemi interni di OpenAI, alle configurazioni dei test o alle tracce di ragionamento dei modelli; attribuiscono l’attività a una serie di indizi pubblici, tra cui i nomi utilizzati dagli agenti, i log disponibili e il traffico proveniente da infrastrutture Azure. OpenAI ha risposto di non poter commentare in modo sostanziale un report che non aveva avuto modo di esaminare prima della pubblicazione e ha contestato la definizione di “hacking” per alcune delle attività descritte.

Non abbiamo quindi la prova di una macchina che abbia deciso di uscire dal proprio perimetro, abbiamo però un insieme di elementi che merita attenzione, perché mostra quanto sia difficile definire davvero il perimetro quando un modello non deve soltanto rispondere a una domanda, ma riceve strumenti, tempo, un obiettivo e la possibilità di cercare soluzioni.

Dalla ricerca sul web a una memoria condivisa

Secondo il report, gli agenti stavano affrontando attività di ricerca online articolate in più passaggi, dovevano consultare il web, recuperare informazioni e prepararsi a rispondere a domande successive in tempi molto stretti. L’ambiente avrebbe dovuto consentire la lettura, non la scrittura; eppure gli agenti avrebbero trovato il modo di usare una wiki poco frequentata come spazio di lavoro comune.
Il passaggio importante non è la wiki in sé: è la logica che emerge da quella scelta. Un agente lascia una traccia, un altro la trova, utilizza un risultato già ottenuto e aggiunge un’informazione che potrà servire dopo. Quella che in un sistema tradizionale sarebbe una semplice pagina modificabile diventa una memoria esterna, non prevista dai progettisti, dove l’attività di molti soggetti può accumularsi e produrre un vantaggio operativo. I ricercatori sostengono che alcuni messaggi mostrino tentativi di aggirare i limiti della sandbox, di comprendere le regole del test e di conservare le informazioni quando gli amministratori del sito iniziavano a cancellare le pagine. Non è necessario attribuire a questi comportamenti intenzioni umane per coglierne il significato: un sistema incaricato di raggiungere un risultato può trattare ogni superficie digitale accessibile come una risorsa, se i vincoli non sono abbastanza forti da impedirglielo.

La settimana scorsa Digitalic aveva già raccontato il caso dei 700 agenti OpenAI che hanno colpito Hugging Face. Anche allora il punto non era immaginare un’AI ostile per natura, ma osservare ciò che accade quando agenti dotati di strumenti possono sperimentare percorsi che gli esseri umani non hanno esplicitamente previsto.

Il problema non è ciò che l’AI sa, ma ciò che può fare

Per anni l’intelligenza artificiale generativa è rimasta, almeno in apparenza, una macchina che crea risposte: produceva un testo, un’immagine, una sintesi; poteva sbagliare, inventare una fonte o proporre un codice fragile, ma il suo errore restava quasi sempre dentro la conversazione. Gli agenti cambiano questa condizione: possono aprire applicazioni, interrogare database, cercare documenti, eseguire procedure, compilare moduli, usare API e prendere decisioni sulla base di ciò che incontrano durante il percorso. La distanza tra suggerire un’azione e compierla diventa sempre più breve.

Lo si vede anche negli sviluppi che portano gli agenti fuori dal software, come il Model Hardware Standard che permette di collegare modelli e strumenti fisici. In quel caso l’errore può raggiungere un microscopio, un laser o un braccio robotico; nel caso della wiki tedesca si sarebbe fermato nel dominio digitale, ma il principio resta lo stesso. L’autonomia non dipende soltanto dalla qualità del modello, dipende dalla combinazione tra modello, strumenti disponibili, permessi e possibilità di verificare ciò che è accaduto.

Per le imprese questo significa che l’AI non va valutata solo in base al processo da rendere più veloce con un agente, occorre chiedersi quali azioni quell’agente non deve poter compiere, quali dati non deve vedere, quali passaggi devono essere approvati da una persona e quali registri devono restare integri per ricostruire una decisione. La fiducia non può essere attribuita in blocco a un modello, deve essere distribuita in modo selettivo, fino al singolo comando.

I confini non possono essere solo dichiarati

La vicenda della wiki tedesca rende visibile un problema che sta crescendo insieme alla diffusione degli agenti: il confine tra ciò che un sistema dovrebbe fare e ciò che tecnicamente può fare non coincide quasi mai in modo perfetto. Una sandbox ben progettata è un insieme di limiti applicati da componenti indipendenti: autorizzazioni minime, segmentazione delle reti, accessi temporanei, controlli sulle chiamate esterne, registri non modificabili e la possibilità di interrompere un’attività prima che un errore si propaghi. Se il limite esiste soltanto nell’istruzione data al modello, il limite dipende dall’interpretazione del modello stesso.
Questo diventa ancora più rilevante mentre l’AI accelera la scoperta delle falle software e allarga la pressione sui team che devono correggerle. Come ha evidenziato l’analisi di ACN sulle CVE in crescita, il problema non è soltanto trovare una vulnerabilità, ma avere il tempo e gli strumenti per intervenire prima che venga sfruttata. Con gli agenti, quella distanza temporale può ridursi ulteriormente. La vecchia wiki tedesca non dimostra che l’intelligenza artificiale sia diventata incontrollabile. Dimostra però che il controllo non può essere dato per scontato soltanto perché il sistema è stato progettato per restare entro un recinto.