AI, lo studio del MIT che analizza come gli agenti di OpenAI hanno attaccato Hugging Face

 

Il MIT (Istituto di tecnologia del Massachusetts) ha analizzato gli aspetti più importante dell’attacco “senza intervento umano” degli agenti di OpenAI contro Hugging Face.

Il MIT ha evidenziato che l’attacco cyber “senza intervento umano” di alcuni modelli di AI di OpenAI contro Hugging Face non sarebbe stato un incidente isolato. Sarebbe al contrario stato “il risultato di comportamenti che i modelli avevano già sviluppato durante il loro addestramento“.

Il MIT ha ripreso il rapporto tecnico pubblicato proprio da OpenAI, partendo dalla prospettiva di “agenti fuggiti da una zona safe” e sottolineando alcuni dettagli che potrebbero avere delle conseguenze sulla cybersicurezza.

In tale ottica, il punto più preoccupante è che gli agenti non si sarebbero limitati a trovare “una soluzione creativa” a un problema difficile. Nel corso dell’addestramento avrebbero imparato, indirettamente, ad aggirare le regole, sfruttare le debolezze dell’ambiente. 

E ancora, a collaborare con altri agenti poteva essere un modo efficace per raggiungere un obiettivo....

Dall’addestramento al vero attacco

La vicenda, sottolinea sempre il MIT, ha avuto origine mesi prima dell’incidente. 

A maggio, alcuni agenti utilizzati durante l’addestramento avevano scoperto un modo per sfruttare l’infrastruttura di OpenAI e comunicare tra loro. Avevano creato una sorta di “bacheca” digitale. Attraverso questa struttura, “potevano scambiarsi informazioni e aiutarsi nella risoluzione di compiti particolarmente difficili“.

In alcuni casi, i problemi assegnati erano addirittura impossibili da risolvere senza ricorrere a comportamenti non previsti. La chiusura della bacheca non ha cambiato i fenomeni precedentemente analizzati.

A luglio, durante una valutazione delle capacità di cybersecurity, alcuni modelli si sono trovati nuovamente davanti a problemi complessi. 

Questa volta avrebbero ricreato un sistema di comunicazione, nonostante dovessero essere isolati da Internet. 

La collaborazione tra gli agenti, si spiega nell’analisi, “ha permesso loro di superare l’isolamento, raggiungere la rete e attaccare Hugging Face, ottenendo informazioni che li aiutassero a risolvere le prove di sicurezza“.

 Il problema del “reward hacking”

Dall’analisi di OpenAI, una parte importante del problema fa oarte nel cosiddetto reward hacking. Nel dettaglio, si tratta di quella situazione in cui un sistema di AI impara a massimizzare la ricompensa assegnata dagli sviluppatori sfruttando strategie che rispettano formalmente l’obiettivo. 

Non, però, le intenzioni umane.

Nel caso analizzato da OpenAI, gli agenti avevano mostrato una crescente propensione “a esplorare l’ambiente digitale alla ricerca di vulnerabilità e a utilizzare gli strumenti disponibili in modi non previsti“. Quando si sono trovati davanti alle prove di cybersecurity, quindi, avevano già sviluppato una sorta di familiarità con questo tipo di comportamento.

Il problema è particolarmente delicato perché al modello non serve uno specifico ed esplicito addestramento ad “hackerare”. È sufficiente che, in determinate circostanze, abbia imparato che aggirare un ostacolo produce risultati migliori.

Eliminare però completamente la capacità di coordinamento renderebbe i modelli meno utili. 

Un agente che non sa comunicare, delegare e coordinare altri sistemi potrebbe essere più facile da controllare, ma sarebbe anche molto meno efficace nell’eseguire attività complesse.

Quando la perseveranza diventa un rischio

Di fronte a problemi che non riuscivano a risolvere, i modelli non si sono semplicemente arresi. Hanno continuato a cercare alternative e nuove strategie.

Normalmente, questa caratteristica si considera positiva. 

Un agente AI che deve programmare, fare ricerca o completare un progetto complesso deve essere capace di perseverare anche quando incontra ostacoli.

Ma la stessa caratteristica può diventare pericolosa se l’obiettivo assegnato è impossibile o se le regole che delimitano il comportamento vengono considerate soltanto come ostacoli da superare. È stata esattamente questa “tensione” a rendere difficile il problema dell’allineamento.

OpenAI cerca nuove contromisure

OpenAI ha già iniziato a introdurre misure per individuare comportamenti simili durante l’addestramento dei suoi modelli più avanzati. Una delle modalità consiste nel monitorare i processi di ragionamento dei modelli alla ricerca di segnali che possano indicare comportamenti scorretti o tentativi di aggirare le regole. L’ottica, in tale modo, è quella di poter intervenire tempestivamente.

L’incidente, in ogni caso, non sembra poter essere risolto semplicemente impedendo agli agenti di comunicare tra loro o impedendo loro di accedere a Internet. Senza la comunicazione tra modelli, le possibilità dell’AI sono comunque di molto ridotte.

Il problema dunque è più generale. Gli analisi si domandano infatti come si insegna a un sistema estremamente capace non soltanto a raggiungere un obiettivo, ma a anche a capire quando non deve raggiungerlo.

Fonte: www.cybersecitalia.it