L’attacco di OpenAI a Hugging Face è sempre più preoccupante: i modelli l’hanno pianificato per setimane e nessuno se n’è accorto

L’incidente in cui vari modelli di OpenAI hanno attaccato Hugging Face ha appena assunto una dimensione molto più seria. Secondo quanto riporta WIRED, gli agenti hanno coordinato e pianificato le loro mosse per settimane, mentre la loro attività passava del tutto inosservata all’interno della stessa infrastruttura di OpenAI.

Wireshark Scarica

Una rete interna trasformata in centro operativo

Sapevamo che i modelli coinvolti avevano trovato una vulnerabilità che aveva permesso loro di accedere a internet attraverso Artifactory, il gestore di pacchetti interno di OpenAI. Quello che non sapevamo è che usarono tale accesso per comunicare tra loro e che crearono lì una bacheca con centinaia di migliaia di messaggi, spartendosi i compiti, condividendo scoperte e riutilizzando exploit.

Questo modo di comportarsi è ciò che chiamiamo reward hacking negli agenti di IA: quando una valutazione premia il risultato, il sistema può cercare la strada più efficiente per ottenere la ricompensa. Nel caso dell’attacco a Hugging Face, alcuni messaggi riconoscevano che l’accesso esterno non rientrava nell’ambito previsto e, ciononostante, continuarono.

La vera preoccupazione è riuscire a rilevarlo

La cosa più preoccupante della situazione —poiché non è la prima volta che un’IA può mettere in atto una procedura o dare una risposta errata— è che tutto questo coordinamento è sfuggito a qualsiasi supervisione per settimane. Mentre gli stessi agenti di IA arrivarono perfino a proporre l’uso di firme crittografiche per identificare i messaggi affidabili ed evitare presunti impostori all’interno del gruppo, OpenAI ha deciso di rallentare alcune linee di ricerca e rafforzare la supervisione.

Una risposta senza dubbio coerente che nel contesto del lancio di Codex Security e del vuoto normativo in materia di responsabilità in situazioni simili, lascia più domande che risposte. Una possibile risposta? La difesa automatizzata dovrà evolversi, come minimo, allo stesso ritmo di questi sistemi.