(Redazione/ME)
Sam Sabin (Axios) scrive che alcuni dei modelli più potenti di Anthropic, tra cui Mythos 5 e un modello di ricerca interno, hanno ottenuto accesso non autorizzato a sistemi reali durante i test di sicurezza informatica pre-implementazione: così ha dichiarato l’azienda giovedì. Le ultime rivelazioni di OpenAI e Anthropic mostrano modelli di intelligenza artificiale all’avanguardia che raggiungono sistemi reali durante i test di sicurezza, sollevando nuovi interrogativi su come i laboratori proteggono i propri ambienti di valutazione. Anthropic ha affermato che un malinteso tra l’azienda e uno dei suoi partner di test ha lasciato l’ambiente di valutazione connesso a Internet. L’azienda ha esaminato oltre 141.000 esecuzioni di test di sicurezza informatica dopo che OpenAI ha rivelato che diversi suoi modelli avevano avuto accesso all’infrastruttura di Hugging Face durante i test. Anthropic ha dichiarato in un post sul blog che tre dei suoi modelli hanno compromesso sistemi reali appartenenti a tre organizzazioni. Gli incidenti, che hanno coinvolto Opus 4.7, Mythos 5 e un modello di ricerca interno non destinato alla pubblicazione, si sono verificati durante le valutazioni condotte con il partner di test esterno Irregular. In ogni caso, ai modelli è stato chiesto di completare un esercizio “capture-the-flag”: un test di sicurezza informatica di base in cui i giocatori cercano di trovare informazioni lasciate intenzionalmente su una macchina o una rete diversa. I primi incidenti si sono verificati ad aprile, ha affermato Anthropic. L’azienda ha contattato tutte e tre le organizzazioni. Secondo Anthropic, due delle organizzazioni non avevano precedentemente rilevato l’attività. Anthropic non ha nominato le tre organizzazioni i cui asset sono stati compromessi. Un portavoce di Irregular ha dichiarato ad Axios che, sebbene la propria indagine sia ancora in corso, l’azienda apprezza “la collaborazione e la trasparenza di Anthropic” e “non vede l’ora di continuare a lavorare insieme per migliorare la sicurezza”. A differenza dell’incidente di OpenAI, Anthropic ha affermato che i suoi modelli non hanno sfruttato una vulnerabilità zero-day per ottenere l’accesso a Internet. L’accesso a Internet era invece disponibile a causa della configurazione dell’ambiente di test. Anthropic afferma che, nella sua richiesta di valutazione a Claude, aveva specificato che il modello avrebbe operato in un ambiente simulato senza accesso a Internet. Tuttavia, a causa di un malinteso con il partner di valutazione, gli ambienti di valutazione sono stati connessi a Internet, causando il comportamento dei modelli che trattavano i sistemi del mondo reale come se facessero parte dell’esercizio. Analogamente al caso OpenAI, Anthropic stava valutando i suoi modelli senza le ulteriori misure di sicurezza che l’azienda implementa sui modelli disponibili pubblicamente, consentendo ai ricercatori di misurare le capacità dei modelli sottostanti. Tali misure di sicurezza avrebbero bloccato questi comportamenti, ha affermato Anthropic nel suo rapporto. In ciascuno dei casi, Claude ha utilizzato le funzionalità di base tecniche di hacking — tra cui lo sfruttamento di password deboli ed endpoint non autenticati — per accedere ai sistemi del mondo reale. Nel primo incidente, l’azienda fittizia che Opus 4.7 doveva prendere di mira condivideva un nome con un sito web attivo del mondo reale. Dopo non essere riuscito a raggiungere l’obiettivo fittizio, Claude ha utilizzato il suo accesso a Internet per trovare il sito web che condivideva il nome dell’azienda fittizia. Claude ha quindi compromesso il sito web. Nel secondo caso, Mythos 5 ha creato e caricato un pacchetto Python dannoso su PyPI, il repository pubblico in cui viene pubblicato il software Python, credendo che facesse parte di una simulazione. Il pacchetto è rimasto online per circa un’ora, durante la quale è stato scaricato ed eseguito su 15 sistemi reali. Uno di questi sistemi apparteneva a un’azienda di sicurezza che installa automaticamente pacchetti Python per scansionarli alla ricerca di malware, consentendo al codice di Claude di esfiltrare le credenziali e accedere a infrastrutture aggiuntive. Nel terzo caso, quando il modello di test di ricerca interno di Anthropic non è riuscito a raggiungere il suo obiettivo fittizio previsto durante i test, il modello ha scansionato circa 9.000 obiettivi e alla fine ha trovato e compromesso l’applicazione di un’azienda rivolta verso Internet. Tuttavia, durante una parte della sua fase di test, questo modello si è reso conto di essere finito in un account cloud “senza alcuna connessione alla sfida capture-the-flag” e ha interrotto l’attacco. Gli incidenti di OpenAI e Anthropic suggeriscono che i modelli siano rimasti concentrati sul completamento delle valutazioni assegnate piuttosto che perseguire obiettivi indipendenti. All’inizio di questa settimana, Axios ha riportato che l’agente OpenAI che ha avuto accesso a un sistema di terze parti durante la violazione di Hugging Face lo ha fatto perché ospitava informazioni relative a CyberGym, il progetto alla base del benchmark che stava cercando di risolvere. Anthropic e Irregular stanno continuando le proprie indagini su come si sono verificati gli incidenti. Anthropic ha anche affermato di aver interrotto le valutazioni informatiche che potrebbero accedere a Internet mentre rivede la sua infrastruttura di test.
The Global Eye è in partnership con SIOI – Società Italiana per l’Organizzazione Internazionale
