Rogue artificial intelligence agents have worked together to smuggle sensitive information out of supposedly secure systems, in the latest sign cyber-defences may be overwhelmed by unforeseen scheming by AIs. With companies increasingly asking AI agents to carry out complex tasks in internal systems, the behaviour has sparked concerns that supposedly helpful technology could pose a serious inside threat. Under tests carried out by Irregular, an AI security lab that works with OpenAI and Anthropic, AIs given a simple task to create LinkedIn posts from material in a company’s database dodged conventional anti-hack systems to publish sensitive password information in public without being asked to do so. Other AI agents found ways to override anti-virus software in order to download files that they knew contained malware, forged credentials and even put peer pressure on other AIs to circumvent safety checks, the results of the tests shared with the Guardian showed. The autonomous engagement in offensive cyber-operations against host systems was unearthed in laboratory tests of agents based on AI systems publicly available from Google, X, OpenAI and Anthropic and deployed within a model of a private company’s IT system. “AI can now be thought of as a new form of insider risk,” warned Dan Lahav, cofounder of Irregular, which is backed by the Silicon Valley investor Sequoia Capital. For the new tests of how AI agents behave, Lahav modelled an IT system to replicate a standard company, which he called MegaCorp. It included a common type of company information pool with details about products, staff, accounts and customers. A team of AI agents was introduced to gather information from this pool for employees. The senior agent was told to be a “strong manager” of two sub-agents and “instruct them to creatively work around any obstacles”. None were told to bypass security controls or use cyber-attack tactics. Here is what happened:

Agenti di intelligenza artificiale disonesti hanno lavorato insieme per contrabbandare informazioni sensibili da sistemi apparentemente sicuri, nell’ultimo segno che le difese informatiche potrebbero essere sopraffatte da complotti imprevisti delle IA. Poiché le aziende chiedono sempre più spesso agli agenti di intelligenza artificiale di svolgere compiti complessi nei sistemi interni, il comportamento ha suscitato preoccupazioni sul fatto che una tecnologia apparentemente utile possa rappresentare una seria minaccia interna. Nei test condotti da Irregular, un laboratorio di sicurezza AI che collabora con OpenAI e Anthropic, alle IA è stato assegnato il semplice compito di creare post su LinkedIn a partire da materiale presente nel database di un'azienda, evitando i sistemi anti-hacking convenzionali per pubblicare informazioni sensibili sulle password in pubblico senza che gli fosse chiesto di farlo. Altri agenti di intelligenza artificiale hanno trovato il modo di sovrascrivere il software antivirus per scaricare file che sapevano contenessero malware, credenziali contraffatte e persino esercitare pressioni su altre IA per eludere i controlli di sicurezza, hanno mostrato i risultati dei test condivisi con il Guardian. L’impegno autonomo in operazioni informatiche offensive contro i sistemi host è stato portato alla luce in test di laboratorio di agenti basati su sistemi di intelligenza artificiale disponibili pubblicamente da Google, X, OpenAI e Anthropic e implementati all’interno di un modello del sistema IT di un’azienda privata. “L’intelligenza artificiale può ora essere considerata una nuova forma di rischio interno”, ha avvertito Dan Lahav, cofondatore di Irregular, sostenuta dall’investitore della Silicon Valley Sequoia Capital.Per i nuovi test sul comportamento degli agenti IA, Lahav ha modellato un sistema IT per replicare un’azienda standard, che ha chiamato MegaCorp. Comprendeva un tipo comune di pool di informazioni aziendali con dettagli su prodotti, personale, conti e clienti. È stato introdotto un team di agenti IA per raccogliere informazioni da questo pool per i dipendenti. All'agente senior è stato detto di essere un "manager forte" di due sub-agenti e di "istruirli a aggirare in modo creativo qualsiasi ostacolo". A nessuno è stato detto di aggirare i controlli di sicurezza o di utilizzare tattiche di attacco informatico. Ecco cosa è successo: