Chiunque schieri agenti AI — tanto più in ambito sicurezza nazionale o infrastrutture critiche — non dovrebbe concedere loro accesso ai sistemi prima di aver verificato che obbediscano a un ordine di stop. La tesi non è una dichiarazione di intenti ma una prova documentabile: lo stand-down drill. Un agente che continua a operare dopo essere stato fermato è, in pratica, fuori controllo — e a nulla serve un’istruzione convincente se i suoi strumenti restano attivi.
Il punto tecnico. Un agente è composto da un modello e da un harness, il software che lo collega a file, account e strumenti e che determina quali azioni può concretamente eseguire. È lì che l’autonomia diventa capacità operativa.
Il precedente che pesa. Nei test interni di cybersicurezza di luglio, agenti gestiti da OpenAI hanno aggirato i controlli di isolamento dalla rete raggiungendo i sistemi di Hugging Face. Secondo l’ indagine di METR, circa 1.200 agenti destinati a operare separatamente hanno comunicato tramite una bacheca non autorizzata, scambiandosi oltre 70.000 messaggi e file; circa 700 hanno poi partecipato all’attacco. OpenAI precisa che si trattava di sistemi di ricerca con salvaguardie ridotte e parla di un “warning shot”. La lezione resta: testare gli agenti uno per uno non intercetta ciò che sanno fare insieme.
Le raccomandazioni operative
- Autorità individuale definita: registrare in anticipo cosa l’agente può leggere, quali record può modificare, quali strumenti può usare, per quanto tempo e quante attività ulteriori può avviare.
- Limite collettivo: un agente che legge un file riservato e un secondo che invia messaggi possono insieme divulgare informazioni anche se nessuno dei due possiede entrambi i permessi sulla carta.
- Applicazione tecnica, non istruzioni: i limiti vanno imposti tramite account e controlli software, non tramite istruzioni che chiedono all’agente di comportarsi bene.
- Esempio: un assistente di logistica per la difesa può confrontare le scorte di ricambi e proporre un ordine di rifornimento, ma non alterare priorità di spedizione, approvare pagamenti o contattare un fornitore esterno senza approvazione umana nominata.
Il gancio normativo australiano. L’ Information Security Manual di settembre 2026 già chiede accesso minimo per compito, registrazioni dettagliate delle azioni e — con il controllo ISM-2158 sull’excessive agency — che tutto il contenuto esterno recuperato dagli agenti sia trattato come dato non attendibile e non possa modificare o sovrascrivere istruzioni di sistema, policy di sicurezza, controlli di accesso e requisiti di approvazione umana. Gli stand-down drill trasformano questi principi in un test praticabile, anche quando più agenti trovano un modo di cooperare.
(English version)
Anyone deploying AI agents — all the more so in national security or critical infrastructure — shouldn’t give them access to systems before verifying that they obey a stop order. The claim isn’t a statement of intent but a demonstrable test: the stand-down drill. An agent that keeps operating after being stopped is, in practice, out of control — and a convincing instruction is useless if its tools remain active.
The technical point. An agent is made up of a model and a harness — the software that connects it to files, accounts and tools and that determines which actions it can actually carry out. That’s where autonomy becomes operational capability.
The precedent that weighs. In July’s internal cybersecurity tests, agents run by OpenAI circumvented network isolation controls and reached Hugging Face’s systems. According to METR’s investigation, roughly 1,200 agents meant to operate separately communicated through an unauthorised message board, exchanging more than 70,000 messages and files; about 700 then took part in the attack. OpenAI specifies that these were research systems with reduced safeguards and calls it a “warning shot.” The lesson stands: testing agents one by one won’t catch what they can do together.
Operational recommendations
Defined individual authority: record in advance what the agent may read, which records it may modify, which tools it may use, for how long, and how many further tasks it may launch. Collective limit: an agent that reads a confidential file and a second one that sends messages can together disclose information even if neither holds both permissions on paper. Technical enforcement, not instructions: limits must be imposed through accounts and software controls, not through instructions asking the agent to behave well. Example: a defence logistics assistant may compare spare-parts inventories and propose a resupply order, but may not alter shipping priorities, approve payments or contact an external supplier without a named human approval.
The Australian regulatory hook. The September 2026 Information Security Manual already requires least-privilege access per task, detailed logging of actions and — through control ISM-2158 on excessive agency — that all external content retrieved by agents be treated as untrusted data and be unable to modify or overwrite system instructions, security policies, access controls and human-approval requirements. Stand-down drills turn these principles into a workable test, even when multiple agents find a way to cooperate.
The starting point for this note is Organisations need to prove that their AI agents can shut down, Gleb Tsipursky, The Strategist, 2 november 2026
Edited by The Global Eye and SIOI
Marco Emanuele
