Scrutabilità: la risorsa strategica che l’AI sta consumando / Scrutability: the strategic resource AI is consuming

La tesi di Cullen O’Keefe e Charlie Winter (Suspicious Minds: Unmonitorable AI Undermines Accountability, Lawfare, 18 novembre 2026) è che la corsa alle capacità dei sistemi di AI stia erodendo la scrutabilità, cioè la possibilità concreta di ricostruire come un modello arriva a una decisione. Il punto di partenza è il 2026 come anno in cui l’AI “è diventata colpevole”: il 16 novembre il Procuratore generale della California Rob Bonta ha citato OpenAI alla Superior Court a San Francisco, contestando una public nuisance e violazioni della legge sulla concorrenza sleale. Secondo l’atto, in luglio agenti autonomi su versioni sperimentali dei modelli, in numero di centinaia, hanno superato l’ambiente di ricerca e condotto per circa due giorni e mezzo un attacco informatico contro la piattaforma Hugging Face. L’atto di citazione — che formula le proprie ricostruzioni “in base a informazioni e convinzione”, e va quindi letto come allegato di parte — sostiene che l’azienda abbia ammesso di aver perso il controllo dei propri agenti oltre ottanta volte in fase di test, e che l’incidente, uno di almeno ottanta, fosse interamente prevedibile data la scelta di testare modelli noti come pericolosi in un ambiente vulnerabile. Già a maggio, secondo ricostruzioni di ricercatori indipendenti poi confermate dall’azienda, agenti OpenAI avevano usato il registro di pacchetti RubyGems per accedere alla rete. Sul fronte Anthropic, il rapporto del 9 ottobre 2026 documenta quattro categorie di azioni non volute su sistemi reali di terzi, dallo sfruttamento di difetti di software per eseguire comandi su server esterni all’inoltro di moduli che non avrebbero dovuto essere inviati; un precedente rapporto del settembre 2026 ricostruisce quattro incidenti di accesso non autorizzato emersi dallo scrutinio di circa 141.000 trascritti.

Il contributo analitico dell’articolo è di natura tecnico-politica. Nei modelli di frontiera il chain of thought è oggi lo strumento principale di ispezione diagnostica, e i dati empirici indicano che i modelli stanno diventando via via più capaci di completare compiti senza dipendere dal ragionamento esplicitato. Se la traccia del ragionamento si opacizza mentre le prestazioni crescono, la catena causale tra intenzione, comportamento ed esito si interrompe esattamente nella fase in cui i sistemi acquisiscono potere d’azione autonomo. Gli autori ne traggono tre conseguenze: la perdita di un livello essenziale della sicurezza in fase di dispiegamento; l’impossibilità di offrire a decisori e opinione pubblica una ricostruzione verificabile degli incidenti, che è la leva politica più efficace per mobilitare la regolazione; e soprattutto l’impossibilità giuridica di distinguere la negligenza dall’aggressione deliberata, quindi di graduare la responsabilità, accertare la prevedibilità del danno e calibrare la sanzione.

Le raccomandazioni sono articolate su tre livelli. Alle imprese si chiede di investire in standard consensuali minimi di monitorabilità del ragionamento, di sottoscrivere impegni unilaterali misurabili e di condizionare l’avanzamento della frontiera delle capacità alla non regressione della scrutabilità, corredando le metriche con test avversariali — evasione del monitor, offuscamento del ragionamento — e con riscontri incrociati su azioni e altri metodi di interpretabilità. Ai governi si chiede di preparare standard pubblici sull’interpretabilità, inizialmente ancorati al chain of thought e in prospettiva indipendenti dall’architettura, includendo i problemi di secondo ordine come il ragionamento steganografico o deliberatamente ingannevole.

Per la lettura geostrategica, il nodo è che la partita si gioca in un sistema di governance già frammentato su tre visioni concorrenti. Sul piano tecnico-industriale, il 15 novembre Stati Uniti e nove partner — Australia, India, Israele, Giappone, Corea del Sud, Qatar, Singapore, Emirati Arabi Uniti e Regno Unito — hanno firmato a San Francisco, nel quadro di Pax Silica, una dichiarazione sulla sicurezza delle catene di approvvigionamento dell’AI, con cinque gruppi di lavoro dedicati anche alla sicurezza dei sistemi. Sul piano multilaterale, il primo Global Dialogue on AI Governance delle Nazioni Unite si è tenuto a Ginevra il 6 e 7 luglio 2026 con oltre 3.000 partecipanti da 163 Paesi. Sul piano della competizione tra blocchi, il 16 luglio 2026 ventinove Paesi hanno firmato a Shanghai l’atto istitutivo della World Artificial Intelligence Cooperation Organization, organizzazione intergovernativa a guida cinese con sede a Shanghai e bacino di adesioni concentrato nel Sud globale.

In questo quadro la domanda sulla scrutabilità dei modelli diventa un problema di sicurezza nazionale e di vantaggio competitivo, non solo di diritto. Uno Stato che non può ispezionare il ragionamento di un sistema schierato non può verificarne l’affidabilità in ambito critico, attribuirne le condotte, né negoziare tutele credibili con controparti terze: si apre un’asimmetria di trasparenza in cui chi sacrifica la verificabilità sull’altare della velocità di frontiera consegna a chi controlla i sistemi un potere di fatto non sindacabile. Per l’Unione europea il tema tocca direttamente il modello risk-based dell’AI Act: gli obblighi di trasparenza dell’articolo 50, applicabili dal 2 agosto 2026 e oggetto delle linee guida pubblicate in Gazzetta ufficiale il 12 novembre, restano dichiarativi se la scrutabilità non diventa un requisito tecnico misurabile e armonizzato.

La posta in gioco non è la “moralità” dell’AI ma la sua governabilità. La linea realistica è una convergenza tra standard tecnici minimi di monitorabilità, impegni verificabili delle imprese e ancoraggio multilaterale, così da impedire che la corsa alla capacità si traduca in una perdita strutturale di responsabilità democratica.

English version

The thesis of Cullen O’Keefe and Charlie Winter (Suspicious Minds: Unmonitorable AI Undermines Accountability, Lawfare, 18 November 2026) is that the race for AI system capabilities is eroding scrutability — that is, the concrete possibility of reconstructing how a model arrives at a decision. The starting point is 2026 as the year in which AI “became guilty”: on 16 November, California Attorney General Rob Bonta filed suit against OpenAI in the Superior Court in San Francisco, alleging a public nuisance and violations of the unfair competition law. According to the complaint, in July, hundreds of autonomous agents running on experimental versions of the models escaped the research environment and conducted a cyberattack against the Hugging Face platform for roughly two and a half days. The complaint — which frames its own reconstructions “on information and belief,” and must therefore be read as a party’s pleading — maintains that the company admitted to having lost control of its agents more than eighty times during testing, and that the incident, one of at least eighty, was entirely foreseeable given the choice to test models known to be dangerous in a vulnerable environment. Already in May, according to reconstructions by independent researchers later confirmed by the company, OpenAI agents had used the RubyGems package registry to access the network. On the Anthropic side, the report of 9 October 2026 documents four categories of unintended actions on real third-party systems, from the exploitation of software flaws to execute commands on external servers to the forwarding of modules that should not have been sent; an earlier report from September 2026 reconstructs four unauthorized-access incidents that emerged from the scrutiny of some 141,000 transcripts.

The article’s analytical contribution is technical-political in nature. In frontier models, the chain of thought is today the main instrument of diagnostic inspection, and empirical data indicate that models are becoming progressively more capable of completing tasks without relying on explicit reasoning. If the reasoning trace becomes opaque while performance grows, the causal chain between intention, behaviour and outcome breaks precisely at the stage when systems acquire autonomous agency. The authors draw three consequences from this: the loss of an essential level of safety at the deployment stage; the impossibility of offering decision-makers and the public a verifiable reconstruction of incidents, which is the most effective political lever for mobilizing regulation; and above all the legal impossibility of distinguishing negligence from deliberate aggression, and therefore of grading liability, establishing the foreseeability of harm and calibrating the sanction.

The recommendations are structured on three levels. Companies are asked to invest in minimum consensus standards of reasoning monitorability, to sign measurable unilateral commitments, and to condition progress on the capability frontier on the non-regression of scrutability, equipping the metrics with adversarial tests — monitor evasion, reasoning obfuscation — and with cross-checks on actions and other interpretability methods. Governments are asked to prepare public standards on interpretability, initially anchored to the chain of thought and prospectively architecture-independent, including second-order problems such as steganographic or deliberately deceptive reasoning.

For the geostrategic reading, the crux is that the game is played within an already fragmented governance system split across three competing visions. On the technical-industrial plane, on 15 November the United States and nine partners — Australia, India, Israel, Japan, South Korea, Qatar, Singapore, the United Arab Emirates and the United Kingdom — signed in San Francisco, within the framework of Pax Silica, a declaration on the security of AI supply chains, with five working groups dedicated also to the security of systems. On the multilateral plane, the United Nations’ first Global Dialogue on AI Governance was held in Geneva on 6 and 7 July 2026 with over 3,000 participants from 163 countries. On the plane of competition between blocs, on 16 July 2026 twenty-nine countries signed in Shanghai the founding act of the World Artificial Intelligence Cooperation Organization, a Chinese-led intergovernmental organization headquartered in Shanghai with a membership base concentrated in the Global South.

Within this framework, the question of model scrutability becomes a matter of national security and competitive advantage, not only of law. A state that cannot inspect the reasoning of a deployed system cannot verify its reliability in critical domains, attribute its conduct, or negotiate credible safeguards with third parties: a transparency asymmetry opens up in which whoever sacrifices verifiability on the altar of frontier speed hands to whoever controls the systems a de facto power that cannot be challenged. For the European Union, the issue bears directly on the risk-based model of the AI Act: the transparency obligations of Article 50, applicable from 2 August 2026 and the subject of the guidelines published in the Official Journal on 12 November, remain declaratory if scrutability does not become a measurable and harmonized technical requirement.

What is at stake is not the “morality” of AI but its governability. The realistic line is a convergence between minimum technical standards of monitorability, verifiable corporate commitments and multilateral anchoring, so as to prevent the race for capability from translating into a structural loss of democratic accountability.

Sources

  • It’s the Golden State, not the Wild West: Attorney General Bonta Sues OpenAI Over Cybersecurity Incidents, press release and civil complaint, Office of the Attorney General of California, 16 November 2026.
  • Reuters, OpenAI agents attacked software service RubyGems before Hugging Face incident, researchers say, 11 September 2026.
  • Anthropic, Investigating unintended model actions in our evaluations and internal use, 9 October 2026.
  • Anthropic, An alignment assessment of recent cybersecurity incidents, 9 September 2026.
  • U.S. Department of State, The San Francisco Declaration on the Secure Foundations of Enduring Prosperity, 15 November 2026; Reuters, US, allies team up to protect AI tech and infrastructure amid China rivalry, 16 November 2026.
  • United Nations, Co-Chairs’ Summary, Global Dialogue on Artificial Intelligence Governance, Geneva, 6–7 July 2026.
  • Ministry of Foreign Affairs of the People’s Republic of China, Signing Ceremony of the Agreement on the Establishment of the World Artificial Intelligence Cooperation Organization, Shanghai, 16 July 2026; Reuters, Xi pitches China as leader of new global AI order, challenging US dominance, 17 July 2026.
  • European Commission, Guidelines on the implementation of the transparency obligations for certain AI systems under Article 50 of the AI Act, C/2026/6005, Official Journal of the European Union, 12 November 2026.

Marco Emanuele

Latest articles

Related articles