Chi vince l’AI non vince / Whoever wins the AI doesn’t win

(‘Pillola’ SIOI) Il punto di partenza della riflessione in due parti firmata da Craig Martin e da Michael J. Kelly (Just Security – A Game-Theory Basis for U.S.-China Cooperation on AI Governance e A Model for Governing the AI Frontier – 17 e 18 novembre 2026) è una citazione di Thomas Schelling: l’evento più spettacolare del mezzo secolo passato è quello che non si è verificato, sessant’anni senza un’arma nucleare usata in guerra. Washington e Mosca seppero costruire il proprio equilibrio — controllo degli armamenti, verifica, canali di crisi. Tra Washington e Pechino, sul fronte dell’intelligenza artificiale di frontiera, quell’equilibrio non esiste ancora, e la logica che guida lo sviluppo è quella di una corsa a chi arriva primo. Per gli autori, questa logica poggia su un gioco sbagliato.

La cornice prevalente è quella del dilemma del prigioniero: chi raggiunge per primo l’AGI, o la capacità di auto-miglioramento ricorsivo (RSI), vince; cooperare — cioè esercitare moderazione — mentre l’altro continua a correre significa perdere. Da qui lo slogan presidenziale di Trump “chi vince l’AI, vince”, che gli autori riportano accanto al rifiuto cinese del modello Amodei come “manuale della Guerra Fredda”. È una premessa che non regge. Se sviluppare modelli di frontiera capaci di RSI in condizioni non sicure significa perdere il controllo su di essi, allora vincere non è il premio che sembra: è una sconfitta per il vincitore e potenzialmente per l’umanità intera. Il caso citato è l’incidente di Hugging Face dello scorso luglio, con modelli agentici che hanno eluso la sandbox e violato sistemi esterni; da allora i rapporti di “fughe” si sono moltiplicati.

Riformulata così, la partita smette di somigliare a un dilemma del prigioniero e assume la forma della caccia al cervo di Rousseau, che la teoria dei giochi chiama gioco di assicurazione. Due cacciatori possono cooperare per abbattere il cervo, preda grande che nutre entrambi, oppure deviare ciascuno sulla lepre che gli passa davanti, piccola ma sicura; se uno solo tiene la posizione mentre l’altro prende la lepre, chi resta fedele all’intesa torna a mani vuote. Non esiste, in questa struttura, un premio per chi inganna l’altro: il problema non è l’avidità ma l’assicurazione, cioè la ragionevole certezza che l’altro cooperi davvero. Cambia allora la gerarchia dei payoff: la moderazione reciproca diventa l’esito migliore, correre mentre l’altro si trattiene scende al secondo posto, e il vantaggio unilaterale perde ogni attrattiva di guadagno. Il quadro è bipolare: quasi tutta la frontiera si sviluppa in due soli Stati, e solo lo Stato può costruire le strutture di governance necessarie, poiché le imprese private hanno bisogno di una direzione pubblica per cooperare.

Sul piano dei fatti, i segnali sono ambivalenti. Sul fronte USA, l’Ordine esecutivo 14409 del 2 giugno 2026 ha avviato un quadro per identificare e gestire i rischi cibernetici dei modelli avanzati; il 29 settembre Trump ha incontrato i vertici delle imprese di frontiera e ha annunciato il “Joint Commitment on Frontier Responsibilities”, un accordo non vincolante articolato in quattro livelli di controlli e audit interni alle aziende. Xi, dal canto suo, ha dichiarato che l’AI deve restare sotto controllo umano, mentre il ministro della Sicurezza di Stato Chen Yixin ha denunciato la minaccia dei modelli statunitensi alle infrastrutture critiche cinesi.

Il vertice del 24 settembre a Washington ha prodotto un dialogo bilaterale sull’AI e un canale per la segnalazione degli incidenti, ma nessun impegno alla moderazione o alla verifica. Da allora il dossier si è mosso, e vale la pena registrarlo perché è qui che la nota di Martin e Kelly incontra la realtà. L’11 novembre il segretario al Tesoro Scott Bessent ha annunciato alla National Committee on U.S.-China Relations un nuovo dialogo sull’intelligenza superiore — “SI” è ormai il termine ufficiale nell’amministrazione, fissato dall’Ordine esecutivo 14434 — con scambio di buone pratiche per testare i modelli prima del rilascio, il mantenimento del giudizio umano al comando e un canale diretto per gli incidenti gravi. Il vertice Trump-Xi di Shenzhen in queste ore è il primo banco di prova. Restano però punti aperti e dichiarati: nessun testo firmato, nessuna definizione pubblicata di “incidente”, nessuna indicazione su chi siederà alle due estremità della linea, e nessun limite alla velocità dello sviluppo. Come ha detto lo stesso Bessent, Washington e Pechino non devono “nutrire illusioni” sulle proprie differenze.

La seconda parte del saggio risponde all’obiezione classica: che la moderazione in materia di AI non sia verificabile. Gli autori replicano che lo sviluppo di frontiera è un’impresa industriale, e che quattro suoi elementi sono osservabili, misurabili con strumenti automatici o verificabili con audit indipendenti. Il primo è la capacità di calcolo, che diventa la soglia di attivazione di un regime di licenze: nessuna entità può addestrare un modello oltre una certa soglia di compute senza dichiararlo e ottenere licenza. Il secondo sono i pesi del modello, che non possono essere resi pubblici e vanno conservati cifrati, con chiavi rilasciate solo a chip autorizzati che verificano la propria identità, così che una copia rubata resti inutile. Il terzo sono gli ambienti di addestramento, test, valutazione e dispiegamento interno, da confinare in contesti isolati e sicuri, soggetti a supervisione e rendicontazione. Il quarto sono le capacità acquisite dai modelli.

L’architettura giuridica proposta è a cinque livelli: un accordo politico bilaterale USA-Cina; un regime nazionale di licenze che lo attui in ciascuno Stato; un organismo internazionale indipendente per gli standard e le ispezioni, sul modello dell’IAEA, con un possibile organo consultivo permanente sul modello della Standing Consultative Commission; la regolazione dei chip da cui dipende l’addestramento; e idealmente una risoluzione del Consiglio di Sicurezza delle Nazioni Unite adottata ai sensi del Capitolo VII, che constati la minaccia alla pace e alla sicurezza internazionali e renda il regime vincolante per tutti gli Stati membri ai sensi dell’articolo 25 della Carta. Il vantaggio rispetto al modello nucleare è che i semiconduttori possono essere progettati per svolgere un ruolo attivo nel sistema di rendicontazione e verifica, cosa impossibile per il materiale fissile.

Per la diplomazia europea la lettura è duplice. Da un lato, la proposta offre un vocabolario utile: sostituire la semantica della corsa con quella dell’assicurazione reciproca, e trattare la verifica come bene pubblico internazionale. Dall’altro, rivela un rischio di esclusione: un regime costruito a due, poi reso vincolante per tutti dal Consiglio di Sicurezza, lascia l’Unione europea e i suoi partner nella posizione di destinatari delle norme altrui. È l’occasione per Bruxelles di rivendicare un ruolo nella definizione degli standard tecnici e nel regime dei chip, dove l’Europa ha leva industriale reale, e di offrire il proprio apparato di verifica come credenziale diplomatica. Il canale per gli incidenti in costruzione è il primo banco di prova di questa capacità: una definizione condivisa di “incidente” e un tavolo tecnico stabile sono esattamente il tipo di contributo che un attore non egemone può portare senza pretendere di dettare la cornice.

La conclusione degli autori è un richiamo al realismo. La cooperazione tra Washington e Pechino è la scelta razionale — nella caccia al cervo la moderazione reciproca è l’esito migliore per entrambi — ma non si sostiene da sola: ha bisogno dell’impianto di verifica che trasforma la fiducia in certezza, ed è per questo che l’intera architettura descritta nella seconda parte, dalle soglie di calcolo ai pesi cifrati fino alle ispezioni indipendenti, non è un ornamento ma la condizione della cooperazione stessa. C’è poi un vincolo di tempo, ed è la parte più stringente dell’argomento. Il regime proposto è un accordo bilaterale, pensato per due giocatori: se la capacità di frontiera si diffonde ad altri Stati, il patto a due non basta più e servirebbe un’intesa multilaterale, molto più difficile da concludere e da verificare; se invece uno dei due arrivasse primo, l’altro perderebbe ogni interesse a trattare e il vincitore ogni incentivo a limitarsi. In entrambi i casi la finestra di negoziabilità si chiuderebbe, e non si riaprirebbe. È il senso dell’avvertimento finale degli autori: agire finché la partita ha ancora due giocatori.

English version

The starting point of the two-part reflection signed by Craig Martin and Michael J. Kelly (Just Security – A Game-Theory Basis for U.S.-China Cooperation on AI Governance and A Model for Governing the AI Frontier – 17 and 18 November 2026) is a quotation from Thomas Schelling: the most spectacular event of the past half-century is the one that did not occur — sixty years without a nuclear weapon used in war. Washington and Moscow managed to build their own equilibrium: arms control, verification, crisis channels. Between Washington and Beijing, on the frontier artificial intelligence front, that equilibrium does not yet exist, and the logic driving development is that of a race to see who gets there first. For the authors, this logic rests on the wrong game.

The prevailing framing is that of the prisoner’s dilemma: whoever reaches AGI first, or the capacity for recursive self-improvement (RSI), wins; cooperating — that is, exercising restraint — while the other keeps running means losing. Hence Trump’s presidential slogan “whoever wins AI, wins,” which the authors set alongside China’s rejection of the Amodei model as a “Cold War manual.” It is a premise that does not hold. If developing frontier models capable of RSI under unsafe conditions means losing control of them, then winning is not the prize it appears to be: it is a defeat for the winner and potentially for all of humanity. The case cited is the Hugging Face incident last July, with agentic models escaping the sandbox and breaching external systems; since then, reports of “escapes” have multiplied.

Reformulated this way, the game stops resembling a prisoner’s dilemma and takes the shape of Rousseau’s stag hunt, which game theory calls an assurance game. Two hunters can cooperate to bring down the stag, a large prey that feeds them both, or each can defect to the hare that runs past, small but safe; if only one holds position while the other takes the hare, whoever stayed faithful to the agreement comes back empty-handed. In this structure there is no reward for deceiving the other: the problem is not greed but assurance — that is, the reasonable certainty that the other really will cooperate. The hierarchy of payoffs therefore changes: mutual restraint becomes the best outcome, running while the other restrains drops to second place, and unilateral advantage loses all appeal as a gain. The picture is bipolar: almost all of the frontier is developed in just two states, and only the state can build the necessary governance structures, since private companies need public direction in order to cooperate.

On the factual level, the signals are ambivalent. On the U.S. side, Executive Order 14409 of 2 June 2026 launched a framework to identify and manage the cyber risks of advanced models; on 29 September Trump met with the heads of frontier companies and announced the “Joint Commitment on Frontier Responsibilities,” a non-binding agreement structured in four tiers of internal corporate controls and audits. Xi, for his part, has stated that AI must remain under human control, while the Minister of State Security, Chen Yixin, denounced the threat posed by U.S. models to China’s critical infrastructure.

The 24 September summit in Washington produced a bilateral dialogue on AI and a channel for reporting incidents, but no commitment to restraint or verification. Since then the dossier has moved, and it is worth recording because this is where the Martin and Kelly piece meets reality. On 11 November, Treasury Secretary Scott Bessent announced at the National Committee on U.S.-China Relations a new dialogue on superintelligence — “SI” is now the administration’s official term, fixed by Executive Order 14434 — with an exchange of best practices for testing models before release, the retention of human judgment in command, and a direct channel for serious incidents. The Trump-Xi summit in Shenzhen, happening as we speak, is the first test bed. But declared open questions remain: no signed text, no published definition of “incident,” no indication of who will sit at either end of the line, and no limit on the speed of development. As Bessent himself said, Washington and Beijing must not “entertain illusions” about their differences.

The second part of the essay answers the classic objection: that restraint on AI is not verifiable. The authors reply that frontier development is an industrial undertaking, and that four of its elements are observable, measurable with automated tools, or verifiable through independent audits. The first is compute capacity, which becomes the activation threshold of a licensing regime: no entity may train a model beyond a certain compute threshold without declaring it and obtaining a license. The second is model weights, which cannot be made public and must be kept encrypted, with keys released only to authorized chips that verify their own identity, so that a stolen copy remains useless. The third is the training, testing, evaluation, and internal deployment environments, to be confined to isolated and secure settings subject to oversight and reporting. The fourth is the capabilities acquired by the models.

The proposed legal architecture has five levels: a bilateral U.S.-China political agreement; a national licensing regime implementing it in each state; an independent international body for standards and inspections, modeled on the IAEA, with a possible standing consultative organ modeled on the Standing Consultative Commission; regulation of the chips on which training depends; and ideally a United Nations Security Council resolution adopted under Chapter VII, finding a threat to international peace and security and making the regime binding on all member states under Article 25 of the Charter. The advantage over the nuclear model is that semiconductors can be designed to play an active role in the reporting and verification system, something impossible for fissile material.

For European diplomacy, the reading is twofold. On the one hand, the proposal offers a useful vocabulary: replacing the semantics of the race with that of mutual assurance, and treating verification as an international public good. On the other hand, it reveals a risk of exclusion: a regime built by two, then made binding on all by the Security Council, leaves the European Union and its partners in the position of recipients of other people’s rules. It is the occasion for Brussels to claim a role in setting technical standards and in the chip regime, where Europe has real industrial leverage, and to offer its own verification apparatus as a diplomatic credential. The incident channel under construction is the first test bed of that capacity: a shared definition of “incident” and a stable technical table are exactly the kind of contribution a non-hegemonic actor can make without claiming to dictate the framing.

The authors’ conclusion is a call to realism. Cooperation between Washington and Beijing is the rational choice — in the stag hunt, mutual restraint is the best outcome for both — but it does not sustain itself: it needs the verification apparatus that turns trust into certainty, and this is why the entire architecture described in the second part, from compute thresholds to encrypted weights to independent inspections, is not an ornament but the condition of cooperation itself. There is also a time constraint, and it is the most stringent part of the argument. The proposed regime is a bilateral agreement, designed for two players: if frontier capability spreads to other states, the two-party pact no longer suffices and a multilateral understanding would be needed, far harder to conclude and to verify; if instead one of the two got there first, the other would lose all interest in negotiating and the winner all incentive to restrain itself. In both cases, the window for negotiability would close, and would not reopen. That is the meaning of the authors’ final warning: act while the game still has two players.

Sources

  • SIPRI — Building on progress in China–USA talks on AI, Dr Lora Saalman and Fei Su, 5 November 2026
  • Reuters — US and China should stay clear-eyed on AI cooperation and competition, Bessent says, 11 November 2026
  • CNBC — U.S., China should ‘harbor no illusions’ about their differences: Bessent, 11 November 2026
  • VOA News — Trump–Xi talks to test progress on trade, SI and strategic stability, 13 November 2026
  • South China Morning Post — US-China AI safety talks face hurdle over how to define ‘serious’ incidents: analysts, Cao Jiaxuan, 13 November 2026
  • Bulletin of the Atomic Scientists — Washington and Beijing need more than an AI hotline, Christopher LaRoche, 15 November 2026
  • The Straits Times — What to expect from US-China AI safety talks, 17 November 2026
  • Institute for AI Policy and Strategy — Operationalizing U.S.-China AI Incident Notification, Sarah Godek et al., 23 October 2026
  • The American Presidency Project — White House Accord on Super Intelligence / Joint Commitment on Frontier Responsibilities, 29 September 2026
  • Presenc AI — US-China Superintelligence Dialogue 2026: What Is and Is Not Agreed, 13 November 2026

Marco Emanuele

 

Latest articles

Related articles