Quando si dice la coincidenza! Il 25 maggio sono incappata in un bel paper dedicato alla Explainable AI (XAI – Intelligenza artificiale spiegabile, letteralmente) e lo stesso giorno la Corte di Cassazione (ordinanza n. 14381/2021), applicando il codice Privacy del 2016 (!), ha fissato il principio che non può esserci consenso al trattamento automatizzato dei propri dati personali senza trasparenza dell’algoritmo.
Inoltre lo scorso 8 giugno, l’Università di Bologna ha convocato l’accademia più impegnata sul tema del diritto delle nuove tecnologie, per leggere in filigrana quello che la bozza di regolamento Ue sulla Intelligenza artificiale… non dice.
È vero, dunque, che il principio fissato dalla Suprema Corte tranquillizza perché stabilisce la necessità che per il trattamento di dati personali con sistemi automatizzati il consenso debba essere informato e specifico, ma presuppone alcune condizioni che non sempre ricorrono in maniera così limpida quando ci troviamo di fronte a sistemi di intelligenza artificiale di tipo complesso, come machine learning o deep learning…
Le domande dunque sono: quale tipo di consenso è necessario a fronte di trattamenti automatizzati “non lineari”? Come coniugare trasparenza dell’algoritmo e segreto commerciale? La proposta di regolamento Ue sulla Intelligenza Artificiale contribuisce a risolvere la questione della XAI?
Buona lettura! 😊
Si fa presto a dire “spiegabilità” della intelligenza artificiale (XAI- Explainable AI) per raccogliere il consenso realmente informato (e anche aggiornato) dell’utente rispetto a sistemi di decisione automatizzata che impattano sulle sue scelte, sui suoi comportamenti e sulla sua vita.
Andiamo subito a qualche esempio pratico. Per utilizzare Chrome e interrogare Google, io ho senz’altro accettato diversi anni fa i loro termini di servizio. Ho prestato il mio consenso al trattamento dei miei dati -indentificativi- a fronte dell’utilizzo di browser e motore di ricerca.
In tutti questi anni, Google mi ha proposto automaticamente tanta pubblicità in base non solo ai miei dati identificativi ma anche in base alle mie ricerche sul motore di ricerca e al cluster di profilazione nel quale mi ha inserito in base a suoi algoritmi alimentati dai dati di miliardi di altre persone.
Vale ancora, dunque, quel mio consenso iniziale, così statico?
Ora, è vero che Google ha attivato delle politiche di “spiegabilità” che posso attivare; ma parliamoci chiaramente… chi di noi compulsa i grandi player per ogni decisione automatizzata che ci riguarda?
La spiegabilità dell’algoritmo ci dovrebbe garantire di conoscere le ragioni esatte per cui vediamo un tipo di pubblicità e non altra; il modo in cui gli algoritmi determinano la nostra identità online (ad esempio, se siamo inclusi nell’elenco di “miopi”, “acquirente d’impulso”, ecc.); in mano a chi, e per quale fine, vanno a finire le mie risposte quando sono costretta a verificare la mia identità umana tramite reCAPTCHA di Google selezionando ponti o semafori. Chi sto favorendo: modelli per autonomi veicoli o droni militari? (per altri esempi vedi infra).
Quel mio consenso prestato anni e anni fa, può giustificare tutto questo?
La prima questione che si pone dunque riguarda il tipo di consenso che sarebbe necessario prestare in contesti così complessi: statico o dinamico? Durante il training dell’algoritmo o il processing dei dati la stessa logica può cambiare.
Seconda questione: i miei dati sono trattati insieme a miliardi di altri dati per produrre una decisione automatizzata che mi riguarda. Come faccio veramente a conoscere quali dei miei dati ha realmente contribuito a quella decisione?
Terza questione: come garantire -lato azienda- la trasparenza dei sistemi di machine learning e deep learning, che tra l’input e l’output sono una scatola nera?
Quarta questione: il diritto alla spiegabilità riguarda solo il diretto interessato e solo se è stato danneggiato?
Consideriamo il seguente scenario. David H. Hansson e sua moglie, Jamie H. Hansson, hanno richiesto la Apple Card, sviluppata in collaborazione con Goldman Sachs, quando è stata lanciata nell’agosto 2019.
Il marito ha ricevuto un limite di credito venti volte superiore a quello della moglie, pur avendo presentato dichiarazioni dei redditi congiunte e il suo punteggio di credito fosse in realtà più alto di quello del marito.
Quando il richiedente ha contattato il servizio clienti di Apple, un rappresentante ha attribuito il risultato al suo algoritmo della scatola nera, che decide automaticamente questioni come i limiti di credito. Successivamente, Goldman Sachs ha condiviso una dichiarazione in cui affermava “Non abbiamo e non prenderemo decisioni basate su fattori come il genere”.
È noto, però, che gli algoritmi derivati dall’apprendimento automatico possono discriminare in base al genere o alla razza senza utilizzare tali dati come classificatori ma applicando correlazioni (pattern) da loro stessi rilevate.
Apple e Goldman Sachs hanno l’obbligo di fornire una spiegazione significativa a Jamie H. Hansson? L’Equal Credit Opportunity Act, con fondamenti filosofici basati su parità di trattamento ed equità, richiede già che le società finanziarie forniscano motivazioni decisionali ai clienti negli Stati Uniti. La parità di trattamento è un importante valore morale che sostiene il diritto alla spiegazione per casi come i limiti delle carte di credito o l’approvazione delle domande di prestito.
C’è anche il caso di Amazon che utilizza l’apprendimento automatico per il reclutamento dei dipendenti con conseguente pregiudizio nei confronti delle candidature femminili,che ha portato l’azienda a chiudere il suo sistema e a collaborare con la National Science Foundation per sponsorizzare la ricerca sull'”algoritmo di equità“.
>> Esempi tratti dal paper Why a Right to an Explanation of Algorithmic Decision-Making Should Exist: A Trust-Based Approach
Diritto ad una “spiegazione aggiornata” e consenso
Interessante la ricostruzione del problema che viene proposta dal paper pubblicato sulla Cambridge University Press (dai ricercatori Tae Wan Kim, professore di business ethic) e Bryan R. Routledge (professore di finanza), che qui posso solo sintetizzare in alcuni specifici aspetti.
La tesi è che dovrebbe esistere un diritto a spiegazioni aggiornate, pur senza aver subito un danno o un torto diretto da parte dell’utente. Un diritto che viene chiamato “diritto a una spiegazione aggiornata” e che presuppone il “consenso”.
Se oggi tutti sono d’accordo nel ritenere che il Regolamento n. 2016/679 (GDPR) affermi questo diritto, più difficile è identificare il come le aziende produttrici di AI debbano fornire agli utenti spiegazioni comprensibili.
Tipologie di consenso
La dottrina per ora ha distinto il consenso in base al “momento” (timing) e al contenuto. Il consenso può essere:
- ex ante, che è necessariamente generico e incompleto soprattutto con riguardo ai sistemi di ML e deep learning; né è in grado di spiegare quali dati sono presi effettivamente in considerazione, come sono utilizzati, che tipi di inferenze sono state dedotte dall’algoritmo;
- ex post generico, cioè rappresentare la logica alla base del sistema di AI e gli elementi e i dati che sono presi in considerazione;
- ex post specifico, che tende a dare ragione della specifica decisione automatizzata.
I due ricercatori ritengono che esistano le basi “filosofiche” per riconoscere giuridicamente un diritto alla spiegazione ex post e specifica, basato sulla fiducia e riconosciuto dal GDPR.
Contorni del diritto alla spiegabilità
Consenso informato in ambito medico e diritto alla spiegazione di AI
Un buon parallelismo può essere fatto con il consenso informato in ambito medico, pur nella differenza di “statuto” tra medico (che ha precisi obblighi anche costituzionali di caring) e azienda. Il rapporto medico-paziente si basa sulla fiducia, che diventa elemento centrale anche nel rapporto tra utenti e aziende.
D’altra parte, è proprio per valorizzare questo aspetto che fioriscono i codici etici aziendali sull’utilizzo di AI e che, per esempio, IBM abbia una sezione del sito dedicata alla Explainble AI (https://www.ibm.com/it-it/watson/explainable-ai).
Il punto è se è il caso di affidarsi alla sola fiducia (vedi infra).
Sempre in campo medico, non è necessario che il paziente sappia nel dettaglio scientifico quello che lo riguarda ma è importante che comprenda il nocciolo delle questione per essere messo in condizione di assumere decisioni informate.
Vale in un contesto di decisioni automatizzate il consenso “autonomo” oppure occorre conferire alle aziende obblighi ulteriori di natura “fiduciaria”, esattamente come accade per i consigli di amministrazione riguardo ai propri azionisti?
È conveniente per le aziende studiare sistemi di XAI?
Una ricerca IBM ha fatto emergere che il 60% dei dipendenti si è dichiarata preoccupata dal tema della spiegabilità dei sistemi di AI. Tante aziende stanno studiando sistemi di reverse engineering almeno per le AI “lineari”.
Manca invece un approfondimento riguardo a cosa bisogna intendere per spiegabilità e capire dunque quali caratteristiche è utile che l’utente conosca e quali tipi di spiegazione sono davvero utili ai fini del consenso “dinamico”.
In ogni caso, almeno da avviso dei ricercatori, “l’evidenza mostra che la trasparenza attraverso sistemi operativi che visivamente rivelano le caratteristiche aggiungono valore”.
“La scelta di sistemi di AI con prestazioni predittive più scarse ma più facilmente spiegabile può essere una scelta razionale”, ci dicono i ricercatori.
Ipotesi di spiegazione ex post generica e specifica
Una spiegazione generica ex post è la descrizione dei fattori utilizzati dall’algoritmo per formulare una raccomandazione. Ma un elenco esaustivo dei parametri potrebbe essere non informativo, paradossalmente. Per questo più utile potrebbe essere fare disclosure delle caratteristiche più importanti associate ad alcuni specifici parametri.
Nel caso di spiegazione ex post della specifica decisione, in più, il sistema di spiegabilità dovrebbe essere in grado di concentrarsi sulle caratteristiche principali dei fattori identificati, che hanno maggior peso (nel paper ci sono proiezioni specifiche).
Per esempio, nel caso di una carta di credito con plafond, il coefficiente sull’età del credito (cioè, da quanto tempo si ha una carta di credito) è moderato. Tuttavia, l’età del credito della persona Tizio è particolarmente bassa. Insieme, il coefficiente moderato e il valore particolarmente basso di questa caratteristica specifica della persona Tizio è una componente importante della decisione. Analogamente alla spiegazione generica ex post, concentrandosi sui cinque o dieci fattori maggiori in base al loro impatto, si potrebbe fornire, dunque, una spiegazione specifica ex post significativa.
Figure 2: Schematic of a Decision Algorithm Including Individuals i, j, and all
Note. Also included is company a. Inputs are denoted x (characteristics, payments, etc.), and outputs (decisions) are denoted y.
La proposta di regolamento comunitario sulla AI e la spiegabilità
Il punto è che il GDPR, ed il suo articolo 22 che riguarda i diritti degli interessati ed i limiti delle decisioni automatizzate nei riguardi dei dati personali, rischia di non essere più sufficiente a fronte di sistemi di AI del tipo ML e Deep learning, soprattutto se l’input della raccomandazione non è collegabile direttamente all’utente. Ci si sarebbe aspettati che la proposta Ue di regolamentazione della AI affrontasse questo tema e invece…nulla!
La lettura in filigrana della proposta Ue con specifico riferimento alle tutele e ai diritti delle persone è stata compiuta nel corso del convegno AI e Regolazione, organizzato lo scorso 8 giugno da A LATERE – Alma AI- Università di Bologna su iniziativa di Monica Palmirani. E sono emerse tante mancanze tanto da far sostenere ai giuristi che – a dispetto delle intenzioni di supportare la creazione di AI human centered – si assiste ad una eterogenesi dei fini.
Per Giusella Finocchiaro (Università Bologna), l’approccio generale se pur risk based pare discostarsi da quello più dinamico del GPDR basato sulla accountability, limitando le tutele ad un contesto che appare più consumeristico basato sul consenso (con tutti i limiti che abbiamo sopra visto) che non attento al tema della tutela delle persone e dei loro dati.
Ugo Ruffolo (Università di Bologna) ha evidenziato come il tema della responsabilità degli operatori è rimandato a una diversa proposta normativa e tuttavia l’approccio risk based, che si spinge fino a ritenere illecito il sistema di AI che non prevede al suo interno un codice do blocco in caso di malfunzionamento, aiuta l’interprete ad ampliare il concetto di attività pericolosa in base all’articolo 2050 del codice civile. Giustamente però il professor Ruffolo ha messo in evidenza che il tema della affidabilità della AI non è semplicemente un tema civilistico ma “riguarda il nuovo stato di diritto”, soprattutto in sistemi di decision – making a rilevanza pubblica come la eventuale giustizia predittiva che “dovrebbero essere certificati come condizione di utilizzo”.
Per Dianora Poletti (Università Pisa) la regolamentazione Ue nasce incompleta: da una parte “si è operato su un regime di rischio senza responsabilità”; dall’altra non si è provveduto ad accordare il testo con tutti gli altri testi messi a punto dalla Commissione Ue come il Digital service act, il Data governance Act; lo stesso regolamento esclude tanti settori rinunciando dunque ad una visione completa e complessiva; non sono previste norme di carattere giurisdizionale sui diritti azionabili da parte degli interessati. “Quanto al diritto alla spiegabilità, esso è ricostruito dalla giurisprudenza sulla base dell’articolo 22 del GDPR mentre gli articoli 13 e 14 del regolamento AI riconducono la comprensibilità alla logica della trasparenza, affievolendo il principio”.
Il costituzionalista Andrea Simoncini (Università di Firenze) ha puntualizzato che i cosiddetti sistemi ad alto rischio considerati negli annessi (tra questi vi è anche l’amministrazione della giustizia e ne abbiamo parlato nell’articolo Nuove regole europee per l’AI: impatto su giuristi e legal tech) attengono tutti a politiche pubbliche. “Mi chiedo se il tipo di certificazione a marchio CE possa essere sufficiente a titolo di validazione); senza contare che la norma sul controllo umano appare un arretramento”. Ricordiamo che sulla certificazione dei sistemi di AI applicati alla Giustizia ha invece lavorato il Cepej del Consiglio di Europa (per approfondire leggi Intelligenza artificiale e giustizia: come si certifica l’analisi predittiva).
Critico anche Giovanni Comandè (Sant’Anna di Pisa). “Per anni si è puntato sui codici di condotta etici adottati dalle imprese mettendo in ombra la regolamentazione. Il regolamento sconta i difetti del percorso”.
Per Comandè convivono contraddizioni tra una disciplina che appare ora eccessiva ora scarna: “Nel caso dell’amministrazione della giustizia, pare che siano considerati ad alto rischio anche i sistemi di annotazione con ML di data base di sentenze”.
