Il nostro

Manifesto

L’OAA nasce per offrire una panoramica degli algoritmi e dei processi automatizzati usati in Italia dalla pubblica amministrazione (PA). L’Osservatorio ha l’obiettivo di permettere ai cittadini e a chi si trova sul territorio italiano di essere consapevole dell’esistenza di tali sistemi ed esercitare, se necessario, i propri diritti.

Manda una segnalazione

Perché un Osservatorio Amministrazione Automatizzata?

Trasparenza e consapevolezza sono due valori fondamentali in una società sempre più automatizzata: le persone devono avere gli strumenti per poter accedere alle informazioni che riguardano l’automazione dei servizi pubblici e poter chieder conto alla PA delle decisioni prese sul loro conto.

I governi di tutto il mondo si rivolgono sempre più frequentemente agli algoritmi per automatizzare o supportare i processi decisionali. Alcuni esempi sono la pianificazione urbana, l’assistenza sociale, il welfare e l’assegnazione di sussidi, il rilevamento di frodi, l’assegnazione di cure sanitarie e la gestione della sicurezza da parte delle forze dell’ordine.
Si tratta di una tendenza diffusa che, pur rispondendo a motivazioni ed esigenze diverse, origina dall’ idea di semplificare e ridurre i costi delle pratiche pubbliche. Anche in Italia il coinvolgimento di software e sistemi automatizzati sta incrementando: i processi di trasformazione digitale sono in aumento, e la digitalizzazione è uno degli assi strategici del Piano Nazionale di Ripresa e Resilienza (PNRR).

Per approfondire

Molto spesso, l’automazione è vista come un modo per migliorare la qualità dei servizi e aumentarne l’efficienza, data la possibilità di trattare ed incrociare enormi quantità di dati in tempi molto brevi. Prove crescenti suggeriscono che un utilizzo disattento, poco trasparente e non sufficientemente responsabile dei sistemi automatizzati nell’erogazione dei servizi pubblici può impattare criticamente la vita dei cittadini. Si fa riferimento ad ambiti particolarmente sensibili (lavoro, finanza, sanità, scuola etc.): laddove in precedenza uno stesso compito complesso e ad alta responsabilità era eseguito da un essere umano, oggi per la prima volta è possibile doversi confrontare con processi automatizzati senza esserne a conoscenza.

Un rischio concreto dato dall’introduzione di questi sistemi è la deresponsabilizzazione dell’amministrazione, che invece di appoggiarsi a tali sistemi come strumento di supporto, spesso affida l’intero processo decisionale agli algoritmi. Una delle differenze più significative tra una decisione umana ed una automatizzata è la scalabilità degli output algoritmici: la capacità di analizzare enormi quantità di dati e di trovare correlazioni tra situazioni simili ove ricorra una stessa variabile, mette la macchina nella condizione di poter applicare una stessa decisione a milioni di persone nello stesso istante. Un rischio connesso è quello di eliminare la discrezionalità, raggruppando  i cittadini  in macro categorie definite in modo arbitrario dalla macchina stessa.

Oltre ad essere uno strumento civico di conoscenza e consapevolezza, l’Osservatorio intende essere di supporto anche alle pubbliche amministrazioni, facendo emergere con chiarezza le possibili criticità dei processi automatizzati, dovute alla mancanza di una adeguata valutazione preventiva di impatto, ad un inadatto processo di selezione e procurement o una superficiale analisi periodica del sistema dopo la sua implementazione.

Una gestione ingenua di processi così complessi e così impattanti sulla collettività potrebbe portare non solo a risultati  poco utili alla gestione della cosa pubblica, con oneri che superano i risparmi, ma anche  a conseguenze pericolose per i cittadini.

L’OAA si rivolge quindi a tutte le persone interessate (che possono mandarci una segnalazione qui), ai media, alla società civile e ai legislatori, affinché gli stessi possano conoscere i sistemi in uso, approfondire l’impatto che possono avere, quali dati utilizzano e qual è il loro livello di accuratezza.

La tendenza ad utilizzare sistemi automatizzati nei processi decisionali pubblici ha portato alla nascita di diversi progetti volti a garantire il rispetto dei principi di trasparenza e accountability, come i registri pubblici introdotti dalle città di Amsterdam, Helsinki, Antibes, Lione e Nantes. La differenza sostanziale tra questi modelli e l’Osservatorio di Privacy Network è la natura: l’OAA è uno strumento voluto da un’organizzazione della società civile per favorire istanze collettive e la diffusione di buone pratiche, reso necessario proprio in mancanza di un registro statale previsto dalla pubblica amministrazione.

Il termine algoritmo descrive un insieme di regole o passaggi in una sequenza predeterminata che, a partire da un input o richiesta specifica, arrivano a calcolare un risultato in un tempo finito (output). Un sistema algoritmico utilizza uno o più algoritmi, di solito come componente di un software, per calcolare gli output su cui basare determinate decisioni. Esistono diversi tipi di algoritmi e sistemi algoritmici, sia supervisionati che non supervisionati, ma ciò che conta è che in ogni caso per funzionare hanno bisogno di dati. Gli algoritmi di apprendimento automatico (machine learning), dopo una fase di addestramento sui dati, sono in grado di imparare autonomamente  a riconoscere i pattern ricorrenti senza il bisogno che un intervento umano confermi ogni loro decisione.

I processi automatizzati usano il calcolo per prevedere, classificare, ottimizzare, identificare e/o raccomandare dei risultati, grazie alla capacità di analizzare e stabilire correlazioni tra grandi quantità di dati.

L’OAA non si limiterà a mappare i soli algoritmi “intelligenti” o particolarmente sofisticati: siamo convinti che anche sistemi algoritmici relativamente semplici possano causare cortocircuiti di responsabilità e danni. Gli errori che emergono a causa della mancanza di trasparenza, accountability e diversità dei sistemi automatizzati non sono infatti legati al tipo di tecnologia utilizzata, quanto piuttosto alle modalità di gestione dell’intero processo da parte degli esseri umani, o degli uffici responsabili per la loro implementazione. L’Osservatorio si occupa di mappare soltanto i processi decisionali automatizzati commissionati e implementati direttamente da una pubblica amministrazione. Sono quindi ad oggi esclusi gli algoritmi attivi negli spazi privati. La ragione è piuttosto semplice: le decisioni e le scelte di un ente pubblico hanno un impatto diretto e potenzialmente rilevante sulla vita di tutta la collettività.

In un articolo del 2020, Artificial Intelligence as a Public Service: Learning from Amsterdam and Helsinki, Luciano Floridi presenta il caso delle due città che hanno recentemente lanciato i primi registri pubblici per garantire la trasparenza nell’uso di algoritmi da parte delle amministrazioni.

Floridi ne sottolinea l’impatto positivo per promuovere maggiore fiducia nei cittadini verso le municipalità che utilizzano tali sistemi. La creazione di un registro per monitorare i sistemi automatizzati costituisce, secondo l’autore, una risorsa sufficiente per chiarire in quali ambiti un sistema algoritmico debba o non debba essere promosso. Infatti, avere un registro pubblico consente a chiunque di accedere e comprendere meglio come siano utilizzati tali algoritmi, e per quale scopi, creando maggiore fiducia nelle istituzioni che li impiegano. In quest’ottica, Floridi argomenta che i registri possano portare a un processo di “normalizzazione” di sistemi algoritmici sostenibili nelle amministrazioni pubbliche.

Tuttavia, l’autore ricorda che non bastano dei registri per garantire il rispetto e il mantenimento del principio di accountability, dato che manca un coinvolgimento dei cittadini nel processo decisionale alla base della creazione dei sistemi.

Su tale punto, Cath e Jansen (2021) rispondono all’articolo di Floridi argomentando che la “normalizzazione” di tali sistemi algoritmici rimane problematica. Secondo le autrici, l’elogio di Floridi verso i registri di Helsinki ed Amsterdam considera con eccessiva superficialità l’uso degli algoritmi nei servizi pubblici. È necessaria una maggiore ricerca e riflessione a livello normativo innanzitutto riguardo l’uso dei processi decisionali automatizzati, se necessari e legittimi da parte della municipalità o dello Stato.

Per esempio, Cath e Jansen sottolineano l’importanza di includere sistemi algoritmici che non riguardino soltanto le attività municipali quotidiane, ma anche le forze dell’ordine e l’automatizzazione di servizi sociali. Questi ultimi sono noti come settori particolarmente vulnerabili ad algoritmi discriminatori (Benjamin, 2019; Eubanks, 2019).

Un caso emblematico di discriminazione dovuta alla digitalizzazione del welfare è quello dell’algoritmo olandese SyRI (System Risk Indication), creato per individuare casi di frodi assistenziale partendo da una grandissima quantità di dati raccolti dalle agenzie statali e dai ministeri a partire dal 2012. Lo scorso gennaio, un report presentato in Parlamento ha rilevato che oltre 26 mila famiglie erano state ingiustamente accusate di frode dall’autorità fiscale olandese tra il 2012 e il 2019. Lo scandalo ha causato gravi conseguenze a moltissime famiglie, che – costrette a ripagare le autorità fiscali – si sono improvvisamente trovate in condizioni di povertà senza la possibilità di contestare tempestivamente le decisioni suggerite dall’algoritmo.

Il processo decisionale che ha portato alle accuse – lo stesso che nel 2020 era stato bloccato dalla Corte dell’Aja per violazione del Regolamento europeo sui dati personali e dei diritti umani – era inaccessibile. Molti membri del governo olandese, in seguito allo scandalo, hanno ammesso di non essere a conoscenza del fatto che per quasi dieci anni le autorità fiscali si erano affidate ad un algoritmo che usava come variabili per determinare il rischio di frode il livello di istruzione, la situazione lavorativa e fiscale e la doppia nazionalità. Secondo alcune organizzazioni, si trattava di un modo per discriminare ingiustamente e preventivamente le famiglie più in difficoltà attraverso stereotipi razzisti, insistendo particolarmente sulla popolazione residente in determinati quartieri notoriamente più poveri.

L’Osservatorio considera centrali gli argomenti portati da questi contributi, in particolare rispetto alla mancanza di accountability, ponendosi come obiettivo quello di identificare e sottolineare eventuali criticità con i sistemi elencati. In generale, in un clima di sperimentazione e mancanza di dati riguardo l’accuratezza di questi sistemi, è fondamentale monitorare la letteratura scientifica e lo stato dell’arte.

Per poter conseguire tale obiettivo, l’Osservatorio presenta i sistemi algoritmici usati dalla PA italiana mirando anche a stabilire un dibattito con i diversi attori nella digital governance italiana. In questa maniera l’Osservatorio può contribuire alle asimmetrie di informazione tra i cittadini e le istituzioni, prendendo consapevolezza dei dibattiti accademici nella loro interdisciplinarietà, considerando che la passiva normalizzazione dei sistemi algoritmici può risultare controproducente.

Quali principi dovrebbe seguire l’utilizzo di algoritmi nel settore pubblico?

I processi automatizzati impiegati nel settore pubblico sono applicati a tutti i cittadini italiani e alle persone che vivono in Italia, diventando parte dei servizi offerti sia a livello locale che nazionale. In quanto tali, gli algoritmi utilizzati nei servizi pubblici devono aderire alle stesse regole e principi tipici dell’amministrazione pubblica, quali innanzitutto l’essere al servizio dei cittadini, il rispetto del principio di non discriminazione, dei principi di trasparenza e apertura al controllo democratico.

Tali sistemi, inoltre,  impattano considerevolmente l’intero impianto sociale sia perché parte del servizio pubblico e quindi sufficientemente meritevole di fiducia, sia perché si tende ad attribuire all’output decisionale algoritmico un carattere di imparzialità ed accuratezza tecnica. Al contrario, gli algoritmi dovrebbero essere considerati come strumenti di supporto, ausiliari al funzionamento della cosa pubblica e non dovrebbero mai sostituire le decisioni umane e il giudizio discrezionale.

Di seguito sono presentati i principi che secondo Privacy Network dovrebbero guidare l’impiego di processi automatizzati nella pubblica amministrazione, insieme alle raccomandazioni e procedure ad hoc per un utilizzo di algoritmi etico e trasparente.

I principi

Design partecipativo ed equo

Il principio

Il coinvolgimento pubblico, considerando soprattutto le categorie di cittadini e cittadine più facilmente impattate dal sistema in esame, potrebbe essere un passaggio fondamentale per migliorare l’accountability e la trasparenza dei processi automatizzati.
In questo senso potrebbe essere interessante includere nella fase iniziale di implementazione dell’algoritmo dei meccanismi di reale ingaggio pubblico che coinvolgano i cittadini nelle fasi di design.
È cruciale quindi  la definizione di politiche interne e linee guida normative che indichino i principi e i valori sottostanti l’implementazione del sistema automatizzato, in modo tale da chiarire i suoi obiettivi, processi e l’implementazione.

Le raccomandazioni

La creazione di un framework nazionale in cui definire chiaramente i principi etici secondo cui devono essere creati i sistemi algoritmici.
Le relative autorità potrebbero lanciare una consultazione sui principi etici per mitigare i rischi dell’uso degli algoritmi nel settore pubblico, agendo come modello anche per il settore privato. È inoltre importante la cooperazione e il trasferimento di conoscenze a livello internazionale, confrontandosi con best practices di strategie per l’IA riconosciute a livello internazionale.
Alcuni di questi modelli  includono:

“Digital Rights Charter”, Spagna. Istituito a Luglio 2021, il testo propone sei categorie di protezione dei diritti dei cittadini nei confronti dell’Intelligenza Artificiale.

“AI Ethics Framework” e Action Plan in Australia (Dipartimento di Industria, Scienza, Energia e Risorse).

La Strategia Nazionale per l’Intelligenza Artificiale in Danimarca.

Trasparenza

Il principio

Il rispetto del principio di trasparenza che prescrive alle PA di informare adeguatamente gli individui soggetti al sistema automatizzato in merito alle funzionalità tecniche, agli obiettivi, ai dataset utilizzati in fase di progettazione e implementazione, alle modalità di analisi dell’output automatizzato e alle modalità di reclamo. Solo il rispetto del principio di trasparenza permette una reale accountability della PA coinvolta che avrà quindi espresso i propri obiettivi, e  potrà essere valutata di conseguenza.

Le raccomandazioni

La definizione di regole di procurement allineate agli obblighi stringenti a cui le PA devono già adattarsi in molti ambiti in cui vi siano processi di approvvigionamento di servizi/prodotti presso terzi.

Riteniamo che simili condizioni di compliance siano necessarie quando una PA debba commissionare a terzi il design di un sistema automatizzato, includendo obblighi quali rispetto del principio di trasparenza e accountability, non discriminazione e clausole contrattuali che responsabilizzino il soggetto privato incaricato della progettazione.

Accountability

Il principio

L’Accountability, termine fondamentale per le pubbliche amministrazioni, indica la capacità delle agenzie e le istituzioni di giustificare e indicare i motivi per cui delle particolari azioni siano state prese.

In questo caso, il termine si riferisce all’aspettativa che le istituzioni garantiscano il corretto funzionamento dei sistemi utilizzati e li progettino e gestiscano in modo tale da garantire la conformità con i loro ruoli e quadri normativi. Implica inoltre un’adeguata documentazione sulle decisioni chiave prese durante tutto il ciclo di vita del sistema algoritmico e sui risultati  degli audit periodici.

Diventa cruciale l’istituzione di un vocabolario che permetta la trasmissione di messaggi chiari e consistenti alle persone impattate dal processo automatizzato.

Le raccomandazioni

La valutazione d’impatto diventa cruciale nella fase precedente all’implementazione e durante tutto il corso di vita per il monitoraggio del sistema. In questo contesto, le modalità di procurement dei sistemi di AI da parte della PA devono essere regolate con cura, anche per monitorare il mercato di dati nella partnership tra pubblico e privato (i sistemi usati sono quasi sempre di proprietà privata).

L’obbligo di valutazione d’impatto ha l’obiettivo di:
(i) individuare una metrica che permette di valutare l’effettiva necessità, rilevanza e correttezza dell’algoritmo in esame;
(ii) permettere alla PA di comprendere e misurare gli impatti potenziali del sistema implementato sulle persone;
(iii) di monitorare la qualità e la rappresentatività dei dati utilizzati per allenare e testare l’algoritmo, per prevenire o prevedere le discriminazioni di alcune categorie che possono essere sotto o sovra-rappresentate riproponendo gerarchie di potere e bias esistenti nella società.

La valutazione dovrà essere relativa allo specifico contesto di riferimento e quindi considerare gli aspetti tipici della società, dell’ambiente e delle persone che verranno direttamente coinvolte dal processo automatizzato, evitando quindi l’emissione di documentazione a carattere generale che sarebbe largamente inadeguata.

Monitoraggio

Il principio

Dovrebbero sempre essere analizzati in concreto i diritti potenzialmente danneggiati dal sistema automatizzato, implementando quindi un sistema di vigilanza continuo sull’effettivo bilanciamento di interessi e diritti.

Questa raccomandazione riconosce l’importanza dei meccanismi di supervisione e valutazione per integrare i quadri politici e la sperimentazione.

Le raccomandazioni

La previsione di audit periodici: come in molti altri settori così potenzialmente influenti sulla vita degli individui, anche in caso di sistemi decisionali automatizzati è importante prevedere dei momenti di verifica e ri-analisi dell’andamento del progetto, sia rispetto agli obiettivi iniziali, sia rispetto al concreto risultato in termini di conseguenze sociali sulla comunità di riferimento.

Adottare un approccio di gestione del rischio: per identificare, mitigare e dare priorità ad eventuali rischi nell’implementazione di sistemi algoritmici. Sono utili come linee guida le linee guida MNE (https://mneguidelines.oecd.org/) e le linee guida dell’OCSE per una condotta responsabile.

Le raccomandazioni dell’Osservatorio

L’impatto che i sistemi algoritmici possono avere sulla vita delle persone è rilevante sotto diversi profili che riteniamo dovrebbero essere oggetto di una specifica valutazione d’impatto sia nella fase precedente all’implementazione, sia nel periodo successivo in termini di monitoraggio del sistema (come sottolineato nella sezione precedente). Crediamo infatti che tutti i cittadini italiani debbano avere accesso a informazioni comprensibili e attuali su come gli algoritmi influenzano le loro vite per potersi attivare e difendere in caso di violazioni dei propri diritti.

Inoltre, è cruciale consentire ai cittadini di partecipare il più possibile ad un dibattito pubblico sull’opportunità di utilizzare tali sistemi, sulle modalità in cui implementarli e sulle tematiche su cui farli lavorare.

Misure proattive di valutazione e salvaguardia dei diritti sono importanti perché una volta che un sistema è già stato programmato e utilizzato può essere molto difficile modificare i suoi input e, di conseguenza, i suoi output. Ciò è dovuto sia ad una mancanza diffusa di competenze digitali nella PA, sia all’opacità che spesso caratterizza i processi automatizzati.

L’attivismo, in questo senso, ha un ruolo fondamentale per “avvistare” gli utilizzi di una tecnologia e valutare gli impatti insieme alle persone, ma potrebbe essere troppo tardi per far valere i diritti violati o organizzare una risposta. Le tempistiche sono molto importanti, e per questo è fondamentale promuovere una conoscenza e sensibilità diffusa di queste pratiche.
L’Osservatorio sarà sempre di più uno strumento dinamico e collettivo, aggiornato periodicamente anche grazie alle segnalazioni e ai suggerimenti delle persone per mobilitare una riflessione culturale e una valutazione della dimensione politica di queste tecnologie.

Scopri i sistemi automatizzati in Italia

Segnalazioni

Questo progetto nasce e cresce grazie alla collaborazione di tutti.

Vuoi fare una segnalazione, darci dei feedback,
o suggerirci altri parametri da includere?

Scrivici