L’impatto dell’algoritmo sulla comunità rom serba è stato drammatico. Ahmetović dice che anche sua sorella si è vista tagliare i pagamenti del welfare da quando è stato introdotto il sistema, così come molti dei suoi vicini. “Quasi tutte le persone che vivevano negli insediamenti rom in alcuni comuni hanno perso i sussidi”, afferma Danilo Ćurčić, coordinatore del programma di A11, un’organizzazione no profit serba che fornisce assistenza legale. A11 sta cercando di aiutare gli Ahmetović e più di 100 altre famiglie rom a reclamare i loro sussidi.
Ma prima Ćurčić deve sapere come funziona il sistema. Finora, il governo ha negato le sue richieste di condividere il codice sorgente per motivi di proprietà intellettuale, sostenendo che violerebbe il contratto che hanno firmato con la società che ha effettivamente costruito il sistema, dice. Secondo Ćurčić e un contratto governativo, una società serba chiamata Saga, specializzata in automazione, è stata coinvolta nella costruzione del sistema di social card. Né Saga né il Ministero degli affari sociali della Serbia hanno risposto alle richieste di commento di WIRED.
Con la crescita del settore govtech, è cresciuto anche il numero di aziende che vendono sistemi per rilevare le frodi. E non tutte sono startup locali come Saga. Accenture, la più grande azienda pubblica irlandese, che impiega più di mezzo milione di persone in tutto il mondo, ha lavorato su sistemi antifrode in tutta Europa. Nel 2017, Accenture ha aiutato la città olandese di Rotterdam a sviluppare un sistema che calcola i punteggi di rischio per ogni beneficiario di welfare. Un documento aziendale che descrive il progetto originale, ottenuto da Lighthouse Reports e WIRED, fa riferimento a un sistema di apprendimento automatico costruito da Accenture che ha analizzato i dati di migliaia di persone per giudicare la probabilità che ciascuna di loro commettesse frodi sul welfare. “La città potrebbe quindi ordinare i beneficiari del welfare in ordine di rischio di illegittimità, in modo che le persone a più alto rischio possano essere indagate per prime”, afferma il documento.
I funzionari di Rotterdam hanno affermato che il sistema di Accenture è stato utilizzato fino al 2018, quando un team del dipartimento di ricerca e business intelligence di Rotterdam ha assunto lo sviluppo dell’algoritmo. Quando Lighthouse Reports e WIRED hanno analizzato una versione del 2021 dell’algoritmo di frode di Rotterdam, è diventato chiaro che il sistema discrimina sulla base della razza e del genere. E circa il 70 percento delle variabili nel sistema 2021 – categorie di informazioni come genere, lingua parlata e storia della salute mentale che l’algoritmo ha utilizzato per calcolare la probabilità che una persona commettesse frodi sul welfare – sembravano essere le stesse di Accenture versione.
Alla domanda sulle somiglianze, il portavoce di Accenture Chinedu Udezue ha affermato che il “modello di start-up” dell’azienda è stato trasferito alla città nel 2018, quando il contratto è terminato. Rotterdam ha smesso di utilizzare l’algoritmo nel 2021, dopo che i revisori hanno scoperto che i dati utilizzati rischiavano di creare risultati distorti.
“Avere un essere umano nel giro non significa che l’essere umano abbia il tempo, l’addestramento o la capacità di mettere in discussione la decisione.”
Eva Blum-Dumontet, consulente per le politiche tecnologiche
Le società di consulenza generalmente implementano modelli di analisi predittiva e poi se ne vanno dopo sei o otto mesi, afferma Sheils, responsabile del servizio pubblico europeo di Accenture. Dice che il suo team aiuta i governi a evitare quella che descrive come la maledizione del settore: “falsi positivi”, il termine di Sheils per gli eventi che rovinano la vita di un algoritmo che segnala erroneamente una persona innocente per l’indagine. “Può sembrare un modo molto clinico di vederlo, ma tecnicamente parlando, è tutto quello che sono.” Sheils afferma che Accenture mitiga questo problema incoraggiando i clienti a utilizzare l’intelligenza artificiale o l’apprendimento automatico per migliorare, piuttosto che sostituire, gli esseri umani che prendono decisioni. “Ciò significa garantire che i cittadini non subiscano conseguenze negative significative esclusivamente sulla base di una decisione dell’IA”.
Tuttavia, gli assistenti sociali a cui viene chiesto di indagare sulle persone segnalate da questi sistemi prima di prendere una decisione definitiva non esercitano necessariamente un giudizio indipendente, afferma Eva Blum-Dumontet, consulente di politica tecnologica che ha ricercato algoritmi nel sistema di welfare del Regno Unito per il gruppo di campagna Privacy International . “Questo essere umano sarà ancora influenzato dalla decisione dell’IA”, afferma. “Avere un essere umano nel giro non significa che l’essere umano abbia il tempo, l’addestramento o la capacità di mettere in discussione la decisione.”
