Digitale, le discriminazioni di genere nascoste negli algoritmi (e come combatterle)

Su Facebook chi si dichiara “donna” vedrà annunci di lavoro pubblicati da aziende che presentano già una buona percentuale di lavoratrici al proprio interno.

Lo prova una nuova ricerca della University of Southern California, che in uno studio mostra come nel social network gli uomini abbiano maggiori probabilità di vedere un annuncio per un impiego più frequentemente ricoperto da uomini (come un’offerta di lavoro per consegnare le pizze per Domino’s), mentre alle donne compaiono più spesso offerte di imprese dove già sono impiegate molte donne (come quelle per commesse del supermercato Instacart).

Questo è solo uno dei tanti esempi delle discriminazioni di genere presenti negli algoritmi, e in generale nelle applicazioni informatiche che usiamo ogni giorno: dal recruitment allo screening facciale, dai traduttori ai correttori automatici, le tecnologie non sono neutre e perpetuano le disparità di genere, influenzando le nostre scelte in tanti settori.

L’intelligenza artificiale apprende da una base dati che è inserita dall’uomo, e dunque replica la visione del mondo esistente.

“Nella programmazione dell’intelligenza artificiale ci sono diversi tipi di bias”, spiega a Change-Makers Giulia Baccarin, ingegnere biomedico e fondatrice di Mipu, azienda che sviluppa sistemi innovativi per la manutenzione predittiva di macchine industriali.

“Il più evidente è il fatto che l’intelligenza artificiale apprende da una base dati che non è neutra, perché viene selezionata e inserita dall’uomo e dunque replica la visione del mondo esistente.

I database su cui si basano i software che utilizziamo riflettono maggiormente la componente maschile su quella femminile, la componente bianca su quella nera o ispanica, la componente normodotata su quella con disabilità. E questo già di per sé costituisce un primo problema, perché si rafforzano i pregiudizi sociali di genere, razza o etnia. I risultati, dunque, non saranno imparziali”.

Il prossimo presidente del Consiglio? Per l’intelligenza artificiale sarà un uomo bianco

Il secondo bias, spiega Baccarin, è legato alla riproposizione del passato nel futuro: “Se chiedessimo a un algoritmo di dirci, tra dieci candidati alle prossime elezioni, chi sarebbe il miglior presidente del Consiglio, l’intelligenza artificiale sceglierebbe sicuramente la soluzione migliore all’interno di quelle che le sono già state proposte: dunque darebbe la precedenza chi è uomo, bianco, di media età. L’algoritmo non proporrà mai una donna, o una persona di colore”.

Infine: andando a pescare tra caratteristiche specifiche, l’algoritmo non lascia spazio alla novità e all’imprevisto. “Faccio un esempio: esiste una azienda statunitense che legge le briciole digitali, ossia le tracce che lasciamo inconsapevolmente su internet, e predice se una persona è a rischio di depressione o esaurimento nervoso”, racconta Baccarin.

“Il rischio è che queste informazioni possano venire utilizzate dalle aziende che fanno recruiting, e che un candidato possa venire assunto o meno in base alle potenziali malattie che potrebbe sviluppare. Lo stesso discorso vale per le banche che si trovano a dover decidere se concedere un mutuo. Fino a dove il fatto di sapere tutto, e saperlo prima, è davvero un elemento di sviluppo per la nostra società?”

Dal recruitment allo screening facciale: gli algoritmi che discriminano

Una delle questioni più delicate riguarda proprio gli algoritmi che “aiutano” chi si occupa di selezione del personale a scegliere i candidati più adatti a una certa posizione, e a scartarne altri.

Oggi esistono software che fanno screening dei curriculum per le risorse umane: un caso eclatante è stato quello di Amazon, che aveva messo a punto un sistema di machine learning per il recruitment online, che finiva per selezionare solo candidature maschili per ruoli da sviluppatore. Questo perché il software era stato programmato per scegliere i candidati osservando i modelli di cv presentati all’azienda nell’arco degli ultimi dieci anni, e la maggior parte di questi proveniva da uomini.

“Ci sono tantissime aziende che usano questi software”, continua Baccarin. “Quello che manca è una totale trasparenza: c’è bisogno di sapere quali sono i meccanismi che regolano questi algoritmi e come funzionano nello specifico, anche perché questi programmi determinano la possibilità di un candidato di andare o meno a colloquio”.

La tecnologia non è mai neutra. Perché le categorie discriminate sono sempre le donne, i neri, o chi ha condizioni economiche inferiori?

Il problema non si limita ai programmi informatici che riguardano la ricerca lavoro: uno studio del Mit mostra come anche l’intelligenza artificiale legata al riconoscimento facciale distingua meglio i volti degli uomini bianchi piuttosto che quelli delle donne nere, dato che queste ultime sono meno presenti nei database di foto utilizzate per programmare l’algoritmo.

E poi, esistono software predittivi che analizzano le immagini delle telecamere per avvisare la polizia, o i sistemi di sicurezza delle banche, nel caso in cui ci sia il rischio che avvenga un furto o altri tipi di reato. “Anche questi programmi rischiano di discriminare, perché considerano più alta la probabilità che siano le persone nere, o ispaniche, a commettere un furto o eventi di dolo in quanto questo segmento è maggiormente presente nei database”, spiega Giulia Baccarin.

“L’algoritmo è allenato su un database che tiene in considerazione i furti già avvenuti in passato, che per la maggior parte sono stati commessi dalle classi più povere, e dunque negli Stati Uniti dai neri o dai latinoamericani. È un altro esempio di tecnologia che continua a perpetrare uno stereotipo razzista”.

Razzismo e sessismo sono due facce della stessa (triste) medaglia: su Skype, tra le emoticon presenti in chat, esiste quella della “super woman”, che in italiano è stata inizialmente tradotta come “super mamma”. Ora l’icona di super woman è stata rinominata “womansuperhero”, ma è si può ancora trovare digitando nel box di ricerca delle emoticon la parola “mamma”, e la dicitura “super mamma” resta nella pagina di supporto di Skype.

“Perché una donna, per essere super, deve essere per forza mamma?”, si chiede Donata Columbro, giornalista che si occupa di divulgazione di cultura dei dati e co-fondatrice di DataNinja, testata che ha lavorato sul gender data bias.

“Si tratta di un errore umano, non di un bug del sistema. Il problema non è il caso singolo, ma il fatto che questo tipo di errori sia sistemico: perché le categorie discriminate sono sempre le donne, i neri, o chi ha condizioni economiche inferiori? La tecnologia non è mai neutra. Sembra un costrutto artificiale, ma dietro c’è la mano dell’uomo (e della donna, quando siamo fortunati).

Come scrive Meredith Broussard nel libro ‘La non intelligenza artificiale’, l’importante è tenere sempre a mente che le macchine sono stupide e fanno esattamente ciò che l’essere umano dice. È chi programma che decide come devono funzionare: se la maggior parte degli sviluppatori sono uomini bianchi, finirà che i software manterranno questi squilibri di genere anche nel loro funzionamento”.

Gli stereotipi di genere nei software linguistici

“Lei” è bella, ma “lui” è intelligente. “Lui” è un professore, “lei” è un’assistente. Su Google Translate, passando da una lingua priva di genere (come l’ungherese) a una con i pronomi “genderizzati” (come l’italiano), il traduttore assegna un genere o l’altro a seconda del tipo di azione o caratteristica. Il risultato non sorprende: è “lei” che cucina, mentre “lui” cambia una lampadina, e così via.

“I ricercatori che si occupano dei software che riguardano la lingua spesso sono consapevoli di queste distorsioni, e stanno cercando di correggere il tiro”, racconta Donata Columbro. “Il team di Google Translate, ad esempio, nel 2018 ha fatto cambiamenti sostanziali al programma: non si opta più per una traduzione parola per parola, ma si traduce il senso della frase completa, attingendo da un database di testi che è stato messo a disposizione dell’algoritmo. Per alcune lingue è stata inserita anche la doppia traduzione: la frase inglese ‘my neighbour is beautiful’ verrà così tradotta con ‘il mio vicino/la mia vicina è bello/a’”.

Perché una donna, per essere super, deve essere per forza mamma?

Anche Microsoft Word, il più celebre programma di videoscrittura al mondo, non è esente da questo tipo di problematiche. Ce ne accorgiamo nella correzione automatica, che segnala come errore l’apostrofo utilizzato nelle professioni che sono considerate prettamente maschili: un’astronauta, o un’autista, vengono considerati sbagliati e sottolineati in rosso.

Cliccando sull’opzione “sinonimi”, poi, ci sono altre sorprese: alla parola “femminile” il programma associa aggettivi come “dolce” e “tenero”, mentre il termine “maschile” è sinonimo di “virile”, “energico”, “forte”.

“Queste assunzioni automatiche vengono compiute in base alle co-occorrenze tra genere maschile e femminile e certi tipi di aggettivi o verbi connessi presenti nei corpora testuali sui quali agiscono i programmi”, spiega Columbro.

“Questo squilibrio può essere corretto, ma moltissimo dipende dalla natura dei testi inseriti nei database messi a disposizione dell’algoritmo. E chi li fa i testi su cui si basano queste applicazioni? Noi parlanti, e scriventi”.

I software attenti alla parità di genere

Per fortuna, però, esistono anche esempi virtuosi di tecnologie nate per assicurare una maggiore parità di genere: il Financial Times, ad esempio,ha messo a punto un software per verificare che il giornale contenga un numero sufficiente di articoli scritti da donne, mentre la Pixar ha ideato un programma che controlla il numero di battute assegnate a personaggi maschili e femminili nei suoi film.

“Ricordiamoci che sono le tecnologie ad essere al servizio dell’uomo, e non viceversa: se un programma presenta un problema di squilibrio di genere, si può sempre correggere”, afferma Columbro, che il 13 ottobre scorso ha pubblicato il suo libro Ti spiego il dato, che nasce proprio per promuovere un uso consapevole dei database.

“Quello che abbiamo in potere di fare è segnalare i malfunzionamenti dei software che utilizziamo: da un punto di vista commerciale, oltre che etico, le grandi corporation hanno tutto l’interesse a far sì che le loro applicazioni funzionino al meglio. Anche rispettando l’equità di genere”.

I dati non sono cattivi, basta maneggiarli con cura

Per sensibilizzare l’opinione pubblica sugli impatti dell’intelligenza artificiale, lanciare campagne e fornire dati accurati è nata anche l’Algorithmic Justice League, un’organizzazione internazionale che ha come obiettivo un utilizzo positivo, equo e trasparente dell’intelligenza artificiale. “I sistemi di intelligenza artificiale possono perpetuare il razzismo, il sessismo, l’abilismo e altre forme dannose di discriminazione, presentando quindi minacce significative alla nostra società – dall’assistenza sanitaria, alle opportunità economiche, al nostro sistema di giustizia penale”, si legge nel loro manifesto. “Dobbiamo ricordarci che chi codifica è importante, come si codifica è importante, e che possiamo codificare un futuro migliore”.

Vogliamo comunità scientifiche e di programmazione inclusive, che rispecchino la pluralità della società in cui viviamo.

L’intelligenza artificiale, insomma, porta con sé anche enormi benefici, oltre che rischi: grazie agli algoritmi oggi possiamo fare tante cose che in passato sarebbero state impensabili, come capire in che modo ridurre i nostri consumi, ottimizzare i flussi di traffico, prevedere fenomeni naturali estremi come onde anomale o allagamenti.

“Esiste una enorme quantità di dati disponibili, che possiamo utilizzare e con cui possiamo valorizzare l’esistente”, conclude Giulia Baccarin.

“E poi quello dell’intelligenza artificiale è un settore nuovo, in cui le donne possono trovare spazio: oggi in Italia solo il 42 per cento delle donne che potrebbe lavorare ha un impiego. Nel campo dell’intelligenza artificiale c’è una grossa richiesta e c’è la possibilità di fare reskilling: si tratta di lavori compatibili con lo smartworking, slegati dalla componente di forza fisica”.

“Una delle azioni necessarie per abbattere le discriminazioni ancora presenti negli algoritmi, allora, è quella di costruire comunità scientifiche e di programmazione quanto più inclusive possibili, e che rispecchino la pluralità della società in cui viviamo”.

---

Change-Makers è il magazine digitale che racconta idee, storie, protagonisti del cambiamento. Scriviamo di cooperazione e innovazione sociale, ambientale, economica, digitale, organizzativa, etica e filosofica.