Notícies

Inici » Noticia » Drets humans i tecnologia: Algorismes que decideixen per nosaltres... i discriminen com nosaltres

Drets humans i tecnologia: Algorismes que decideixen per nosaltres... i discriminen com nosaltres

10 juliol 2019

Actualitat. L'aplicació de certs algorismes pot derivar en la discriminació de determinats col·lectius.

L'aplicació de certs algorismes pot derivar en la discriminació de determinats col·lectius.

Algorismes, big data, intel·ligència artificial, machine learning… són conceptes dels quals poques persones entenen realment el seu significat i funcionament, però que formen part del nostre dia a dia. Les cançons que et recomana Spotify, la cita que et suggereix Tinder o, fins i tot, en alguns països, la decisió de concedir-te o no un crèdit bancari: en l’actualitat totes aquestes decisions són preses per algorismes. Cada vegada més, estem deixant la presa de decisions a les màquines, i vulguem o no, aquestes decisions afecten a cadascun de nosaltres, ja que impregnen pràcticament totes les facetes de la vida.

El benefici dels algorismes i la tecnologia és en molts casos innegable. Al camp de la salut, per exemple, la tecnologia és cada cop més important en el diagnòstic precoç de malalties com el càncer de mama, així com en l’elecció del millor tractament possible per a cada pacient. En altres casos, però, les decisions basades en algorismes poden penalitzar una persona, basant-se, per exemple, en el seu color de pell, el seu gènere o el lloc on resideix.

A finals de 2018, la premsa va publicar que Amazon havia dissenyat un algorisme per automatitzar la selecció de personal que atorgava una puntuació menor als perfils de dones. Sembla ser que el sistema no va passar de la fase de proves, ja que es va aturar quan es va detectar que no seleccionava els millors candidats de forma neutral, sinó que penalitzava les dones pel fet de ser-ho. Per la seva banda, Google Ads mostrava amb molta més freqüència anuncis d’ofertes d’ocupació altament remunerades a homes que a dones. En tots dos casos, els algorismes darrere de cadascun d’aquests sistemes discriminaven clarament per raó de gènere.

Als Estats Units, el sistema COMPAS proporciona informació als jutges sobre el risc de reincidència de la persona a la qual estan jutjant. Es va demostrar que l’algorisme sobreestimava el risc de reincidència en el cas de persones negres, i per contra, el sistema assignava un risc menor del real a les persones blanques. Així, en els casos en què els acusats havien acabat reincidint, els blancs havien estat classificats com de risc baix en un 45% de les vegades, davant d’un 23% en el cas d’acusats negres.

 

La tecnologia, un reflex de la societat

La tecnologia hauria de ser, suposadament, neutra. De fet, un dels fonaments de la presa de decisions per part d’algorismes és, a més del seu potencial en el processament de dades a una velocitat infinitament superior que els humans, la suposada objectivitat dels algorismes i/o sistemes basats en aquests. Això no obstant, casos com els exposats mostren que, en no poques ocasions, l’aplicació de certs algorismes pot derivar en la discriminació de determinats col·lectius.

En realitat, els algorismes i la tecnologia en general no deixen de ser un reflex de la realitat. Els prejudicis i els biaixos que tenen els éssers humans es traslladen a la tecnologia. Per exemple, en el cas de COMPAS, un estudi posterior va demostrar que el marge d’error o d’encert de COMPAS era el mateix que el de persones humanes escollides aleatòriament. És a dir, l’algorisme no feia més que reproduir també els prejudicis i biaixos dels humans.

Dit això, no podem obviar que la tecnologia té un potencial d’amplificació del dany enorme, ja que s’aplica massivament i automàtica. A més, el seu funcionament resulta incomprensible per a la major part de les persones. Per tot això, és imprescindible prendre consciència del problema i dels riscos de la tecnologia.

 

Per què discriminen els algorismes?

Els algorismes, en si mateixos, no són discriminatoris. Els algorismes són com una recepta, una fórmula que s’ha d’aplicar pas a pas. Si la recepta està escrita de manera incorrecta, o si algun ingredient està en mal estat, el resultat de la recepta serà també dolent.

Fonamentalment, la discriminació algorísmica es produeix per dos motius. D’una banda, pot passar que la persona que programa o dissenya l’algorisme reflecteixi els seus prejudicis o biaixos en el mateix algorisme. I amb això, cada vegada que l’algorisme s’aplica reprodueix també aquests prejudicis o biaixos.

Per altra banda, els algorismes són “entrenats” amb mostres de dades, i la qualitat i diversitat d’aquestes dades és una de les claus per entendre com es produeix la discriminació algorísmica. Es pot donar el cas que la mostra sobre la qual s’entreni l’algorisme sigui poc representativa. Per exemple, s’han donat casos de tecnologia de reconeixement facial –cada vegada més utilitzada– que presenta problemes per reconèixer cares de persones negres, i més encara, de dones negres. El problema, sembla, va ser que les persones que van dissenyar l’algorisme van incloure sobretot imatges d’homes blancs, i molt poques de dones negres, de manera que la màquina tenia dificultats importants per reconèixer les seves cares.

També és habitual que en els casos d’algorismes discriminatoris la mostra de dades sobre la qual s’ha entrenat l’algorisme contingui ja prejudicis i biaixos. El cas d’Amazon, per exemple, ho il·lustra perfectament: aquell algorisme es va entrenar amb una mostra que contenia els currículums enviats a Amazon al llarg de deu anys. Atès que en aquests anys la major part dels perfils que van ser finalment seleccionats van ser d’homes, l’algorisme va classificar el fet de ser home com un factor d’èxit. I, com a conseqüència, va aprendre que els currículums de dones havien de ser descartats, produint-se així un cas clar de discriminació per part de l’algorisme.

 

La transparència algorísmica i altres mesures per impulsar una tecnologia respectuosa amb els drets humans

L’Agència dels Drets Fonamentals de la Unió Europea (FRA) ha apuntat algunes mesures imprescindibles per assegurar que la tecnologia vagi de la mà dels principis d’igualtat i no discriminació. D’una banda, s’haurien de dur a terme avaluacions d’impacte, que tindrien per objectiu identificar sistemes que tinguin el potencial de discriminar, i en general, hauria de revisar la qualitat de les dades que s’utilitzen per dissenyar i entrenar algorismes.

D’altra banda, una altra de les mesures fonamentals passa per incrementar la transparència dels algorismes. No només és imprescindible que puguem saber quan, com i quin algorisme ha intervingut en una decisió que ens afecta, sinó que aquest ha de ser explicat de manera clara i comprensible per a persones sense formació tecnològica. Un aspecte fonamental seria donar informació sobre quins tipus de dades i quina informació es va utilitzar en la creació de l’algorisme.

En aquest punt hi posava especial èmfasi el professor Carlos Castillo, investigador de la Universitat Pompeu Fabra, durant la darrera jornada del cicle de conferències “Ciència, noves tecnologies i drets humans” organitzat recentment per l’Ajuntament de Barcelona. En ella, aprofundia en la qüestió de la justícia algorísmica, i insistia en la idea que no només és necessària més transparència –és a dir, que l’usuari tingui coneixement sobre quines decisions que l’afecten han estat preses per un algorisme– sinó que seria desitjable que l’usuari pogués també desafiar i qüestionar les decisions algorítmiques. Altrament, per a la gran majoria de la gent, tenir accés a l’algorisme no tindrà més impacte, ja que en qualsevol cas, aquest li resultarà incomprensible.

En la mateixa direcció apuntaven un grup de col·lectius i experts en dret i tecnologia al maig de 2018 amb la signatura de la Declaració de Toronto, signada, entre d’altres, per Amnistia Internacional i Human Rights Watch. La declaració instava a governs i empreses tecnològiques a adoptar una sèrie de principis per garantir una intel·ligència artificial i una tecnologia d’acord amb els drets humans.

Entre d’altres mesures com la transparència algorítmica, un dels punts clau era el de la responsabilitat. Un individu hauria de tenir dret a ser compensat en cas de perjudici per l’aplicació d’un algorisme. Per permetre això, els protocols i els procediments haurien de ser dissenyats amb claredat, i les decisions algorítmiques haurien de poder ser supervisades per una entitat independent o, fins i tot, si el cas ho requerís, per part de jutges i tribunals.

Tot i aquesta presa de consciència, és cert que amb l’avenç espectacular de la tecnologia en els darrers anys, en la majoria dels casos la ciutadania no acaba de ser plenament conscient sobre com ens afecta la presa de decisions basada en algorismes ni, especialment, dels riscos que comporta. Queda molt per fer, i la velocitat dels canvis afegeix un element més a l’equació. En qualsevol cas, crear consciència entre la ciutadania sobre aquesta qüestió és fonamental i un primer pas necessari.

 

Article escrit per Laia Tarragona Fenosa