La politóloga estadounidense analiza cómo afecta a los más vulnerables la aplicación de la
inteligencia artificial a la gestión de recursos públicos. La autora de ‘La automatización de la
desigualdad’ advierte sobre la “discriminación racional” que se esconde tras la pretendida asepsia
de la informática.
Virginia Eubanks, politóloga y profesora estadounidense, fotografiada en su despacho en Albany
en enero de 2022. Víctor Llorente
Copiar enlace
Donde otros ven cifras, ella ve historias personales. Así puede resumirse la aportación de la
politóloga Virginia Eubanks al debate sobre la gobernanza algorítmica. Todo lo que había leído
esta tejana de 50 años sobre el uso de la inteligencia artificial en la gestión de recursos públicos
era demasiado teórico, así que decidió ponerle rostro. En su libro Automating Inequality , traducido
por Capitán Swing como La automatización de la desigualdad , Eubanks demuestra que el uso de
estos sistemas por parte de la Administración a menudo perpetúa las desigualdades y castiga a
los pobres . Llegó a esa conclusión estudiando en profundidad tres casos en Estados Unidos y
haciendo algo que, por obvio que parezca, nadie había hecho antes: escuchar a quienes habían
sufrido en primera persona lo injusta que llega a ser la automatización de los servicios.
Comprobó que el algoritmo que se usa en un condado de Pittsburgh para anticipar si un niño
sufrirá malos tratos durante sus primeros cinco años de vida penaliza más a los afroamericanos
que a los caucásicos. Retrató el absurdo de que una máquina elija quiénes de los 60.000 sin techo
que había en Los Ángeles en 2017, cuando publicó el libro, tienen derecho a una vivienda social,
sabiendo que 25.000 se quedarían en la calle. Mostró cómo un sistema informático que
automatizaba en Indiana la admisión de solicitudes de asistencia social acabó denegando un
millón de ayudas por supuestos errores en la tramitación que resultaron no ser tales. Los
programas informáticos se han colado en la Administración y parecen remar en una misma
dirección: austeridad y marginación de los menos pudientes.
“Lo que me resulta más interesante es pensar qué dice de nosotros como sociedad el haber
decidido que cuestiones como estas se automaticen”, reflexiona la profesora de Ciencia Política
en la Universidad de Albany, Nueva York. El discurso de Eubanks destaca precisamente por su
mirada humanista, alejada de la frialdad de los científicos de datos e ingenieros que suelen
monopolizar estos debates. Tiene claro que la tecnología se usa en este contexto como
herramienta política, sirviéndose del supuesto halo de eficiencia ideológicamente aséptica que se
le suele atribuir a los ordenadores.
¿Cree que hay una agenda política detrás de la aplicación de los algoritmos que describe en su
libro?
Se alinean notablemente con la doctrina de la austeridad y el hipercapitalismo. Particularmente
con algunas ideas muy populares en Estados Unidos, como que la Administración nunca tendrá
recursos suficientes para todos y que habrá que buscar el modo de tomar decisiones difíciles para
ver quiénes pueden disfrutar de esos recursos y quiénes no. El algoritmo usado en Los Ángeles
para determinar a qué sin techo se le asigna una vivienda, por ejemplo, nos permite evitar tener
una conversación muy difícil en torno al hecho de que en 2021 haya 67.000 personas sin hogar en
la ciudad . Supera en 17.000 personas la población de Troy, la localidad en la que vivo. Estamos
hablando de una tragedia de derechos humanos. Estas herramientas se usan en cierta medida
para encubrir políticas que no quieres que se consideren como tal. Políticas negativas, de hecho,
de cuya responsabilidad te eximes: yo no tomé esa decisión, lo dijo el ordenador. ¡ Está bien que
miles de personas vivan en tiendas de campaña en Los Ángeles, veamos cómo acomodamos a
los que podamos !
Virginia Eubanks es politóloga y profesora estadounidense. Víctor Llorente
Dice que es peligroso que se crea que estas herramientas son apolíticas; que se piense que no
toman decisiones, sino que mueven información y mejoran procesos.
Exacto. Eso pasó con el algoritmo de monitorización de familias del condado de Allegheny
[Pensilvania]. Se creyó que los ordenadores procesan mejor la información que los asistentes
sociales, así que por qué no delegar en ellos la decisión de dónde actuar. ¡ Eso denota una gran
desconfianza en la Administración ! Rhema -Vaithianathan [la economista que lo diseñó] es muy
buena científica de datos, pero no es politóloga. Decidir si unos padres son aptos o no para criar a
sus hijos es un proceso realmente importante y muy diferente de mover información de un lado a
otro. La política no es una ciencia, es algo terriblemente humano. Esta dimensión debería estar
presente siempre que se tomen decisiones, haya o no algoritmos en el proceso.
El caso del algoritmo de Allegheny resulta llamativo. El Gobierno de Nueva Zelanda del
conservador John Key le encargó a Vaithianathan y su equipo desarrollar un modelo estadístico
para estimar qué niños tienen mayores posibilidades de sufrir malos tratos o abandono a partir de
datos recogidos sobre los padres que interactúan con los servicios sociales, con protección a la
infancia y con el sistema penal. El cálculo se hacía antes de que nacieran los pequeños,
analizando el historial de los progenitores. Fue un fracaso. Un grupo de investigadores reveló que
el programa se equivocaba en el 70% de los casos y el proyecto se paró en 2015, antes de que se
aplicase sobre una muestra de 60.000 recién nacidos.
Para entonces, los desarrolladores de ese sistema ya habían conseguido un contrato para crear
un modelo de predicción de riesgos similar en el condado estadounidense de Allegheny. Se creyó
que asignar a cada embarazo una puntuación a partir del análisis de 132 variables, que tenía en
cuenta desde la edad de la madre o si el niño vivía en una familia monoparental hasta los
antecedentes penales de los padres o si estos recibían ayudas públicas, permitiría hacerse una
idea de dónde estaban los progenitores conflictivos. Si la calificación final era alta, los asistentes
sociales se pasaban a comprobar que todo estuviera en orden. Aunque fuera una falsa alarma,
cada visita domiciliaria queda registrada en el sistema, lo que puede ser un agravante en un
futuro.
La investigación de Eubanks demuestra que el sistema perjudica claramente a los más pobres,
que en EE UU suelen ser negros y latinos, porque interactúan más que el resto con el sistema
público. Y el algoritmo se nutre de datos aportados exclusivamente por el registro público, con lo
que las clases medias y altas, que cuentan con coberturas privadas, prácticamente no figuran ahí.
Lejos de haberse retirado del funcionamiento, el ASFT (así se llama el algoritmo de Allegheny)
sigue operativo y se ha replicado en varias poblaciones del país.
Usted subraya que programas como este tienen cabida en EE UU debido a la concepción que se
tiene allí de la pobreza.
Así es. En mi país predomina una forma muy particular de ver la pobreza en la que manda el
discurso de la culpabilidad: quien está en esa situación lo está por su inacción o incompetencia.
Hay un cierto rechazo a enmarcar la discusión como un asunto de derechos humanos, no existe la
idea que se tiene en Europa de que hay un nivel por debajo del cual no es tolerable que alguien
esté. No puedes tomar una decisión lo suficientemente mala como para que merezcas vivir en una
tienda en medio de la calle durante una década. O perder la custodia de tus hijos porque no
puedas afrontar el pago de un medicamento que necesiten. Cuando cuentas a un europeo que los
pobres en EE UU tienen que demostrar que son seleccionables para recibir asistencia médica
gratuita te miran como si estuvieras loca. En mi país bebemos de las estrategias de gestión
moralista y punitiva de la pobreza que nos acompañan desde 1820, cuando ser pobre era
sinónimo de maleante o vago y se encerraba a quienes no eran capaces de mantenerse en los
asilos para menesterosos. Afortunadamente parece que hay algún atisbo de cambio con el
presidente Joe Biden, como se ha visto con la acogida de niños que cruzan la frontera de México ,
algo que por otra parte es completamente normal en las democracias avanzadas.
La aplicación de algoritmos a políticas sociales se alinea con la doctrina de la austeridad y con el
hipercapitalismo
Virginia Eubanks
Han pasado cinco años desde que publicó el libro y este tipo de algoritmos siguen siendo
adoptados por las administraciones.
La pregunta entonces es por qué. Sospecho que la tecnología nos ofrece una excusa para no
hacer nada por solucionar problemas sociales cada vez más críticos. Y creo que eso es
increíblemente atractivo. Volvamos al caso de los sin techo de Los Ángeles. Los funcionarios
tienen decenas de solicitudes de alojamiento cada día y solo una o dos plazas que dar. No envidio
estar en esa posición. El algoritmo al final es una forma de eximirnos de las consecuencias
humanas de las decisiones políticas. Es atractivo, ahorra dinero y es políticamente muy viable.
Pero en cierto sentido abunda sobre algo mayor: toda la ciudad está construida para no ver esa
realidad. Los pobres usan el transporte público mientras que el resto se mueve en coche, las
tiendas de campaña están apartadas de los vecindarios…
¿Hay algún ejemplo que no incluyera en el libro que le llame especialmente la atención?
Me interesan mucho ahora los sistemas que identifican los supuestos sobrepagos del Estado en
forma de asistencia pública, luego los convierten en deuda y finalmente la cargan sobre familias
trabajadoras pobres. En Illinois, por ejemplo, la Administración enviaba unas 23.000 notificaciones
de este tipo al año. Las cartas te dicen que te pagaron de más en 1985, que ya no se puede
recurrir y que nos debes tal cantidad de dinero: nos lo puedes pagar de golpe, entrar en un plan de
pagos o afrontar penas civiles o criminales. Las deudas son de 400 a 20.000 dólares y penden
sobre personas vulnerables. La mayoría de las que yo contacté eran mayores sin recursos. La
gente está aterrorizada: no saben qué hacer, no se acuerdan de qué hicieron en 1985. En
Australia vi algo parecido, el Robodebt, pero era más visible al tratarse de una medida federal. En
EE UU es más difícil de ver porque cada Estado funciona por libre. Según mis estimaciones,
puede haber centenares de miles de familias afectadas. Ves a gente de 75 años llegando a
acuerdos para pagar cinco dólares al mes durante el resto de su vida. Es una extorsión intolerable
e innecesaria, el tipo de cosas que es posible gracias a los algoritmos: todas las bases de datos
están conectadas ahora, así que alguien pensó que estaría bien desarrollar un software que
identifique supuestos errores y mande cartas para que se corrijan.
Esto tiene que ver con lo que usted llama discriminación racional.
Sí. No es que haya un grupo de trajeados decidiendo a quién perjudicar. No es intencionadamente
discriminatorio, pero la forma en que los datos, las agencias y los programas están estructurados
crean este sistema con impactos increíblemente discriminatorios sobre ciertos colectivos .
¿En qué está trabajando ahora?
Desde que publiqué La automatización de la desigualdad ha habido una explosión en torno a la
conversación sobre gobernanza algorítmica, sesgos algorítmicos y otros temas relacionados. Ha
sido muy estimulante ver cómo proliferaban los libros sobre esta temática. Pero todavía me parece
que en este debate faltan cosas importantes. Una de ellas es escuchar las voces de las personas
que se ven afectadas más directamente por esas tecnologías y herramientas, y no tanto a los
ingenieros, académicos e investigadores que hablan de ellas. Y la otra es una perspectiva global:
esto no es cosa de EE UU o de España, está sucediendo en todas partes, hay una agenda que
quiere colocar estos sistemas. Así que mi nuevo proyecto, en el que trabajo junto a Andrea
Quijada, de la Universidad de Nuevo México, consiste en recoger historias orales de 12 países
para asegurarnos de que se representa en la conversión el testimonio de la gente que se ve
directamente afectada por estos algoritmos. Y en conectarlas entre ellas para sacar patrones. De
hecho, una de las razones por las que he viajado a España es para recoger algunas de esas
historias. Sobre el ingreso mínimo vital y algunas otras cosas que prefiero no contar todavía. Esto
nos llevará unos dos años y pensamos escribir un libro con ello.
¿Tiene alguna conclusión preliminar?
El contexto en el que trabaja cada algoritmo es muy importante. Esto no funciona desplegando
una herramienta en un sitio cualquiera y ya está. Por ejemplo, en Australia se ha hecho una
prueba a raíz de la pandemia para transferir todas las prestaciones sociales a una tarjeta de
crédito. Te dan fondos, pero solo los puedes gastar en lugares aprobados por el Estado. Y eso es
un problema si eres una persona pobre de clase trabajadora, ya que en ese caso tienes que ser
muy flexible en la manera en la que gastas. Hay gente a la que no le da para un piso y solo alquila
una habitación o vive en una casa de huéspedes; en ambos casos, a ojos del sistema, no tienes
un contrato de alquiler. El resultado es perverso: no puedes gastar esos fondos aunque te los
hayan dado. También puede suceder que tengas un pequeño negocio y no puedas comprar
suministros en Etsy o Ebay, que son más baratos, porque la tarjeta no te deja en esos sitios.
En su libro, ‘La automatización de la desigualdad’, Eubanks demuestra que el uso de los
algoritmos por parte de la Administración a menudo perpetúa las desigualdades y castiga a los
pobres. Víctor Llorente
¿Es factible sacar patrones globales de herramientas con efectos tan locales?
El contexto local y político es muy importante. No quiero ser una determinista tecnológica y decir
que cuando aparece una de estas herramientas todo cambia para mal. Pero el algoritmo de
monitorización de familias de Allegheny, que fue retirado de Nueva Zelanda, se ha extendido a
otros 12 lugares de EE UU. Estas herramientas viajan. Y creo que es muy interesante verlas en
distintos países, tanto para comprobar si se aplican de la misma forma como para ver en qué
cambian. Si ese mismo algoritmo aterriza en Portugal y su efecto es distinto, sería interesante ver
por qué. Quizás podamos ayudar a que quienes tratan de proteger los derechos humanos de la
gente que se ve coartada por el Estado de bienestar digital puedan ver cómo funcionan estos
mecanismos en otros lugares y establecer conexiones. O que si esta herramienta se intentó
instaurar en Nueva Zelanda y la gente dijo no, ¿por qué no hacer lo mismo en Pittsburgh?
Esto no es cosa de Estados Unidos o de España, está sucediendo en todas partes. Hay una
agenda que quiere colocar estos sistemas
Virginia Eubanks
¿Hay forma de que quienes sufren los efectos negativos de los algoritmos puedan evitarlos?
Estas herramientas cambian cada vez que la clase obrera pobre siente su poder. Creo que en EE
UU estamos en un momento ahora mismo en el que lo sienten, o al menos lo tienen. Se está
hablando por ejemplo sobre si se deberían recibir subsidios por desempleo más generosos de los
que se dieron durante la pandemia. Habrá una buena lucha en torno a este debate.
¿Cómo se puede luchar contra la proliferación de la automatización en la gestión de servicios
sociales?
Creo que en los últimos tiempos estamos viendo muchos más desafíos directos a este tipo de
herramientas, la mayoría relacionadas con la justicia criminal y con el uso por parte de las fuerzas
de seguridad de sistemas apoyados en la inteligencia artificial. En Los Ángeles hay una campaña
contra los drones policiales. También hay otra iniciativa contra el uso del reconocimiento facial por
parte de la policía que está triunfando en varias ciudades del país. Es importante no asumir que
los cambios que se derivan de la aplicación de nuevas tecnologías son inevitables.
Es difícil que la gente proteste contra un algoritmo que gestiona recursos públicos si ni siquiera
sabe que existe.
Es un tanto intrigante que cuando pensamos en tecnologías amenazantes para nuestras vidas nos
fijemos más en herramientas policiales que en las que se usan en la administración del Estado de
bienestar, cuando lo segundo no es menos importante. Alguien me dijo una vez que diferenciamos
inconscientemente en función de si es un servicio de apoyo o punitivo, independientemente de que
los resultados de las políticas en cada caso puedan ser igualmente negativas. En cuanto a cómo
visibilizar esta realidad, me parece que todos ganaríamos si se tuviera más en cuenta a quienes
sufren las consecuencias de un algoritmo que le deniega prestación médica a su hija de seis años
con discapacidad y dependiente por no rellenar una documentación que se le envió
telemáticamente. Quizás sería más fácil ver a qué nos enfrentamos escuchando a quienes lo han
vivido que tratando de buscar modelos filosóficos justos.