Cathy O’Neil
Armas de destrucción matemática. Cómo el big data aumenta la desigualdad y amenaza la democracia
Madrid, Capitán Swing, 2018
Trad. de Violeta Arranz de la Torre
280 pp. 19 €
Augusta Ada King (1815-1852), condesa de Lovelace, fue una matemática británica conocida por sus investigaciones sobre la máquina analítica de Charles Babbage. Entre sus «Notas» sobre la máquina, Ada Lovelace dejó lo que se hoy se considera el primer algoritmo concebido para ser autoprocesado por un ordenador.
Ada es también el nombre del algoritmo que dirigió la campaña de Hillary Clinton. No es que Clinton dudara de si hacer caso al algoritmo o a sus asesores cuando se producía alguna discrepancia entre ellos, sino más bien que, antes de adoptar cualquier estrategia, lo primero que hacía el equipo de la candidata era consultar al oráculo del big data. Las decisiones sobre dónde, cuándo y cómo invertir cada dólar de la campaña eran tomadas previa consulta a Elan Krieger, que traducía al lenguaje electoral las correlaciones encontradas por el algoritmo. Mientras que la falta de datos hace que sea complicado saber cuál era la ratio de acierto del oráculo de Delfos, es bastante más sencillo verificar el fracaso del algoritmo de Ada.
Como Ada Lovelace, Cathy O’Neil es matemática. Y. como la de la campaña de Hillary Clinton, la historia que O’Neil relata en Armas de destrucción matemática es la de un desencanto. Como confiesa en la introducción, O’Neil era desde pequeña la típica nerd de las matemáticas a la que le gustaba factorizar los números de las matrículas de los coches, sobre todo si eran números primos. Andando el tiempo, esta pasión derivó en un doctorado en Matemáticas en Harvard, primero, y en un trabajo como analista cuantitativa en la empresa D. E. Shaw (un conocido fondo de inversión estadounidense), después.
El desamor se nos narra en el segundo capítulo del libro. O’Neil comenzó a trabajar en D. E. Shaw poco antes de la crisis de 2008. Y fue entonces cuando comprendió «la horrible verdad» (p. 48). En aquella época, una de las principales actividades de los bancos de inversión consistía en la compra y titulización diaria de miles de hipotecas. Los títulos con garantía hipotecaria eran, nos dice O’Neil, una forma idónea para el fraude masivo. Como las salchichas, los títulos con garantía hipotecaria son productos formados a partir de pequeños trozos de calidades muy distintas. Obviamente, hay salchichas malas, regulares y buenas, pero a simple vista es muy difícil saber cuál es la calidad del producto que nos vamos a encontrar dentro.
Como el mundo descubriría años más tarde del derrumbe de las Bolsas de 2008, las empresas financieras e hipotecarias ganaron miles de millones de dólares concediendo hipotecas a gente que no podía pagarlas. Pero siendo esto malo, dice O’Neil, no fue lo peor. Lo peor fue que en todas esas empresas había matemáticos desarrollando modelos que eran empleados como meras cortinas de humo para trasladar una imagen de seriedad y confianza al consumidor. Modelos que, sin embargo, sólo perseguían la rentabilidad a corto plazo de la empresa. Modelos que eran en realidad auténticas «armas de destrucción matemática». Pero, ¿qué es un modelo? ¿Y qué convierte a un modelo en un arma de destrucción matemática?
Como explica Dani Rodrik en Economics Rules, una forma sencilla de describir los modelos es diciendo que son como fábulas. Esto es, pequeñas historias habitadas por unos pocos personajes cuyo comportamiento e interacción nos permiten obtener una lección (moraleja) que los científicos sociales suelen emplear porque 1) nos permiten refinar nuestras intuiciones; 2) nos permiten acumular conocimiento; y 3) nos permiten generar conocimiento sobre la base de estándares de conocimiento compartidos. Tal y como mostró Michael Lewis en su más que recomendable Moneyball –su no menos excelente Deshaciendo errores fue reseñado en estas mismas páginas no hace mucho–, la estadística puede cambiar la comprensión que tenemos de un fenómeno, incluso si se trata de algo tan estudiado como el béisbol. El mensaje central de O’Neil es que «moneyball» es la cara más amable de un fenómeno cuyo envés son los modelos que actúan como armas de destrucción matemática. El libro repasa ese lado oscuro del big data en el ámbito de la educación universitaria (tercer capítulo), la publicidad (cuarto), la justicia (quinto), el mercado de trabajo (sexto y séptimo), los mercados financieros (octavo), los mercados de seguros (noveno) y la política (décimo).
Como hace a lo largo de todo el libro, O’Neil ilustra el significado de la expresión «armas de destrucción matemática» con el que titula el libro mediante un ejemplo. En 2007, el recién elegido alcalde de Washington estaba decidido a mejorar el rendimiento de las escuelas más disfuncionales de la ciudad. La teoría más extendida por entonces era que los malos resultados de los alumnos del distrito escolar de Washington se debían fundamentalmente al bajo rendimiento de los profesores. De modo que desarrollaron una herramienta para la evaluación del profesorado y, a finales del curso académico 2009-2010, el distrito despidió a todos los docentes cuyas puntuaciones se encontraban en el 2% inferior.
Una de las profesoras despedidas como consecuencia de la implantación de esa herramienta de evaluación del personal docente fue Sarah Wysocki, una profesora de la que tanto la dirección del centro como los padres de los alumnos tenían una excelente opinión. ¿Cómo podía ser que una profesora tan buena obtuviera unos resultados tan malos? Aquí entra en escena el primero de los tres rasgos distintivos con los que O’Neil caracteriza las armas de destrucción matemática: la opacidad. Cuando Wysocki se interesó por las razones de sus pésimas calificaciones, lo que le dijeron fue que la respuesta era muy complicada. Tanto que el administrador del distrito tardó meses en elaborar algo parecido a una respuesta.
Ahora bien, que el programa por el que despidieron a Wysocki se basara en un modelo que funcionaba como una caja negra cuasiinescrutable no impidió que el distrito de Washington despidiera a más de doscientos profesores en total. Aquí damos con la segunda característica de las armas de destrucción matemática: su escala. Si entramos en la cafetería más cool de Malasaña o de la Barceloneta (y exageramos un poco el ejemplo), no encontraremos a dos personas que sigan la misma dieta: una será vegetariana, otra vegana, otra comerá pescado, pero no carne, y otra comerá de todo. Ahora supongamos que la dieta de una de ellas, digamos la vegana, se convirtiera en algo así como una dieta oficial para todos los ciudadanos españoles. Las consecuencias serían tremendas. Con una única dieta nacional vegana, los precios de las verduras y las legumbres se dispararían, mientras que los de la carne, los lácteos y el pescado se hundirían. Pero, ¿qué tiene que ver esto con el lado oscuro del big data? Como decíamos, la magnitud. Un fenómeno, ya sea una dieta o el batir de las alas de una mariposa, puede ser perfectamente inocuo a escala reducida, pero muy dañino cuando aumentamos su dimensión. Y esto es lo que ha ocurrido, afirma O’Neil, con la educación universitaria en Estados Unidos.
En 1983, U.S. News & World Report, una revista que por entonces atravesaba dificultades económicas, decidió evaluar mil ochocientas facultades y universidades de Estados Unidos y clasificarlas en función de lo buenas o malas que fueran. Pues bien, al establecerse como ranking oficioso para todo el sistema universitario estadounidense, esto ha provocado un efecto de «carrera armamentística» por el que, con el objetivo de ascender peldaños en el ranking, las universidades ahora sólo buscan mejorar aquellos aspectos –como las citas académicas, por ejemplo– que están siendo empleados por el algoritmo. Uno de los aspectos no incluidos es el precio de las matrículas, lo que ha provocado que las universidades privadas sean cada vez más caras y destinen la recaudación a mejoras que les permitan continuar ascendiendo escalones en el ranking, aunque sea a expensas de ahogar a los estudiantes en deudas. Es así como llegamos a la tercera característica de las armas de destrucción matemática.
De acuerdo con O’Neil, la tercera y última propiedad de éstas es que no sólo provocan daños, sino que éstos tienden a concentrarse desproporcionadamente en los sectores más vulnerables de la población: dicho de otra forma, que la distribución de los daños es poco equitativa. Pensemos, nos propone O’Neil, en el caso de Reading, una pequeña ciudad de Pensilvania. Debido al descenso de la recaudación fiscal motivada por la crisis financiera de 2008, el jefe de policía de Reading tuvo que apañárselas para garantizar la misma seguridad con menos efectivos. Así las cosas, decidió comprar un software de predicción de delitos llamado PredPol, que emplea datos históricos para determinar dónde es más probable que se cometa el próximo delito. Si los agentes patrullan las zonas del mapa de la ciudad señaladas por PredPol, el efecto disuasión asociado a la labor de policía debería provocar una disminución del número de delitos. Eso fue, según documenta O’Neil, lo que ocurrió al año siguiente de adquirir el software.
Los programas del tipo de PredPol tienen una cosa buena: son completamente ciegos a la raza, el sexo y los orígenes étnicos. De hecho, funcionan siguiendo la lógica de los seísmos. Estudian los delitos cometidos en diferentes zonas de la ciudad, los integran en un patrón histórico y realizan una predicción acerca de dónde y cuándo es más probable que ocurra el siguiente (si roban en la casa del vecino de al lado, es más que conveniente que cierres bien la tuya). No se centran en las personas, sino que analizan los patrones geográficos de la delincuencia. Pero, junto a esa virtud, encontramos también un importante defecto. Y es que, por desgracia, los puntos «calientes» que traza PredPol en las pantallas suelen dibujar, en la mayoría de las ciudades, un mapa preciso de la pobreza. Si lo pensamos, tiene sentido. Las personas pobres y sin hogar suelen mear siempre en la misma calle, dormir siempre en el mismo banco y esparcir sus escasas pertenencias en el mismo parque, por lo que cometerán pequeñas pero frecuentes infracciones del orden público (casi) siempre en la misma zona geográfica. Cuantos más policías enviemos a esas zonas, más delitos prevendremos. Pero, ¿cuántos agentes debemos dedicar a multar a gente que mea en la calle porque no tiene una casa donde hacerlo? Dar prioridad a la prevención de este tipo de infracciones seguramente implica no dársela –porque nada es gratis y todo tiene un coste de oportunidad– a la prevención de delitos más infrecuentes, pero también más graves, como el fraude o la evasión de capitales.
Como ocurre con PredPol, el libro de O’Neil tiene una gran virtud y un gran problema. La virtud es que, en su doble condición de experta académica y empleada de un fondo de inversión, O’Neil ofrece un mapa completo y bien documentado de las tendencias y los peligros que se esconden en el lado oscuro de esa industria que no para de crecer que es el big data. El problema –si obviamos que la crítica de O’Neil a veces adopta un tono innecesariamente inflamado– es que la parte en que se nos proponen algunas vías de solución a esas tendencias, y que básicamente se resumen en «hay que regular (más) esta industria», no está a la altura del diagnóstico.
Borja Barragué es profesor de Filosofía del Derecho en la Universidad Autónoma de Madrid. Es autor de Desigualdad e igualitarismo predistributivo (Madrid, Centro de Estudios Políticos y Constitucionales, 2016).
Borja Barragué
Ver artículo original