«Deberíamos asegurarnos de que la ley se aplique frente a los algoritmos destructivos»
Detrás de la aparente neutralidad con la que se vende el ‘big data’ se esconde la perpetuación de sesgos que aumentan las desigualdades en base a datos cuantitativos. Así lo señala la doctora en matemáticas y autora Cathy O’Neil, que indica que el uso masivo de algoritmos, lejos de aportar soluciones más eficientes y equitativas, puede amenazar con su implacable reproducción de prejuicios la esencia misma de la democracia.
La autora del libro Armas de Destrucción Matemática (Capitan Swing, 2018) es una reputada doctora en matemáticas que quiere que el mundo sea un poco mejor. Su trayectoria vital la ha llevado a desde la academia (Harvard, MIT, Barnard College) al mundo de los fondos de cobertura justo en el momento de la crisis crediticia y el estallido de la burbuja inmobiliaria de la década pasada, y más tarde al activismo social.
La concesión de un crédito, la admisión en una universidad, la concesión de un s eguro, todo queda en manos de análisis cuantitativos que desde su aparente neutralidad terminan perpetuando sesgos que hacen que los afortunados lo sean más y los más oprimidos terminen en el desamparo.
Se trata del lado oscuro de los algoritmos, de las construcciones matemáticas que rigen mediante modelos aparentemente neutrales una parte creciente de nuestra vida social. Y que Cathy O’Neil ha bautizado «Armas de Destrucción Matemática». Y apostilla: «Cómo el Big Data aumenta la desigualdad y amenaza la democracia».
La autora estuvo en Madrid, dentro del ciclo Tech & Society de la Fundación Telefónica, y tuvo unos minutos para charlar con Público sobre algunos de los temas de los que es experta.
MADRID P. ROMERO @pabloromero
Si grabase esta conversación con este teléfono inteligente, ¿le molestaría?
No, en absoluto. No soy una persona pro privacidad, sobre todo porque soy estadounidense y por tanto no tengo interiorizado ese derecho. Lo que tenemos en EEUU es un problema diferente a lo que existe aquí, en Europa. Ustedes tienen mejores protecciones y menos problemas al respecto. Esto no quiere decir que no haya que preocuparse por lo que vaya a pasar en el futuro, pero nuestros problemas con los datos son otros.
«Es irónico que la gente más interesada en los temas de privacidad sean hombres blancos con mucha educación»
De hecho, yo no soy la víctima de estos sistemas injustos. Como persona blanca y educada, experta en tecnología, es ridículo que me preocupe por ello, por mi ‘higiene’ de datos. Es irónico que la gente más interesada en los temas de privacidad sean hombres blancos con mucha educación y conocimientos en tecnología. No tiene sentido. Es la gente oprimida, realmente, con perfiles demográficos que se consideran desafortunados —negros, mujeres, pobres, las personas que menciono en el libro y que son objetivo de determinadas estrategias— son vulnerables, no son expertos en tecnologías. Ellos son presa fácil, yo no lo soy. Si yo me voy a internet y la publicidad me sugiere productos de cashmere o seda, para mí será una distracción pero no una práctica depredadora.
En su libro destaca las ideas de círculos viciosos, tóxicos, y del concepto de lo escalable. Es decir, las ‘armas de destrucción matemáticas’ lo son en cuanto a que escalan, son masivas. Son conceptos muy interesantes.
Bien, partamos de la base de que lo importante es que los algoritmos no predicen el futuro, sino que lo hacen para los individuos. Buscan si vas a pagar un préstamo, si vas a ser proactivo, basándose en el comportamiento previo de cada uno. Pero es que no predicen tanto, más bien cambian el futuro, lo modifican y determinan. Se puede usar esa información que se tiene de alguien sobre su historial crediticio para decidir si va a pagar el siguiente préstamo y, por tanto, si se lo van a conceder. Es decir, se va a usar esa información para ver si alguien es una buena apuesta para una compañía determinada. O para decidir si se contrata o no a esa persona.
«Estos sistemas lo que hacen es propagar y retroalimentar los esterotipos que ya existen»
Así que estos sistemas lo que hacen es propagar y retroalimentar los esterotipos que ya existen, como los demográficos. Hacen que quien ha tenido suerte en la vida tenga más suerte y, al contrario, que quien ha tenido menos suerte tenga menos aún. A esto es a lo que me refiero con la escalada.
Asimismo, es importante destacar que confiamos en los algoritmos demasiado. Uno puede pensar: «Hey, no me gusta tu apariencia, no te voy a dar un trabajo». Y como humanos nos parecería injusto, no lo entenderíamos. Sin embargo, como hay un instrumento, una autoridad digamos científica —el algoritmo— detrás de algunas decisiones similares, pues no nos lo cuestionamos. Por eso mismo veo que existe una escalada.
¿Y a quién echamos la culpa? ¿Quién es el responsable de que esto pase?
Tenemos ese sistema injusto que se alimenta de prejuicios racistas, sexistas, aporafóbicas… Parece que con estos sistemas algorítmicos que denuncia los ricos seguirán siendo más ricos y los pobres, cada vez más pobres.
Este tipo de preguntas son muy importantes, pero tenemos que ser conscientes de que ya se han respondido a través de la ley. Es ilegal discriminar por género cuando contratamos a una persona. Uno puede deducir que es sexista porque el mundo es sexista, pero esto no es aceptable, no puede ser, y tenemos algoritmos que están haciendo esto. Frente a esos algoritmos destructivos lo que sugiero es que deberíamos asegurarnos de que la ley se aplique.
Pero usted misma reconoce que los algoritmos son algo oscuro, secreto. Y cuando se dan situaciones como las descritas se tiende a culpar al algoritmo, a la máquina. «Yo no tengo la responsabilidad, es el algoritmo». ¿Pero cómo va a tener la responsabilidad una fórmula matemática? Ni siquiera se puede culpar al creador del algoritmo…
Eso es cierto, pero como científica de datos yo estoy aquí para decir que podemos hacer las cosas mejor. No es imposible hacerlo mejor. Y no es ua excusa, en cualquier caso. Si la empresa X está usando un algoritmo cuyos resultados son sexistas se puede hacer que deje de utilizarlo. La realidad es que se puede mejorar la situación. Algunas compañías hacen como que no lo saben, y lo cierto es que tampoco se les requiere que hagan test sobre esos algoritmos. Claro que primero habría que demostrar con pruebas que lo que están haciendo es ilegal y de esta manera obligarlas a cambiarlo, a mejorarlo.
Parece difícil conseguir que el mundo de los algoritmos sea más transparente. ¿Cómo hacer para que los algoritmos sean más entendibles, menos oscuros, tanto para los ciudadanos como —quizá más importante— para los legisladores?
Son cuestiones diferentes. Por un lado, el Reglamento General de Protección de Datos en Europa tiene una parte que puede ser útil para este fin, pero no se trata de una cuestión únicamente estadística: yo quiero saber por qué no se me ha dado un puesto de trabajo o por qué no se me concede una tarjeta de crédito. Quiero saberlo. Y quizá, si lo sé, dentro de un año puedo hacer algo que mejore mi historial para acceder a esos servicios.
«Yo quiero saber por qué no se me ha dado un puesto de trabajo»
Pero ¿y si el sesgo de la máquina es sexista o contiene otro tipo de prejuicios? Esto es algo que hay que preguntarse. De hecho, los legisladores, los políticos, tienen que preguntárselo y dar una respuesta. Estas preguntas se pueden responder, pero no se están planteando porque los ciudadanos no saben que pueden plantearlas.
Parece pues que nadie sabe cuál es la pregunta adecuada: vemos los resultados pero nadie pregunta por los procesos que, insisto, parecen muy oscuros, poco transparentes.
La gente que trabaja en este ámbito es muy inteligente. Se les pide que optimicen las rentabilidades o los beneficios, pero si tuviesen que optimizar las evidencias o pruebas legales también lo harían. Es decir, que a medida que pedimos rendición de cuentas, los matemáticos encontrarían una manera de hacerlo, de eso estoy segura.
Casi todo lo que habla su libro gira en torno al concepto de la justicia, y me resulta curioso ver a una analista de datos, a una matemática, hablar de este concepto. En este sentido, ¿se puede mejorar la justicia con más transparencia? Para mí, el mundo de los algoritmos que deciden cosas sigue siendo muy oscuro. Parece que buscan las grietas para generar situaciones que, al final, no siguen un sentido de justicia sino de mayor beneficio…
Creo que está usted siendo demasiado distópico…
Es que, tal y como usted lo cuenta, parece que vivimos en una distopía.
Creo que deberíamos centrarnos. Estimo que la legislación europea de protección de datos (que no quiero criticar) no se centra lo suficiente en lo que realmente es dañino: los algritmos que violan nuestros derechos, nuestros derechos humanos. Y realmente hay una lista finita de algoritmos que hacen eso, no son todos. No podemos pedir transparencia absoluta de todos los algoritmos. No podemos reemplazar su trabajo por humanos siempre. Estamos hablando de una lista limitada. Por eso, en mi definición de ‘Arma de Destrucción Matemática’ se incluyen los algoritmos importantes, relevantes, y que al mismo tiempo pueden generar mucho daño por dicha relevancia.
Yo me centro en cuatro categorías. En primer lugar, las finanzas: todo lo relativo a los seguros, las hipotecas, tarjetas de crédito; después, lo que tiene que ver con la vida cotidiana: tener un empleo, entrar en una universidad, etc. Por otro lado, el sistema de libertad y justicia, cómo te trata y las posibles condenas que puedes recibir. En cuarto lugar, la libertad de información, en cuanto a la microsegmentacion, desinformación, etc.
De estas cuatro categorías, las tres primeras están razonablemente bien reguladas. Tenemos leyes que dicen cómo contratar de forma justa y sin discriminaciones, o cómo conceder un crédito en igualdad de condiciones, etc. Tenemos normas que luchan contra la discriminación y que obligan a respetar los derechos constitucionales, por supuesto aquí en Europa también. Lo que estoy diciendo es que el los próximos cinco o diez años se tiene que aplicar la ley, simplemente.
En cuanto a la cuarta categoría, la libertad de información, todo es un poco más complicado. Y realmente para la democracia solucionar los problemas aquí es algo urgente. Obviamente es el problema más difícil. Quizá se podría haber empezado por haber usado algoritmos más limitados y más pequeños, que nos hubieran permitido entender mejor cómo funcionan estos universos. Y cómo tendría que ser la rendición de cuentas de haber problemas. Arreglar esta categoría en un momento en el que los algoritmos trabajan a toda máquina va a ser duro.
Con respecto a Facebook, por ejemplo, se podría exigir en cada país que grupos de investigadores independientes pudiesen tener acceso a sus datos para realizar experimentos sociales para que sepamos qué efectos puede tener la propaganda y las campañas políticas sobre los procesos democráticos.
¿Sugiere que los gobiernos fuercen de alguna forma a Facebook a aceptar asesoramientos independientes?
Bueno, la propaganda, la falta de información, la manipulación informativa… para estas cuestiones Facebook recibe millones de dólares. Así que un requisito que yo sugeriría para que Facebook operase en un país sería, quizá, dar acceso a investigadores de ciencias sociales para poder experimentar y pubicar resultados sin intervención por parte de Facebook y con total transparencia. Eso sería un gran ejercicio.
O sea, una reflexión tras abordar sus tesis es que no existe la llamada ‘neutralidad’, al menos en estas herramientas algorítmicas…
No existe la neutralidad. Dejar que las empresas tecnológicas hayan proclamen la neutralidad de sus herramientas y, al mismo tiempo, reciban tanto dinero de campañas políticas para distribuir propaganda, por otro, no se sustenta. O una cosa, o la otra. Por un lado, han recabado dinero porque se dicen capaces de llegar a públicos segmentados e influir en ellos, y por otro le dicen a los usuarios que no tienen responsabilidad alguna porque la tecnología es neutral. No se pueden proclamar las dos cosas.
«La próxima revolución política será por el control de los algoritmos»
O’Neil, matemática doctorada en Harvard, posdoctorada en el MIT, fue una de las primeras en señalar que nuestro nuevo emperador también está desnudo. Un algoritmo (o la celebrada Inteligencia Artificial, que «no es más que un término de marketing para nombrar a los algoritmos») es tan machista, racista o discriminador como aquel que lo diseña. Mal programados, pueden llegar a ser Armas de Destrucción Matemática (Capitán Swing), como detalla en su libro sobre el peligro que representan para la democracia.
Defiende que se ha creado una diferencia entre lo que la gente piensa que es un algoritmo y lo que realmente es un algoritmo. ¿Cuál es?
La gente piensa que un algoritmo es un método para tratar de llegar a una verdad objetiva. Hemos desarrollado una fe ciega en ellos porque pensamos que hay una autoridad científica detrás de ellos.
En la realidad es algo tonto, básicamente un sistema de perfiles demográficos generado a partir del big data. Averigua si eres un cliente que paga o cuáles son tus posibilidades para comprar una casa en base a pistas que has ido dejando cuál es tu clase social, tu riqueza, tu raza, tu etnia…
¿Qué es un arma de destrucción matemática?
Es un algoritmo importante, secreto y destructivo. Injusto para los individuos que evalúa.
Normalmente son un sistema de puntuación. Si tienes una puntuación lo suficientemente elevada se te da una opción, pero si no la consigues se te deniega. Puede ser un puesto de trabajo o la admisión en la universidad, una tarjeta de crédito o una póliza de seguros. Te asigna una puntuación de manera secreta, no puedes entenderla, no puedes plantear un recurso. Utiliza un método de decisión injusto.
Sin embargo, no solo es algo injusto para el individuo, sino que normalmente este sistema de decisión es algo destructivo también para la sociedad. Con los algoritmos estamos tratando de trascender el prejuicio humano, estamos tratando de poner en marcha una herramienta científica. Si fracasa para los individuos hace que la sociedad entre un bucle destructivo, porque aumenta la desigualdad progresivamente.
Pero también puede ser algo más preciso. Puede ser un algoritmo para decidir quién accede a la libertad condicional racista, uno que determina qué barrios sufren una mayor presión policial en función de la presencia de minorías…
¿A quién le pedimos cuentas cuando un algoritmo discrimina?
Es una buena pregunta. La semana pasada salió a la luz que luz que Amazon tenía un algoritmo de selección de personal sexista. Cada vez que ocurre algo así, las empresas se muestran sorprendidas, toda la comunidad tecnológica se muestra sorprendida. En realidad es una reacción fingida, hay ejemplos de algoritmos discriminatorios por todas partes.
Si admitieran que los algoritmos son imperfectos y que potencialmente pueden ser racistas o sexistas, ilegales, entonces tendrían que abordar este problema para todos los algoritmos que están utilizando. Si hacen como si nadie supiera nada pueden seguir sosteniendo esta fe ciega en los algoritmos, que ellos no tienen, pero que saben que el resto del público tiene.
Por eso escribí el libro, para que la gente deje de estar intimidada por los modelos matemáticos. No hay que abandonar la automatización ni dejar de confiar en los algoritmos, pero sí exigir que rindan cuentas. Sobre todo cuando actúan en un campo en el que hay una definición clara de qué es «éxito». Ese es el tipo de algoritmo que me preocupa. Quien controle el algoritmo controla la definición de éxito. Los algoritmos siempre funcionan bien para la gente que los diseña, pero no sabemos si funcionan bien para la gente objetivo de esos algoritmos. Pueden ser tremendamente injustos para ellos.
¿La próxima revolución política será por el control de los algoritmos?
En cierto sentido, sí. Creo que los algoritmos reemplazarán todos los procesos burocráticos humanos porque son más baratos, más fáciles de mantener y mucho más fáciles de controlar. Así que, sí: la cuestión sobre quién tiene el control está relacionada con quién despliega ese algoritmo. Espero que nosotros tengamos un control con rendición de cuentas sobre ellos.
Pero si nos fijamos en un lugar como China, donde hay sistemas de puntuaciones sociales que son intentos explícitos de controlar a los ciudadanos, no tengo tanta esperanza sobre que los ciudadanos chinos puedan ser los propietarios de esos algoritmos. en estos casos estamos hablando de una distopía futura, una sociedad de vigilancia en la que el Gobierno controla y vigila a los ciudadanos con los algoritmos, como una amenaza real. Es algo que puede pasar.
De momento el poder político no ha hecho mucho por mejorar la transparencia de los algoritmos.
Sí, es un problema real. Piensa que desde su posición tendrán en su mano controlar los algoritmos, así que los políticos no quieren renunciar a este poder, aunque sea malo para la democracia.
Es una consideración muy seria. Como digo en el libro, Obama, que fue adorado por la izquierda por su uso del big data para aumentar las donaciones o mejorar la segmentación de mensajes. Pero eso fue un precedente muy peligroso: en las últimas elecciones hemos visto como la campaña de Trump logró suprimir el voto de afroamericanos gracias a esa misma segmentación de mensajes a través de los algoritmos de Facebook.
Publicó su libro en 2016. ¿Ha cambiado algo desde entonces?
Cuando escribí el libro yo no conocía a nadie preocupado por este tema. Eso sí ha cambiado. Vengo de Barcelona, donde he visto a 300 personas, mayoritariamente jóvenes, preocupadas por este tema. Es un fenómeno emergente a nivel mundial, la gente está empezando a ver el daño, el mal que hay aquí. La mayor parte de este daño algorítmico no se ve, no es visible. Que la gente sea más consciente hace que podamos esperar que haya una demanda de rendición de cuentas. Espero que eso ocurra.
