Illustración de Global Voices.

Este artículo es parte de Undertones, el boletín del Observatorio de Medios Cívicos de Global Voices. Suscríbete a Undertones aquí.

Bienvenido a Undertones, el boletín en el que descodificamos narrativas. En esta edición, tratamos cómo se habla del (mal)uso de inteligencia artificial (IA) en Países Bajos, gracias al investigador Leon Ingelse.

El científico de datos Ingelse analizó los debates sobre algoritmos en Países Bajos. Al fin y al cabo, en las Tierras Bajas se habla mucho del tema: en 2021, todo un gobierno cayó tras años de mala gestión de un caso de detección de fraude por IA entre beneficiarios de cuidado infantil. Miles de familias, principalmente inmigrantes, habían sido acusadas erróneamente de engañar al sistema. Países Bajos, país que se enorgullece de su eficiencia y del uso de la tecnología en los servicios gubernamentales, es un caso de estudio de cómo el mal uso de la IA puede perjudicar la vida de las personas y minar la confianza en las autoridades.

No obstante, en los municipios de todo Países Bajos se siguen usando algoritmos para determinar quién tiene más o menos probabilidades de cometer fraude a la seguridad social, un interminable tema candente en Europa. Sin embargo, casi toda esta tecnología de IA es poco clara para periodistas e investigadores, ya que las autoridades alegan problemas de privacidad y propiedad intelectual. Solo Rotterdam, la segunda ciudad mayor de Países Bajos, accedió recientemente a dar a conocer el esqueleto de su algoritmo con periodistas de los medios de investigación Lighthouse Reports y Follow The Money. Accidentalmente también dieron a conocer los conjuntos de datos de entrenamiento, que dieron valiosa información sobre cómo funciona el algoritmo desde dentro hacia fuera.

Los periodistas han descubierto que el algoritmo es una tarjeta de puntuación alimentada con criterios personales como edad, sexo y estado civil, así como elementos de comportamiento y conocimientos lingüísticos. Rotterdam desarrolló inicialmente su algoritmo con la ayuda de la consultora Accenture.

«Los datos introducidos en el algoritmo van desde los invasivos (duración de la última relación sentimental de alguien) y subjetivos (capacidad de alguien para convencer e influir en los demás) hasta los banales (cuántas veces ha enviado alguien un correo electrónico a la ciudad) y aparentemente irrelevantes (si alguien practica algún deporte)», escribe Lighthouse.

En otras palabras, si eres a) mujer, b) plurilingüe, c) tienes más de 20 o de 30 años, y d) tienes hijos, el algoritmo te clasificaría como alguien con riesgo de cometer fraude, independientemente de todo comportamiento fraudulento real pasado. Si al asistente social le pareces tímido, estarás aún peor. No sabrá si estás en la lista negra ni por qué. Aun así, las autoridades locales te someterán a incómodas investigaciones y podrías perder las prestaciones sociales.

Captura de pantalla de las puntuaciones de riesgo calculadas por el algoritmo de fraude a la seguridad social de Rotterdam, pregunta reconstruida por Lighthouse Reports.

«Los neerlandeses tienden a creer que no tienen racismo estructural, mientras que este algoritmo demuestra claramente lo contrario, ya que se discrimina a las personas con un dominio limitado del neerlandés». afirma Ingelse. También han salido a la luz otros usos discriminatorios de algoritmos en Países Bajos, como la elaboración de perfiles de nacionalidad y etnia en las solicitudes de visa.

Los algoritmos de IA presentan sesgos por el entrenamiento con datos reales sesgados o insuficientes y la influencia de los prejuicios inherentes a los programadores humanos. Los sesgos también entran en el sistema de otras formas.

¿Cómo se perciben estas revelaciones?

En los escándalos holandeses de IA, el debate público no suele producirse a través de tuits ni posts originales, sino únicamente en las secciones de comentarios, que, sorprendentemente, muestran una interesante variedad de opiniones. La mayoría de quienes inician el debate son periodistas.

«Podría deberse a que los neerlandeses están cansados tras el escándalo de Toeslagenaffaire y se centran más en ChatGPT», dice Ingelse. «Además, los personajes públicos que han formado parte de los escándalos evitan tácticamente responder a las preguntas sobre su participación». Añade que las únicas personas sobre quienes pesan estos algoritmos específicos son las minorías, a las que se suele invisibilizar. «Fíjate cómo estos algoritmos de fraude nunca se usan en los impuestos sobre los beneficios, por ejemplo, que irían dirigidos a los ricos», dice Ingelse.

Nos hemos puesto en contacto con las autoridades locales de Rotterdam, así como con el recién creado grupo de familias afectadas por el algoritmo, para conocer sus puntos de vista, pero no hemos recibido respuestas.

Narrativa 1: “Los algoritmos que ayudan a combatir la delincuencia deben aplicarse aunque estén sesgados”

Esta narrativa en resumen: “El algoritmo está haciendo su trabajo”

Esta narrativa implica que el algoritmo funciona, aunque con fallos, en la lucha contra el fraude. Este discurso existe desde hace años. Por ejemplo, en el punto álgido del escándalo de las prestaciones por cuidado de hijos en 2019, el bloguero de extrema derecha Pim Beaart, alias «Hannibal», argumentó en un editorial que los políticos solo «quieren usar algoritmos cuando validan sus opiniones políticas».

Más recientemente, EW, una de las mayores revistas de opinión conservadora neerlandesa, afirmó que las decisiones automatizadas en las solicitudes de visa deberían ser la norma, pese a que siempre se dirigen a personas de algunas nacionalidades, como la antigua colonia neerlandesa Surinam. En Facebook se preguntan: «¿No debería el Gobierno usar programas digitales que se atrevan a filtrar [a los solicitantes de visa] a sangre fría?». Otros, como el famoso blog de medios GeenStijl también argumentan a favor de la eficiencia, una de las narrativas generales más populares en Países Bajos.

«Los neerlandeses se consideran partidarios de la eficiencia por encima de todo lo demás», afirma Ingelse. Países Bajos está a la cabeza en implantación de documento de identidad digital, incorporación de tecnología a la educación y salud, y avance de la digitalización gubernamental. Lo que hagan –y cómo aborden los sesgos algorítmicos– podría influir en cómo otros países desarrollen su propia IA. Sin embargo, no muchos entienden los fundamentos de los algoritmos.

«Además de la presencia esperada de comentarios xenofóbicos y racismo, esta narrativa probablemente siempre estará presente mientras la gente no entienda cómo funcionan los algoritmos y la diferencia entre los datos objetivos y la interpretación de esos datos», dice Ingelse. Correlación no significa causalidad.

Narrativa 2: “Las autoridades neerlandesas perjudican a sus ciudadanos con algoritmos discriminatorios”

Esta narrativa en resumen: “Dejen de usar IA discriminatoria”

En tuits y comentarios, la gente afirma que Países Bajos tiene antecedentes de algoritmos discriminatorios que revictimizan a las poblaciones vulnerables. Para muchos, centrarse en el escaso dominio del neerlandés de una persona es un subtexto para atacar a los inmigrantes.

Algunos van más allá y afirman que los «algoritmos deberían ser abiertos y transparentes para garantizar que no están sesgados«, algo que no ocurre con la inmensa mayoría de los algoritmos existentes. Así que, aunque la gente criticó el uso de algoritmos de Rotterdam, muchos también alabaron a la ciudad por al menos dar a conocer su algoritmo con los periodistas.

La mayoría de estos mensajes y comentarios vienen de quienes defienden los derechos humanos, no de quienes directamente quedan afectados por los algoritmos. Tal vez sea precisamente porque las poblaciones vulnerables son menos visibles en línea, o se hacen oír menos (en neerlandés) en línea. Sin embargo, cuando se les entrevista directamente, las personas se muestran muy contrarias a usar IA discriminatoria. El medio neerlandés Vers Breton fue al mercado de Rotterdam, donde acuden las personas con menos medios económicos, entrevistó a compradores, y todos criticaron el uso de algoritmos.

Los legisladores neerlandeses también están presionando para que se regule más la IA. «El problema central del desarrollo de IA es que está totalmente impulsado por el mercado: es una industria multimillonaria sin reglas», escribe en un extenso hilo de Twitter Kim van Sparrentak, eurodiputada del grupo de los Verdes/ALE.