La tecnología de reconocimiento facial analiza la estructura de los rostros para permitir la identificación de personas. Imagen usada con autorización. Fuente: Pikrepo [1]
En medio de las recientes protestas de Black Lives Matter, que planteó preguntas sobre vigilancia y racismo en Estados Unidos y en otros lugares, la empresa tecnológica IBM anunció su retiro del mercado de reconocimiento facial con fines generales. ¿Será un momento decisivo en el uso de estas tecnologías —lleno de inconvenientes— por parte de servicios de seguridad?
La noticia pasó casi totalmente desapercibida.
En un lado de la noticia está la mal manejada crisis de salud de COVID-19. Del otro lado, las protestas y la rabia encendida por estremecedora violencia policía que revivieron el movimiento Black Lives Matter en todo el mundo. Entre ambos lado, IBM comunicó el 8 de junio su decisión de abandonar la comercialización del software de reconocimiento facial [2], motivados por las acciones de protesta a honrar su código ético.
“La tecnología puede aumentar la transparencia y ayudar a la Policía a proteger comunidades, pero no debe promover la discriminación ni la injusticia racial”, comentó Arving Krishna, director ejecutivo de la empresa.
El anuncio tuvo algunas reacciones, de pocos analistas de economía política [3], tecnófilos y activistas [4]. Y podría ser indicador de grandes cambios en la influencia que la tecnología tiene en nuestra vida.
Una tecnología controvertida
El software de reconocimiento facial permite que se identifique a las personas a partir de fotos o videos de manera automatizada. Para lograrlo, depende de dos pilares: un conjunto de datos de referencia de imágenes pregrabadas, y una gran capacidad de procesamiento. Son rubros que han tenido un asombroso progreso recientemente, gracias a innovaciones en Big Data [4] y en inteligencia artificial [5] (AI). Ampliar el reconocimiento facial masivamente se volvió una posibilidad.
Durante varios años, han surgidlo ejemplos en todo el mundo. Ya en febrero de 2005, la Policía de Los Ángeles [6] usaba un sistema elaborado por General Electric y Hamilton Pacific. Es una práctica que luego se generalizó y aceleró. En 2019, China [7] tenía un total de 200 millones de cámaras de videovigilancia en el país. Un red más densa está en preparación en Rusia [8]. Sin dejar de mencionar las iniciativas de ciudades como Niza, [9]Niza, que actualmente está probando [10] la tecnología, o Londres [11], donde las cámaras analizan los rostros de los transeúntes (sin informarles) con el objetivo de ubicar personas buscada por las autoridades.
Las autoridades justifican esa vigilancia automatizada con imperativos de seguridad: a fines de 2016, la organización penal internacional Interpol [12] sostuvo haber identificado a “más de 650 delincuentes, fugitivos, sospechosos o desaparecidos […]”. Todo se hace en nombre de la lucha contra la delincuencia, terrorismo o, más recientemente, la propagación del coronavirus [13].
Pero como con otras tecnologías avanzadas, el reconocimiento facial es un arma de doble filo. El progreso que trae viene acompañado de amenazas, sobre todo libertades civiles.
Varias organizaciones de derechos digitales han estado alertando a la opinión pública de posibles amenazas y abusos que permiten reconocimiento facial, como Electronic Frontier Foundation (EFF [14]) y La Quadrature du Net [15]. Esta última está coordinando una campaña llamada Technopolice [16], iniciativa que registra y expone planes de vigilancia automática en Francia, y pedidos a resistencia sistemática.
Confiabilidad limitada
El perjuicio más importante de usar el reconocimiento facial son los sesgos. Estas herramientas identifican y verifican personas basándose en exposición a datos de muestreo: los llamado conjunto de datos de capacitación. Si están incompletos o no tienen relevancia, la herramienta hará interpretaciones deficientes. Se llama sesgo de aprendizaje.
En junio, para demostrar esos sesgos, los usuarios de Twitter probaron inteligencia artificial que reconstruye retratos de imágenes pixeladas [17], y publicó sus resultados anómalos en línea. Hubo significativamente más fallos con sujetos afroamericanos o hispánicos, como Barack Obama [18] y Alexandria Ocasio-Cortez [19]. El conjunto de datos, que consistía casi exclusivamente en retratos de personas blancas, se acercó erróneamente a las reconstrucciones hacia los perfiles más probables.
This Image of a White Barack Obama Is AI’s Racial Bias Problem In a Nutshell https://t.co/88Sl9H0lEp [20]
— adafruit industries (@adafruit) June 27, 2020 [21]
Una imagen de Barack Obama modificada como la imagen de un hombre blanco ha generado otra discusión sobre sesgo racial en inteligencia artificial y aprendizaje digital.
————-
Esta Imagen de un Barack Obama blanco es el problema del sesgo racial de inteligencia artificial en resumen.
Al usar inteligencia artificial para identificar personas a partir de imágenes en vez de mejorar las imágenes, el proceso analítico probablemente muestra un sesgo similar.
Imaginons que vous décidiez d’évaluer la dangerosité, le risque de criminalité d’une personne, à partir de paramètres tels que l’âge, le lieu de résidence, la couleur de peau, le diplôme le plus élevé… et que pour entraîner votre logiciel, vous utilisiez les données fournies par les centres de détention, les prisons.
Alors il est fort probable que votre logiciel minimise fortement les risques pour les personnes blanches et l’augmente pour les autres.
imagina que decidiste evaluar la peligrosidad, el riesgo de criminalidad de una persona a partir de parámetros como edad, lugar de residencia, color de piel, mayor calificación académica … y que, para entrenar a tu software, usaste datos brindados por centros de detención, o prisiones.
Entonces, es muy probable que tu software minimice seriamente los riesgos para las personas blancas y los elevará para los demás.
Fuente: https://intelligence-artificielle.agency/les-biais/ [22]
Los hechos hablan por sí solos. En Londres, el reconocimiento facial en tiempo real muestra una tasa de error de 81 % [23]; en Detroit, un afroamericano protestó [24] por su arresto equivocado [25] debido a una identificación defectuosa.
Legitimidad en disputa
El reconocimiento facial no solamente es falible, sino que empeora la discriminación [26], como lo confirmó la investigación del sitio ProPublica en 2016.
Google Photos tagged two African Americans as “gorillas” […] a recruitment aid tool used by Amazon disadvantaged women
Source: « IA : la reconnaissance faciale est-elle raciste ? » Orange Digital Society Forum [fr] [27]
Google Photos etiquetó a dos afroamericanos como “gorilas” […] herramienta de contratación usada por Amazon perjudica a las mujeres.
Fuente: Inteligencia artificial: ¿El reconocimiento facial es racista?: Orange Digital Society Forum [27]
Para la Policía, frecuentemente acusada de discriminación [28], el reconocimiento facial es un elemento adicional, altamente inflamable.
La muerte de George Floyd en un incidente de violencia policial el 25 de mayo en Mineápolis desencadenó una ola de manifestaciones en Estados Unidos inicialmente, y luego en todo el mundo. Empezaron como denuncia de la discriminación contra minoría étnicas. Pero un aumento de la violencia llevó a que los manifestantes exigieran la desmilitarización de las autoridades, con el lema “Retiren el financiamiento a la Policía». Por extensión, las herramientas de vigilancia difundida también están bajo análisis, al igual que las empresas privadas que las suministran. Ahora, bajo presión de activistas de Black Lives Matter [29], IBM anunció su retiro parcial del mercado de reconocimiento facial.
No es casualidad que Big Blue [apodo de IBM] haya sido el primero en reaccionar. La empresa tiene una larga, y a veces vergonzosa historia que tuvo que aprender a sobrellevar. En 1934, colaboró con el régimen nazi a través de su subsidiaria alemana. Mucho después, en 2013, se vio implicada en el caso del programa de vigilancia PRISM, expuesto por el informante Edward Snowden. Tal vez por eso ha podido eludir su rol en el actual conflicto entre un Estado impulsado por la seguridad y activistas de derechos humanos. Por supuesto, es posible encontrar un argumento mucho más racional para la estrategia de IBM, ansiosa de protegerse futuros procesos judiciales y su costo financiero.
Sin embargo, la reorientación de su actividad es bastante real, y ha generado una iniciativa que están siguiendo otros gigantes del rubro. El 12 de junio, Microsoft declaró que se negaría a vender su tecnología de reconocimiento facial a agencias policiales [30]; bajo presión de sus pares, Amazon [31] declaró una moratoria [32] en su herramienta Rekognition.
¿Un paso hacia la reforma?
La necesidad de un marco de trabajo reglamentario se ha vuelto obvio. En su anuncio, Arvind Krishna, director ejecutivo de IBM, pidió al Congreso de Estados Unidos que “iniciara un diálogo nacional para ver si las autoridades usan, y cómo usan, las tecnologías de reconocimiento facial”.
Este llamado ha sido atendido. El 25 de junio, los congresistas presentaron un proyecto [33] para prohibir el uso de reconocimiento facial por parte de la Policía. Un día antes, la prohibición fue respaldada por la municipalidad de la ciudad de Boston [34].
No hay duda de que este es apenas el comienzo de una larga batalla política y legal, para obligar al uso de reconocimiento facial en un procedimiento que respete a los ciudadanos. Pero por primera vez, los movimientos de defensa de derechos humanos parecen estar en posición de influir en grandes empresas de tecnología y el sistema político, en dirección de la aspiración de una tecnología rentable para todos.