Imagen de Safa, con elementos visuales de La Loma, utilizada con autorización.

Este artículo se Safa se escribió para la serie «Brechas digitalizadas» y se publicó originalmente en TacticalTech. Global Voices repdoduce una versión editada bajo un acuerdo de asociación.

Los términos que se usan para describir la tecnología pueden moldear cómo pensamos al respecto. La palabra “inteligente” tiene una connotación positiva, en la mayoría de los casos, pero cuando se trata de tecnología, “inteligente” por lo general se usa de manera intercambiable con “eficiente”. Imagina si en lugar de llamar a los sistemas de vigilancia “inteligentes,” los llamáramos “maquiavélicos”: ¿cómo cambiaría la manera en que hablamos, los aceptamos y usamos?

Sistemas poco confiables

Las herramientas de vigilancia y control, como el circuito cerrado de televisión, dependen de la tecnología de reconocimiento facial, que identifica automáticamente datos faciales únicos, que incluyen medidas como distancia entre los ojos, ancho de la nariz, profundidad de las cuencas de los ojos, forma de los pómulos y longitud de la mandíbula. El reconocimiento facial lo usan los Gobiernos, la Policía y otras agencias en el mundo, con resultados significativos.

Una operación sin precedentes de autoridades estadounidenses tuvo como resultado la identificación de cientos de niños y sus abusadores en solo tres semanas. Esta tecnología también se ha utilizado para encontrar a indígenas desaparecidos y asesinados (PIDA), que ha ayudado a 57 familias a encontrar respuestas en solo tres años. Mientras que estos resultados son de veras notables y revelan las maneras en que la aplicación de tecnologías puede usarse para ayudar a la gente, también ha habido numerosos casos en que las autoridades estadounidenses usaron el reconocimiento facial de maneras en que ha dañado a personas.

La aplicación CBP One, que se les exige a los solicitantes de asilo en la frontera entre Estados Unidos y México, incluye un requisito para el registro en un sistema de reconocimiento facial. Pero ese sistema «[no logra] registrar a muchos con tonos de piel oscuros y así les impide su derecho de solicitar entrada a Estados Unidos». Los sistemas que centralizan los datos de los solicitantes de asilo y migrantes hacen posible un rastreo de niños longitudinal. La agencia estadounidense de Inmigración y Control de Aduanas (ICE) también usa tecnología de reconocimiento facial para dar seguimiento y vigilar a personas que esperan audiencias de deportación.

En un estudio sobre sistemas de reconocimiento facial, Joy Buolamwini investigador del MIT, descubrió que “las mujeres de piel oscura son el grupo peor clasificado (con tasas de error de hasta el 34.7%). La tasa máxima de error para hombres de piel clara es de 0.8%”. Alex Najibi, investigador de Harvard, explicó que “los estadounidenses negros tienen más probabilidades de que los arresten y encarcelen por delitos menores que los estadounidenses blancos. En consecuencia, las personas negras están sobrerrepresentadas en las fotos policiales, que el reconocimiento facial usa para hacer predicciones; así se explica que los estadounidenses negros tengan más probabilidades que los blancos de quedar atrapados en ciclos y sistemas de control policial y vigilancia racistas.

Este sentir se refleja en un informe del proyecto S.T.O.P. — The Surveillance Technology Oversight Project. (PSTV, Proyecto de Supervisión de Tecnología de Vigilancia). Reino Unido y China también están entre los países que practican “la vigilancia policial predictiva”. Un investigador especializado en China lo describe como “una herramienta más refinada para que la Policía reprima selectivamente a grupos ya señalados y no reduce sustancialmente la delincuencia ni aumenta la seguridad general”. De modo que el problema aquí no es solo sobre conjuntos de datos defectuosos; es discriminación que ya existe en la sociedad, en la que personas que tienen posiciones de poder o fuerza policial o militar pueden usar la tecnología para reforzar su opresión de grupos particulares de personas. Mayores conjuntos de datos no remedian ni invalidan el problema de gente que actúa sobre la base de discriminación, racismo u otros tipos de prejuicios y odio.

Los algoritmos los crean personas (que inherentemente tienen sus propios sesgos) y se desarrollan con nuestros datos. Las herramientas entrenadas con nuestros datos pueden usarse para hacer daño a otras personas. También los Gobiernos, las fuerzas del orden y otras agencias en todo el mundo usan algoritmos. Israel ha usado herramientas y servicios de Google, Amazon, y Microsoft en su guerra con Gaza. En Estados Unidos, los algoritmos se han utilizado para calificar los niveles de riesgo de personas que han cometido delitos y evaluar la probabilidad de que cometan delitos en el futuro. Pero los investigadores han descubierto que estos algoritmos son “notablemente poco confiables” e incluyen una cantidad significativa de sesgos en su diseño e implementación.

En España, se usó un algoritmo para predecir la probabilidad de que una víctima de abuso doméstico volviera a ser víctima de abuso, con la intención de distribuir apoyo y recursos a la gente que lo necesita con más urgencia en un sistema sobrecargado. Pero el algoritmo no es perfecto, y la dependencia excesiva de tales herramientas defectuosas en situaciones en las que hay mucho en juego ha tenido consecuencias nefastas. En algunos casos, víctimas mal calificadas como “de bajo riesgo” han sido asesinadas por sus abusadores a pesar de sus mejores esfuerzos para buscar ayuda y denunciar el abuso a las autoridades.

En Países Bajos, las autoridades fiscales utilizaron un algoritmo para ayudar a identificar fraude en beneficios de cuidado infantil; como resultado, decenas de miles de familias de ingresos bajos fueron penalizadas y muchas cayeron en la pobreza, y más de mil niños quedaron bajo cuidado temporal erróneamente. “Tener doble nacionalidad se marcó como indicador de gran riesgo, así como un bajo ingreso [… y] tener nacionalidad turca o marroquí era de una atención particular”.

Israel vigila y oprime a los palestinos

El rubro de vigilancia de Israel es mundialmente famoso. Un informe de 2023 de Amnistía Internacional delineó el sistema de vigilancia visible israelí y encontró una o dos cámaras de circuito cerrado de televisión cada cinco metros en la Ciudad Antigua de Jerusalén y en Sheikh Jarrah en Jerusalén Este.

Desde 2020, el Ejército israelí usado “Wolf Pack” (Manada de Lobos). Es una amplia y detallada base de datos que describe virtualmente a todos los palestinos de Cisjordania, e incluye sus fotos, conexiones familiares, educación y más. Wolf Pack incluye las herramientas “Lobo Rojo”, “Lobo Blanco” y “Lobo Azul»:

• • Lobo Rojo: El sistema de Lobo Rojo es parte de la infraestructura de reconocimiento facial de circuito cerrado de televisión oficial del Gobierno israelí para identificar y describir a los palestinos que pasan por puestos de control y se mueven por las ciudades. Se ha informado que el Ejército de Israel usa Lobo Rojo en la ciudad palestina de Hebrón. Según un proyecto de B'Tselem y Breaking the Silence, el el Ejército israelí han establecido 86 puestos de control y barreras en el 20% de Hebrón, que se conoce como “H2”, que está bajo control del Ejército israelí. Los puestos de control son difíciles de evitar en H2. Como escribió Masha Gessen, los palestinos que viven allí “atraviesan un puesto de control para comprar alimentos y de nuevo para traerlos a casa”. Según UNRWA, el 88% de los niños cruzan puestos de control para ir a la escuela y volver.
  • Lobo Blanco: esta aplicación está disponible para el personal militar oficial israelí que custodia asentamientos ilegales en Cisjordania, lo que les permite buscar información en la base de datos sobre los palestinos. Desde que comenzó la guerra de Israel contra Gaza luego de los ataques del 7 de octubre de 2023 del Movimiento de Resistencia Islámica (también conocido como Hamas) contra los israelíes, Israel puso en marcha un sistema similar de registro de reconocimiento facial de los palestinos en Gaza.
  • Lobo Azul: con esta aplicación, el Ejército israelí ha estado haciendo un registro biométrico masivo de los palestinos, con frecuencia en puestos de control y a punta de pistola, a veces en los hogares de la gente en mitad de la noche. Los soldados israelíes sacan fotos de los palestinos, incluidos niños, a veces por la fuerza. Los soldados israelíes también mencionan en la aplicación toda “impresión negativa que tienen de la conducta de un palestino al encontrarse con ellos”. Una fuente añadió: “No es que el Ejército haya dicho: hagamos Lobo Azul para que [los palestinos] puedan pasar más fácilmente. El Ejército quiere que entre gente en su sistema para control”.

Un artículo de 2025 también reveló que el Ejército israelí estaba usando un modelo de lenguaje de gran tamaño (como el que usan herramientas como ChatGPT) para vigilar a los palestinos. Una fuente de inteligencia israelí declaró: “Tengo más herramientas para saber lo que cada persona en Cisjordania está haciendo. Cuando tienes tantos datos, los puedes dirigir a cualquier propósito que elijas”. Aunque el Ejército israelí no es el único ejemplo autorizado por el Gobierno para entrenar herramientas de IA con datos civiles, ofrece una comprensión importante acerca de cómo se pueden usar las últimas tecnologías para el supervisión y control extensos.

Como dijo el investigador Carlos Delclós: “La privacidad no solo se invade; se aniquila, dado que las vidas humanas se fragmentan en conjuntos de datos optimizados para el beneficio corporativo”, y el mismo mensaje se puede extender al beneficio político. Sin importar si nos referimos a la tecnología con términos positivos o negativos, al final, la tecnología misma no puede separarse de los operadores (es decir, los humanos) que la utilizan. Si quienes usan estas tecnologías también habitan sociedades y trabajan dentro de sistemas que tienen asuntos documentados de discriminación o control, parece bastante posible que la tecnología se usará para causar daño. Ni siquiera hace falta que lo imaginemos. Es suficiente con mirar alrededor con los ojos abiertos.