Foto de Petra Molnar por Kenya-Jade Pinto, [1] usada con autorización.
Los activistas calculan que en 2022, 30 millones de personas se desplazaron como refugiados [2], y muchas de esas personas intentaron buscar protección en Estados Unidos y la Unión Europea. Pero lo que suelen experimentar al entrar en los países occidentales no es protección, sino un proceso deshumanizador de clasificación en gran medida a cargo de la inteligencia artificial (IA) y de una tecnología sin control.
Global Voices entrevistó por correo electrónico a Petra Molnar [3], abogada y antropóloga especializada en tecnología, migración y derechos humanos. Molnar es la cocreadora de Migration and Technology Monitor [4], colectivo de la sociedad civil, periodistas, académicos y cineastas que cuestiona los experimentos tecnológicos aplicados a las personas que atraviesan fronteras. También es directora asociada del Refugee Law Lab [5] en la Universidad de York e integra Centro Berkman Klein para Internet Crítica en la Universidad de Harvard [6]. Actualmente está escribiendo su primer libro, Artificial Borders (The New Press, 2024).
Filip Noubel (FN): Tu investigación muestra que los refugiados y los campos donde los retienen —a menudo espacios al margen de la ley– sirven para probar nuevas tecnologías. ¿Podrías darnos algunos ejemplos?
Petra Molnar (PM) Borders and spaces of humanitarian emergency like refugee camps are increasingly testing out new technologies for migration control. Since 2018, I have been spending time with people who are at the sharpest edges of technological innovation. From the Arizona desert at the US/Mexico borde [7]r to the Kenya-Somalia border, to various refugee camps in the EU [8], we have seen first-hand the impacts of border surveillance and automation on people’s lives.
Before you even cross a border, you may be subject to predictive analytics used in humanitarian settings or biometric data collection [9]. At the border, you can see drone surveillance, sound-cannons, and thermal cameras [10]. If you are in a European refugee camp, you will interact with algorithmic motion detection software [11]. You may be subject to projects like voice printing technologies [12] and the scraping of your social media records. Borders themselves are also changing, as surveillance is expanding our understanding of the European border beyond its physical limits, creating a surveillance dragnet [13] as far as north and Sub-Saharan Africa and the Middle East.
These experimental and high-risk technologies occur in an environment where technological solutions are presented as a viable solution to complex social issues, creating the perfect ecosystem for a lucrative ecosystem giving rise to a multi-billion euro border industrial complex.
In my fieldwork, I notice that people share feelings of being constantly surveilled, or being reduced to data points and fingerprints [14]. Many point out how strange it seems that vast amounts of money are being poured into high-risk technologies while they cannot get access to a lawyer or have psychosocial support. There is also a central misapprehension at the centre of many border tech projects – that somehow more technology will stop people from coming. But that is not the case, in fact people will be forced to take more dangerous routes [15], leading to even more loss of life at the world’s borders.
Petra Molnar (PM): Las fronteras y los espacios de emergencia humanitaria, como los campos de refugiados, ensayan cada vez más nuevas tecnologías para el control de la migración. Desde 2018, he pasado tiempo con personas que se encuentran en los niveles más avanzados de la innovación tecnológica. Desde el desierto de Arizona en la frontera entre Estados Unidos y México [7] hasta la frontera entre Kenia y Somalia, pasando por varios campos de refugiados en la Unión Europea [8], hemos visto de primera mano los impactos de la vigilancia fronteriza y la automatización en la vida de las personas.
Antes incluso de cruzar una frontera, puedes ser objeto de análisis predictivos utilizados en entornos humanitarios o de recopilación de datos biométricos [9]. En la frontera, puedes ver vigilancia con drones, cañones de sonido y cámaras térmicas [10]. Si estás en un campo de refugiados europeo, interactuarás con software basado en algoritmos, de detección de movimiento [11]. Puedes ser objeto de proyectos como las tecnologías de huella vocal [12] y el rastreo de tus registros en las redes sociales. Las propias fronteras también están cambiando, ya que la vigilancia está ampliando nuestra percepción de la frontera europea más allá de sus límites físicos, creando una red de vigilancia [13] hasta África septentrional y subsahariana y Medio Oriente.
Estas tecnologías experimentales y de alto riesgo se producen en un entorno en el que las soluciones tecnológicas se presentan como una solución viable a problemas sociales complejos, lo que crea el ecosistema perfecto para un sistema lucrativo que da lugar a un complejo industrial fronterizo de miles de millones de euros.
En mi trabajo de campo, veo que la gente comparte la sensación de estar constantemente vigilada, o de verse reducida a puntos de datos y huellas dactilares [14]. Muchos señalan lo extraño que resulta que se inviertan grandes cantidades de dinero en tecnologías de alto riesgo mientras ellos no pueden acceder a un abogado o recibir apoyo psicosocial. También hay un concepto erróneo en el fondo de muchos proyectos de tecnología fronteriza: que de algún modo más tecnología impedirá que la gente venga. Pero no es así, e realidad, la gente se verá obligada a tomar rutas más peligrosas [15], lo que provocará todavía más pérdidas de vidas en las fronteras del mundo.
FN: La innovación suele presentarse como un término positivo, pero algunas empresas tecnológicas se dedican a probar nuevas tecnologías con los refugiados. ¿Por qué algunos Gobiernos permiten esto?
PM: The creation of legal black holes in migration management technologies is deliberate to allow for the creation of opaque zones of technological experimentation that would not be allowed to occur in other spaces. Why does the private sector get to determine what we innovate on and why, in often problematic public-private partnerships which states are increasingly keen to make in today’s global AI arms race? Private companies like Palantir Technologies, Airbus, Thalys, and others that have links to a host of human rights abuses have now become the preferred vendor for various governments and are even working with international organizations like the World Food Program [16].
PM: La creación de agujeros negros legales en las tecnologías de gestión de la migración es deliberada para permitir la creación de zonas opacas de experimentación tecnológica que no se permitirían en otros espacios. ¿Por qué es el sector privado el que determina en qué innovamos y por qué, en asociaciones público-privadas a menudo problemáticas que los Estados tienen cada vez más disposición de establecer en la actual carrera armamentística mundial de la IA? Empresas privadas como Palantir Technologies, Airbus, Thalys y otras que tienen vínculos con muchos contra los derechos humanos se han convertido ahora en el proveedor preferido de distintos Gobiernos e incluso trabajan con organizaciones internacionales como el Programa Mundial de Alimentos [16].
FN: Documentar una violación es un gran reto en sí mismo. ¿Puedes explicar por qué?
PM: Trying to document these systems of technological oppression is itself a risky business – one fraught with trying to unravel opaque decisions, secretive private sector players, and witnessing horrific conditions on the frontiers challenging our common humanity. It’s also about asking broader questions. Are human rights framings enough or do they also silence the systemic and collective nature of these harms? And are we doing enough to create space for abolitionist conversations when it comes to technology at the border?
In order to tell this global story of power, violence, innovation, and contestation, I rely on the sometimes-uneasy mix between law and anthropology. It’s a slow and trauma-informed ethnographic methodology, one which requires years of being present to begin unravelling the strands of power and privilege, story and memory that makes up the spaces where people’s lives unfold.
Technology replicates power structures in society. Unfortunately, the viewpoints of those most affected are routinely excluded from the discussion. We also need to recognize that the use of technology is never neutral. It is a political exercise which highlights how the allure of quick fixes and the hubris of innovation does not address the systemic and historical reasons why people are marginalized and why they are forced to migrate in the first place.
PM: Tratar de documentar estos sistemas de opresión tecnológica es en sí mismo arriesgado; hay que intentar desentrañar decisiones opacas, agentes del sector privado herméticos y testigos de condiciones horribles en las fronteras que desafían nuestra humanidad. También se trata de plantear cuestiones más amplias. ¿Son suficientes los marcos de derechos humanos o silencian también la naturaleza sistémica y colectiva de estos daños? ¿Estamos haciendo lo suficiente para crear un espacio para las conversaciones abolicionistas en lo que respecta a la tecnología en la frontera?
Para contar esta historia global de poder, violencia, innovación e impugnación, recurro a una mezcla, a veces difícil, de derecho y antropología. Se trata de una metodología etnográfica lenta y traumática, que requiere años de presencia para empezar a desentrañar los hilos de poder y privilegio, historia y memoria que conforman los espacios en los que se desarrolla la vida de las personas.
La tecnología reproduce las estructuras de poder de la sociedad. Por desgracia, los puntos de vista de los más afectados suelen quedar excluidos del debate. También debemos reconocer que el uso de la tecnología nunca es neutral. Se trata de un ejercicio político que pone de relieve cómo el atractivo de las soluciones rápidas y la prepotencia de la innovación no abordan las razones sistémicas e históricas por las que las personas son marginadas y se ven obligadas a emigrar.
FN: ¿Cómo podemos enfrentar esta situación?
PM: At the Refugee Law Lab [5], we are trying to both shine a light on the human rights abuses in the use of technology at the border, as well as to look at technical solutions to these complex problems [17].
One of the main issues is that little to no regulation exists to govern the development of high-risk border tech. When things go wrong with these high risk experiments, where does responsibility and liability lie – with the designer of the technology, its coder, the immigration officer, or the algorithm itself? Should algorithms have legal personality in a court of law, not unlike a corporation? It is paramount that we begin to answer these questions, since much of the decision-making related to immigration and refugee decisions already sits at an uncomfortable legal nexus: the impact on the rights of individuals is significant and life-changing, even where procedural safeguards are weak.
The EU’s proposed AI Act is a promising step as it will be the first regional attempt in the world to regulate AI. However currently the act does not go far enough [18] to adequately protect people-on-the-move. A moratorium or a ban on high-risk border technologies, like robo-dogs [7], AI lie detectors, and predictive analytics used for border interdictions is a necessary step in the global conversation [19]. Academia also plays an important role in legitimizing high risk experimental technologies. We also need more transparency and accountability around border tech experiments, and people with lived experiences of migration must be foregrounded in any discussions. [20]
Because in the end, it is not really about technology. What we are talking about is power – and the power differentials [21] between actors like states and the private sector who decide on experimental projects, and the communities who become the testing grounds in this high-risk laboratory. For example, whose priorities really matter [14] when we choose to create violent sound cannons [10] or AI-powered lie detectors [22] at the border instead of using AI to identify racist border guards?
PM: En el Refugee Law Lab [5], tratamos de visibilizar los abusos de derechos humanos en el uso de la tecnología en la frontera, y de buscar soluciones técnicas a estos complejos problemas [17].
Uno de los principales problemas es que apenas existen normas que regulen el desarrollo de tecnologías fronterizas de alto riesgo. Cuando las cosas van mal en estos experimentos de alto riesgo, ¿dónde recae la responsabilidad: en el diseñador de la tecnología, en el programador, en el funcionario de inmigración o en el propio algoritmo? ¿Deberían los algoritmos tener personalidad jurídica ante un tribunal, al igual que una empresa? Es fundamental que empecemos a responder a estas preguntas, ya que gran parte de la toma de decisiones relacionadas con la inmigración y los refugiados se sitúa ya en un incómodo nexo jurídico: el impacto sobre los derechos de las personas es significativo y cambia la vida, incluso cuando las garantías procesales son débiles.
La Ley de Inteligencia Artificial propuesta por la Unión Europea es un paso prometedor, ya que será el primer intento regional en el mundo de regular la IA. Sin embargo, actualmente la ley no tiene el alcance suficiente [18] como para proteger adecuadamente a las personas en tránsito. Una moratoria o prohibición de las tecnologías fronterizas de alto riesgo, como los perros robot [7], los detectores de mentiras con IA y los análisis predictivos utilizados para las interceptaciones fronterizas es un paso necesario en el debate mundial [19]. El mundo académico también desempeña un papel importante en la legitimación de las tecnologías experimentales de alto riesgo. También necesitamos más transparencia y responsabilidad en torno a los experimentos tecnológicos fronterizos, y las personas con experiencias de migración deben estar en el centro de cualquier debate [20].
Porque, al fin y al cabo, no se trata realmente de tecnología. De lo que estamos hablando es de poder, y de las diferencias de poder [21] entre actores como los Estados y el sector privado, que deciden los proyectos experimentales, y las comunidades que se convierten en los bancos de pruebas de este laboratorio de alto riesgo. Por ejemplo, ¿de quién son realmente las prioridades [14] cuando elegimos crear violentos cañones de sonido [10] o detectores de mentiras con IA [22] en la frontera en lugar de utilizar la IA para identificar a los guardias fronterizos racistas?
Este es un video del evento organizado por Disruption Network Lab [23], en el que Molnar desarrolla su punto de vista sobre la cuestión de la tecnología y los derechos de los refugiados: