Ilustración de Jafar Safatli para UntoldMag. Usada con autorización.

Esta entrevista de Donatella Della Ratta se publicó originalmente en UntoldMag el 14 de agosto de 2024. Global Voices publica esta versión con ediciones como parte de un acuerdo de intercambio de contenido.

“Descolonizar la IA” se ha convertido en un mantra repetido por diversas instituciones, desde el ámbito académico hasta espacios culturales en todo el mundo. A medida que el entusiasmo por la IA moldea los debates públicos globales con alabanzas excesivas o temores absolutos, han surgido preocupaciones que destacan su tendencia a reproducir dinámicas coloniales de explotación y extracción.

Sin embargo, si bien el mecanismo interno mediante el cual las tecnologías basadas en datos reactivan una nueva forma de colonialismo digital se ha revelado y denunciado ampliamente, las estrategias para contrarrestarlo siguen siendo poco claras.

Ameera Kawash, artista e investigadora palestino-iraquí-estadounidense cuyos proyectos interdisciplinarios sitúan poderosamente su práctica artística dentro de los estudios críticos de la IA, desafía al sector tecnológico discriminatorio y represivo.

Untold Mag (UM): ¿Qué significa realmente descolonizar la IA y cómo podemos implementarlo como práctica?

Ameera Kawash (AK): Decolonizing AI is a multilayered endeavor, requiring a reaction against the philosophy of “universal computing” — an approach that is broad, universalistic, and often overrides the local. We must counteract this with varied and localized approaches, focusing on labor, ecological impact, bodies and embodiment, feminist frameworks of consent, and the inherent violence of the digital divide.

This holistic thinking should connect the military use of AI-powered technologies with their seemingly innocent, everyday applications in apps and platforms. By exploring and unveiling the inner bond between these uses, we can understand how the normalization of day-to-day AI applications sometimes legitimizes more extreme and military employment of these technologies.

There are normalized paths and routine ways to violence embedded in the very infrastructure of AI, such as the way prompts (the written instructions or queries we give AI tools) are rendered into actual imagery. This process can contribute to dehumanizing people, making them legitimate targets by rendering them invisible.

Take Palestine as an example: when I experimented with simple prompts like “Palestinian child in a city” or “Palestinian woman walking”, the AI-generated imagery often depicted scenarios that normalize violence against Palestinians. The child is shown running from a collapsing building, with utter urban devastation in the background. Destruction is ubiquitous, yet the perpetrator of this violence, Israel, is never visually held accountable.

These AI-generated images contribute to shaping a default narrative where, without context or reason, Palestinians are portrayed as living in perpetual devastation. This kind of imagery perpetuates a biased and harmful narrative, further entrenching the normalization of violence against them as a result of more dehumanization.

What I call the “futuricide” of the Palestinian people stems from a complex interplay between how data is trained — by scraping the internet on a large scale and absorbing all the existing stereotypical representations circulating on the web — and then generalizing this data, making it sort of “universal.” As AI generates patterns and models, it crystallizes categories.

The Palestinian city resulting from my prompts risks becoming “the” Palestinian city — a quintessential, solidified entity where suffering is turned into a purely visual item that gets infinitely commodified through generative AI in all its forms and aspects. These traumatic aftereffects occur without a visible perpetrator, resulting in an occupation without an occupier. It mirrors a horror film: pure devastation without cause or reason, just senseless violence and trauma.

Ameera Kawash (AK): Descolonizar la IA es un esfuerzo multidimensional que requiere reaccionar contra la filosofía de la computación universal, planteamiento amplio y universalista que con frecuencia anula todo lo local. Debemos contrarrestar esto con planteamientos variados y localizados, y centrarnos en el trabajo, el impacto ecológico, los cuerpos y la corporalidad, los marcos feministas del consentimiento y la violencia inherente a la brecha digital.

Este pensamiento integral debe conectar el uso militar de tecnologías basadas en IA con sus aplicaciones aparentemente inocentes y cotidianas en aplicativos y plataformas. Al explorar y revelar el vínculo entre estos usos, podemos comprender cómo la normalización de aplicaciones cotidianas de la IA a veces legitima su uso militar y extremo.

Existen caminos normalizados hacia la violencia incrustados en la propia infraestructura de la IA, como la forma en que las instrucciones o consultas escritas que damos a las herramientas de IA, (conocidas como prompts) se traducen en imágenes reales. Este proceso puede contribuir a deshumanizar a las personas, convertirlas en objetivos legítimos al volverlas invisibles.

Tomo como ejemplo a Palestina: cuando experimenté con instrucciones simples como “niño palestino en una ciudad” o “mujer palestina caminando”, las imágenes generadas por IA a menudo mostraban escenarios que normalizaban la violencia contra los palestinos. El niño aparecía corriendo desde un edificio en ruinas, con una devastación urbana total de fondo. La destrucción es ubicua, pero al perpetrador de esta violencia, Israel, nunca se le responsabiliza visualmente.

Estas imágenes generadas por IA ayudan a construir una narrativa predeterminada en la que, sin contexto ni razón, se retrata a los palestinos como viviendo en una devastación perpetua. Este tipo de representación refuerza historias sesgadas y dañinas, y afianza aún más la normalización de la violencia contra ellos como resultado de una deshumanización continua.

Lo que yo llamo el “futuricidio” del pueblo palestino proviene de una compleja interacción entre la forma en que se entrena la IA, recopilando datos a gran escala de internet y absorbiendo representaciones estereotipadas que circulan en la web, y luego generalizando estos datos hasta volverlos “universales”. A medida que la IA genera patrones y modelos, cristaliza categorías.

La ciudad palestina que resulta de mis instrucciones a la IA corre el riesgo de convertirse en la ciudad palestina, una entidad solidificada y arquetípica donde el sufrimiento se transforma en un objeto visual que se mercantiliza infinitamente a través de la IA generativa. Estos efectos traumáticos ocurren sin un perpetrador visible, da lugar a una ocupación sin ocupante. Es como una película de terror: devastación pura sin causa ni razón, solo trauma y violencia sin sentido.

UM: Si quisiéramos desmantelar las bases coloniales insertas en la creación y estructura predeterminada de la IA tal como está concebida hoy, ¿por dónde deberíamos empezar?

AK: I believe we should start from very small, local instances. For example, I am working to involve real-world cultural institutions in the creation of datasets, thereby developing highly curated and customized models to train AI without scraping the internet. This approach helps resist the exploitation that typically underpins the making and training of these technologies, which is also where most biases are introduced.

Decolonizing AI means eliminating this exploitative aspect and turning towards more curated, artisanal labor and practices of care.

Of course, this approach is not scalable, and perhaps that is part of the problem. Conceiving the digital as quintessentially scalable makes it colonial, commercial, and commodified by default. It might be that decolonizing AI, as a project, is inherently unworkable — machine learning, in its current structure and conception, offers little room to decolonial practices.

However, by collaborating with real-world institutions such as universities and cultural centers to create training datasets, we can address at least one layer of the problem: data collection. There are many layers involved in making AI work, all of which should be considered when attempting to ‘decolonize’ it.

Starting with data collection is a meaningful first step, but we need to acknowledge that a comprehensive approach will require addressing each layer of the process. For example, even if the information is collected fairly, curated meticulously, and consent is given, the training model might be exploitative in itself. The act of turning data into labels and categories and universalizing them is inherently problematic and very much part of the colonial legacy. It can perpetuate biases and reinforce harmful structures, regardless of the fairness of the initial data collection.

For me, it would be useful to think about AI within the framework of critical archival practices. Data is a precious resource from the past upon which future knowledge is built. Understanding AI as an extension of archival practice allows us to critically assess how we collect, categorize, and utilize data, ensuring that we approach it with the same care, consent, and contextual awareness that we would with any other archival material. There is always a selection criteria and an organizing principle driven by choice.

To create a decolonial or anti-colonial archive, we must adopt feminist perspectives and include other forms of knowledge beyond the traditional, language-based ones. As an artist, this is integral to my daily practice — I engage with non-traditional forms of knowing and learning that are embodied and ephemeral, thus less likely to be datafied and commodified. And yet, if we were to truly decolonize AI, would it remain the same object, or would it be something entirely different?

AK : Creo que debemos empezar por casos muy pequeños y locales. Por ejemplo, estoy trabajando para involucrar a instituciones culturales reales en la creación de conjuntos de datos, y desarrollar así modelos altamente seleccionados y personalizados para entrenar la IA sin recurrir al «raspado» de datos de internet. Esta perspectiva ayuda a resistir la explotación que típicamente subyace en la creación y entrenamiento de estas tecnologías, que es también donde se introducen la mayoría de los sesgos.

Descolonizar la IA significa eliminar este aspecto explotador y girar hacia un trabajo más artesanal, seleccionado y basado en prácticas de cuidado.

Claro está, este planteamiento no es expansible y quizás ese sea el problema. Concebir lo digital como algo esencialmente expansible lo hace colonial, comercial y mercantilizado por defecto. Puede que descolonizar la IA, como proyecto, sea inherentemente inviable, el aprendizaje automático, en su estructura y concepción actuales, ofrece poco espacio para prácticas decoloniales.

Sin embargo, al colaborar con instituciones reales, como universidades y centros culturales para crear conjuntos de datos de entrenamiento, podemos abordar al menos una fase del problema: recopilación de datos. Hay muchos niveles involucrados para hacer que la IA funcione, y todos deben ser considerados al intentar la ‘descolonización’.

Comenzar con la recopilación de datos es un primer paso significativo, pero debemos reconocer que un enfoque integral requerirá abordar cada capa del proceso. Por ejemplo, aunque la información se recopile correctamente, se seleccione meticulosamente y se obtenga el consentimiento, el modelo de entrenamiento podría seguir siendo explotador en sí mismo. El acto de convertir datos en etiquetas y categorías, y universalizarlos es inherentemente problemático y forma parte del legado colonial. Puede perpetuar sesgos y reforzar estructuras dañinas, independientemente de la equidad en la recopilación inicial.

Para mí, sería útil pensar en la IA dentro del marco de las prácticas archivísticas críticas. Los datos son un recurso precioso del pasado sobre el cual se construye el conocimiento futuro. Entender la IA como una extensión de la práctica para archivar nos permite evaluar críticamente cómo recolectamos, categorizamos y utilizamos los datos, y asegurar que lo hagamos con el mismo cuidado, consentimiento y conciencia contextual que tendríamos con cualquier otro material de archivo. Siempre hay un criterio de selección y un principio organizador impulsado por decisiones.

Para crear un archivo descolonial o anticolonial, debemos adoptar perspectivas feministas e incluir otras formas de conocimiento más allá de las tradicionales y basadas en el lenguaje. Como artista, esto es parte integral de mi práctica diaria, me involucro con formas de saber y aprender no tradicionales que son corporales y efímeras, y por tanto menos susceptibles a ser digitalizadas y mercantilizadas. Pero, aún así, si realmente descolonizáramos la IA, ¿seguiría siendo lo mismo o sería algo completamente distinto?

Imagen generada por IA “Todas las miradas en Rafah que se volvió viral en Instagram en mayo de 2024. Imagen de Wikimedia Commons. Dominio público.

UM: ¿Qué hay del papel de la IA generativa para dar a conocer el genocidio en Gaza? ¿Por qué la imagen sintética Todas las miradas en Rafah se volvió viral, mientras tantas imágenes basadas en pruebas de la masacre han desaparecido de la atención pública?

AK: Many elements contributed to the virality of this AI-generated image. Firstly, the readable text embedded within the image allowed it to bypass contemporary platform censorship, facilitating exponential sharing. Secondly, people likely perceived it as a “safe” image — it is sanitized and free from explicit violence, making it more palatable for widespread dissemination.

The visuals inhabit a safe space, which is the space of AI, not Palestine. Removing the specific context creates a comfortable distance for viewers. From a Palestinian perspective, this is highly problematic as it contributes to the colonial process of dehumanizing and erasing the local population. Palestinians are redacted from the image, as if their lived experiences are not credible or do not count at all.

The messaging is also problematic: “All Eyes on Rafah” — what does it really mean? It doesn’t suggest actions or call personal agency into question. It doesn’t urge you to protest, contact your MP, or demand sanctions on Israel. It doesn’t push you to do anything concrete; it’s very passive. The whole world is looking, witnessing genocide in real-time, which might be a more sophisticated form of clicktivism. Doing the absolute minimum — just sharing an image — gives a false sense of having contributed, of having “done something.”

Of course, the positive aspect is that 50 million people have shared it across platforms. However, Palestinians do not want to go viral and be invisible at the same time. We need virality to work for us, to bring an end to the violence.

What would happen if these AI-powered technologies were used to affirm Palestinian futures instead of contributing to their annihilation? This question guides my practice. Technology is integral to the discourse on the future, and we Palestinians need to be part of the future. We must be involved in shaping it, not cut out from it.

AK: Muchos elementos contribuyeron a viralizar esa imagen generada por IA. En primer lugar, el texto legible insertado en la imagen permitió evadir la censura de las plataformas actuales, y facilitó su difusión exponencial. En segundo lugar, probablemente se le percibió como una imagen “segura”: está limpia, libre de violencia explícita, lo que la hace más apta para una difusión masiva.

Los elementos visuales habitan un espacio seguro, que es el de la IA, no el de Palestina. Eliminar el contexto específico crea una distancia cómoda para los espectadores. Desde una perspectiva palestina, esto es altamente problemático porque contribuye al proceso colonial de deshumanizar y borrar a la población local. Los palestinos son eliminados de la imagen, como si sus experiencias vividas no fueran creíbles o no tuvieran importancia en absoluto.

El mensaje también es problemático: “Todas las miradas en Rafah”, ¿qué significa realmente? No sugiere acciones ni motiva ninguna agenda personal. No te insta a protestar, contactar a tu diputado o exigir sanciones contra Israel. No te empuja a hacer nada concreto; es muy pasivo. Todo el mundo está mirando, presenciando un genocidio en tiempo real, lo que podría ser una forma más sofisticada de clictivismo. Hacer lo mínimo, difundir una imagen, da una falsa sensación de haber contribuido, de haber “hecho algo”.

Por supuesto, el aspecto positivo es que 50 millones de personas la han difundido en distintas plataformas. Sin embargo, los palestinos no quieren volverse virales y al mismo tiempo ser invisibles. Necesitamos que la viralidad funcione a nuestro favor, para poner fin a la violencia.

¿Qué pasaría si estas tecnologías basadas en IA se utilizaran para afirmar futuros palestinos en lugar de contribuir a su aniquilación? Esa es la pregunta que guía mi práctica. La tecnología es parte integral del discurso sobre el futuro y nosotros, los palestinos, debemos formar parte de ese futuro. Debemos estar involucrados en moldearlo, no estar excluidos.