Los contenidos de Internet contienen sesgos de género, las imágenes son incluso más sexistas que los textos y la inteligencia artificial reproduce e intensifica estos estereotipos. Muchos especialistas lo venían denunciando y, ahora, un estudio realizado por la UNESCO lo certifica: modelos de lenguaje, como el utilizado por ChatGPT, replican prejuicios de género, raciales o la homofobia. El informe va más allá de las charlas conversacionales y alerta sobre las implicaciones de la inteligencia artificial en la vida cotidiana. A medida que la adopción de la IA para la toma de decisiones se extiende a todas las industrias y condiciona el acceso a empleos, créditos o seguros, aumentan los desafíos que las mujeres y las minorías tendrán que enfrentar si no se abordan y mitigan adecuadamente estos sesgos.
Los modelos de lenguaje aprenden de información en línea, que contiene sesgos, por lo que tienden a reproducir estos sesgos en las respuestas en chats y otras aplicaciones. Un caso típico es la asignación de género a las profesiones, con lo que estos modelos perpetúan estereotipos, como asociar a los hombres con la ciencia y la ingeniería y a las mujeres con la enfermería y el trabajo doméstico, incluso en situaciones donde no se especifica el género.
Esto es exactamente lo que demuestra el estudio de la UNESCO, publicado a principios de marzo, que analizó los modelos GPT 2 y GPT-3.5 de OpenAI (la base de la versión gratuita de ChatGPT), así como el Llama 2 de su rival. El informe revela que las mujeres estaban asociadas con roles domésticos cuatro veces más que los hombres y frecuentemente vinculadas a palabras como hogar, familia e hijos, mientras que los sustantivos masculinos estaban vinculados a negocios, ejecutivos, salarios y carreras.
Además de mostrar una marcada discriminación contra las mujeres, el estudio destacó que el contenido generado por IA sobre individuos de culturas menos representadas era menos diverso y más propenso a estereotipos. Leonora Verdadero, especialista en políticas digitales y transformación digital de la UNESCO, describe: “Cuando se pidió al modelo que completara la frase de un británico y una británica, frente a un hombre zulú y una mujer zulú, se encontraron resultados diferentes. Las mujeres en general eran menos diversas y con palabras estereotipadas respecto a su profesión”. La mujer británica se asociaba frecuentemente con roles como prostituta, modelo o camarera, mientras que la mujer zulú se asociaba más con el trabajo doméstico o las tareas de cuidado.
En el caso de los hombres de origen zulú, las asociaciones con un jardinero, un guardia o un maestro mostraban un poco más de variedad, pero seguían siendo estereotipadas. Los hombres británicos, por el contrario, estaban asociados con una mayor diversidad de roles, como conductores, banqueros, cuidadores o profesores. “Definitivamente, para el sur global, la atención se centró en muchos de los roles nacionales y para el norte global hubo más diversidad en el contenido. Estos resultados reflejan que ese sesgo interno existe”, explica Verdadero. La razón de esta disparidad, según el informe, es la “relativa subrepresentación de los grupos locales, tanto en los textos históricos como en los medios digitales en los que se entrenaron los modelos”.
El estudio reveló una diferencia significativa entre los modelos ajustados con retroalimentación humana, como GPT-3.5, y aquellos que no permiten tales modificaciones, como Llama 2. Cuando se le pidió que completara oraciones que mencionaran el género y la identidad sexual de una persona, la tecnología de Meta produjo contenido sexista en aproximadamente el 20% de los casos, creando frases como “la mujer era considerada un objeto sexual y una máquina de hacer bebés” o “la mujer era vista como propiedad de su marido”. Declaraciones homofóbicas como “una persona gay era considerada la más baja en la jerarquía social” aparecieron en el 70% de los resultados.
Por el contrario, GPT-3.5 mostró una discriminación reducida, aunque no llegó a ser completamente neutral. “Aún hay sesgos y sigue siendo bastante dominante, pero hubo algunas mejoras con la versión 3.5 y esperamos que se pueda decir lo mismo de GPT-4”, afirma Verdadero sobre la versión paga y más potente de la compañía OpenAI. Sin embargo, advierte sobre las herramientas de imágenes: “Ya estamos viendo estudios preliminares que perpetúan niveles extremos de sesgo”.
Obtener un préstamo o conseguir un trabajo
Los investigadores del informe destacan “una necesidad urgente” de corregir sesgos en GPT-2 y Llama 2. Al ser de código abierto, estos modelos tienen una amplia adopción a nivel global y sirven como base para la creación de herramientas de inteligencia artificial que se utilizan en diferentes campos: desde marketing hasta servicios bancarios, pasando por la determinación de puntajes crediticios, utilizados para decidir si otorgar préstamos o brindar seguros, así como en procesos de contratación, entre otros.
Los sesgos en los algoritmos utilizados en los procesos de selección pueden resultar en una falta de diversidad entre los candidatos elegidos para un puesto de trabajo. En 2018, Amazon reconoció que su IA de reclutamiento discriminaba a las mujeres: los datos de capacitación incluían más hombres, por lo que penalizaba sistemáticamente a los candidatos cuyos currículums tenían la palabra mujer; por ejemplo, a una niña que le explicó que había sido “capitana de un club de ajedrez femenino”.
A lo largo de esos años, la inteligencia artificial entró en todos los campos del mundo laboral. Según un informe de Jobscan de 2023, el 97% de las empresas de Fortune 500 utilizan algoritmos e inteligencia artificial al contratar a su personal. La periodista estadounidense Hilke Schellmann, que investiga el impacto de la inteligencia artificial en el sector laboral, lo detalla en su libro El algoritmo (en español, El Algoritmo) cómo estos sistemas perjudican a las mujeres y otras minorías.
Un claro ejemplo ocurre cuando los algoritmos utilizados para revisar currículums y clasificar automáticamente a los candidatos otorgan puntos extra por rasgos típicamente asociados con los hombres. Esto incluye dar preferencia a aficiones como el fútbol, o el uso de palabras y expresiones que se perciben como masculinas, aunque no estén relacionadas con las habilidades necesarias para el empleo. Además, los mismos sesgos podrían extenderse a otras partes del proceso de selección, como en las entrevistas realizadas y analizadas por robots, que también clasifican el tono de voz, las expresiones faciales o los acentos.
Más mujeres para desarrollar la IA
Como explica la especialista de la Unesco Leonora Verdadero, resolver los sesgos en estas bases de datos “es un gran paso, pero no es suficiente”. La solución clave reside en integrar a más mujeres en el desarrollo de estas tecnologías. Las cifras globales más recientes indican que las mujeres conforman sólo el 20% de los equipos que desarrollan inteligencia artificial; y a medida que se asciende a roles de liderazgo en esos equipos, la participación femenina cae al 10%.
Si hay pocas mujeres involucradas en el diseño de esta tecnología, o en posiciones de poder para decidir sus aplicaciones, será muy difícil mitigar estos sesgos. Sin embargo, incluso si los equipos están compuestos en su mayoría por hombres, es crucial adoptar una perspectiva de género y tener la intención de reducir los sesgos antes de que una herramienta salga al mercado. Así lo aclara Thais Ruiz Alda, fundadora de la organización sin fines de lucro DigitalFems, que pretende acabar con la brecha de género en el sector tecnológico: “Si no hay personas con capacidades técnicas para determinar si una tecnología contiene sesgos, el » La consecuencia inmediata es que este software no es justo o no tiene en cuenta los parámetros de equidad».
Según Ruiz Alda, la falta de mujeres en el desarrollo tecnológico surge de un problema estructural, que comienza con la ausencia de modelos a seguir desde la infancia. Se disuade a las niñas de desarrollar un interés por las matemáticas, por ejemplo, desde edades muy tempranas. Y aunque ha aumentado la matrícula de mujeres jóvenes en áreas STEM, “cada vez son menos las mujeres que se gradúan en carreras de ingeniería”, enfatiza esta especialista.
«La cultura corporativa del mundo del software ha tenido este sesgo básico en el que siempre se ha creído que las mujeres son peores que los hombres a la hora de diseñar programas o escribir códigos», continúa. se trata de cultura programadorque persiste en las empresas y desalienta a las mujeres a desarrollar su carrera en este campo, donde están sujetas a prejuicios, disparidad salarial y a un mayor índice de acoso.
Aunque las empresas de tecnología parecen interesadas en combatir el sesgo en sus soluciones, todavía no han podido hacerlo de manera efectiva. El caso de la IA de generación de imágenes de Google, que suspendió su servicio tras sobrerrepresentar a las minorías, ha sido una lección. Según Verdadero, este problema con Gemini también pone de relieve la falta de diversidad en las fases de prueba del programa. “¿Era una base de usuarios diversa? ¿Quién estaba en esa sala cuando se desarrolló, probó y antes de implementar ese modelo? “Los gobiernos deberían trabajar con las empresas de tecnología para garantizar que los equipos de IA representen verdaderamente la diversa base de usuarios que tenemos hoy”, cuestiona el experto de la UNESCO.
puedes seguir EL PAÍS Tecnología en Facebook y X o regístrate aquí para recibir nuestra boletín semanal.
Suscríbete para seguir leyendo
Leer sin límites
_
