Los sesgos algorítmicos ocurren cuando sistemas basados en datos y reglas automáticas reproducen o amplifican discriminaciones existentes. Cuando estos sistemas se emplean en decisiones públicas —como justicia penal, salud, empleo, servicios sociales o vigilancia— las consecuencias pueden afectar derechos, recursos y confianza democrática. A continuación se analiza qué son, cómo aparecen, ejemplos documentados, impactos concretos y medidas de mitigación.
En qué consisten los sesgos algorítmicos
Un sesgo algorítmico se produce cuando un modelo o procedimiento automatizado produce resultados sistemáticamente desiguales para distintos grupos sociales (por sexo, raza, nivel socioeconómico, edad, lugar de residencia, etc.). Estas desigualdades pueden derivar de varias causas:
- Datos históricos sesgados: archivos administrativos que incorporan decisiones humanas previas con sesgos discriminatorios.
- Variables proxy: empleo de indicadores que, de forma involuntaria, funcionan como sustitutos de atributos protegidos (por ejemplo, la zona postal utilizada como indicio de raza).
- Falta de representatividad: conjuntos de entrenamiento que no contemplan suficientes ejemplos procedentes de grupos minoritarios.
- Objetivos mal definidos: búsqueda de optimizar un indicador concreto (costes, precisión global) sin evaluar la equidad entre distintos colectivos.
- Retroalimentación y bucles: implementación del sistema que modifica comportamientos y produce datos aún más sesgados, consolidando la desigualdad.
Ejemplos y casos documentados
- Sistemas de evaluación de riesgo penal: investigaciones periodísticas y académicas han mostrado que herramientas utilizadas para predecir riesgo de reincidencia tendían a clasificar a personas negras con mayor probabilidad como de alto riesgo y a personas blancas como de bajo riesgo, aun cuando la tasa real de reincidencia era similar, lo que implica más medidas restrictivas sobre ciertos grupos.
- Herramientas de selección de personal: empresas tecnológicas han descartado algoritmos de selección tras descubrir que penalizaban currículos con indicios femeninos, como participación en asociaciones de mujeres o graduación en universidades mayoritariamente femeninas.
- Reconocimiento facial y vigilancia: estudios independientes mostraron mayores tasas de error en el reconocimiento de rostros de mujeres y personas de piel más oscura. En varios países se registraron detenciones erróneas atribuidas a coincidencias incorrectas, lo que llevó a moratorias y prohibiciones locales sobre su uso por parte de fuerzas públicas.
- Algoritmos sanitarios: análisis han demostrado que algunos modelos que priorizan pacientes para programas de atención intensiva subestimaban las necesidades de pacientes de minorías cuando el algoritmo usaba gasto sanitario pasado como proxy de necesidad, desplazando recursos lejos de quienes más los requerían.
Efectos y amenazas concretas en la toma de decisiones públicas
- Discriminación institucionalizada: las decisiones automatizadas pueden afianzar tratos desiguales al otorgar acceso a empleo, salud o justicia.
- Pérdida de derechos y libertades: fallos en sistemas de vigilancia o en evaluaciones de riesgo penal pueden desembocar en detenciones improcedentes, estigmas o restricciones injustificadas.
- Desigualdad en asignación de recursos: los sesgos presentes en modelos que distribuyen servicios sociales o sanitarios pueden dejar sin apoyos clave a comunidades en situación vulnerable.
- Erosión de la confianza pública: la falta de transparencia y los fallos persistentes debilitan la credibilidad de instituciones que delegan sus decisiones en algoritmos.
- Retroalimentación negativa: una mayor vigilancia o número de sanciones en un barrio produce más registros de delitos, reforzando el modelo y prolongando la exposición excesiva de esa comunidad.
- Costes económicos y legales: litigios, indemnizaciones y revisiones normativas generan gastos públicos y retrasos en la prestación de servicios.
Maneras de identificar y evaluar los sesgos
La detección exige análisis desagregado por grupos relevantes y métricas de equidad además de medidas globales de rendimiento. Entre prácticas útiles:
- Desagregación de resultados: analizar y contrastar las tasas de falsos positivos, falsos negativos, así como la sensibilidad y la especificidad entre distintos grupos.
- Pruebas de impacto: generar simulaciones que permitan observar cómo se redistribuyen beneficios y posibles cargas antes y después de la implementación.
- Auditorías independientes: someter a evaluación externa el código, los datos y las decisiones para detectar posibles proxies discriminatorios y fallos metodológicos.
- Evaluaciones de robustez: aplicar pruebas mediante datos sintéticos y muestras provenientes de poblaciones con baja representación.
Acciones destinadas a reducir los riesgos
- Transparencia y documentación: publicar descripción de datos, objetivos, limitaciones y métricas de equidad; registrar decisiones de diseño.
- Evaluación de impacto algorítmico: exigir estudios formales antes del despliegue en ámbitos sensibles que midan riesgos y planes de mitigación.
- Participación y gobernanza: involucrar a comunidades afectadas, organismos de derechos humanos y expertos multidisciplinares en el diseño y supervisión.
- Datos representativos y limpieza: mejorar la calidad y diversidad de los datos, y eliminar proxies que reproduzcan discriminación.
- Supervisión humana significativa: mantener intervención humana en decisiones finales críticas y capacitar a los responsables para detectar errores.
- Auditorías periódicas: controles externos y continuos para detectar degradación del modelo y efectos no previstos.
- Límites de uso: prohibir o restringir algoritmos en decisiones irreversibles o de alto impacto sin garantías sólidas de equidad.
Recomendaciones para políticas públicas
- Marco regulatorio claro: establecer obligaciones de transparencia, derechos de explicación y normas de responsabilidad para entidades públicas que usen algoritmos.
- Protocolos de prueba antes del despliegue: pilotos controlados y evaluación de impactos sociales y de derechos humanos.
- Creación de unidades de auditoría pública: equipos técnicos independientes que revisen modelos, datos y decisiones y publiquen resultados accesibles.
- Acceso a recursos y reparación: mecanismos para que personas afectadas soliciten revisión humana y reparaciones en caso de daño.
- Capacitación y alfabetización digital: formar a funcionarios y ciudadanía para comprender limitaciones y riesgos de la inteligencia artificial y el aprendizaje automático.
Los sesgos algorítmicos presentes en decisiones públicas no se reducen a simples fallos técnicos, sino que también expresan y pueden intensificar desigualdades sociales existentes. Su riesgo proviene de la escala en la que operan y de la apariencia de neutralidad que da respaldo a decisiones que, en realidad, podrían reproducir prejuicios históricos o errores en los modelos. Para enfrentarlos de manera eficaz, se requiere una combinación de salvaguardas técnicas, como datos más sólidos, auditorías y métricas de equidad, junto con marcos éticos y legales que demanden transparencia, participación ciudadana y responsabilidad. Solo mediante este equilibrio la automatización puede actuar en favor del interés público sin vulnerar derechos ni ampliar brechas sociales, manteniendo a las personas y la rendición de cuentas como eje de la toma de decisiones.
