Límite de Pista
El lado oscuro de la automatización: cómo los algoritmos reproducen —y amplifican— la discriminación
Bancos, aseguradoras, departamentos de recursos humanos y apps financieras adoptaron sistemas algorítmicos para evaluar riesgos, conceder créditos o seleccionar candidatos. Pero múltiples investigaciones revelan que estas herramientas pueden discriminar por raza, género o nivel socioeconómico. Reguladores y expertos piden mayor transparencia y auditorías obligatorias.
Del dato al prejuicio: cuando el algoritmo hereda el sesgo humano
Los modelos de scoring, reclutamiento o evaluación de riesgos se entrenan con enormes bases de datos históricas. El problema es que esos datos reflejan patrones de desigualdad preexistentes: distribución de ingresos, zonas marginadas, roles de género o tasas de endeudamiento asociadas a minorías.
Cuando un algoritmo aprende sobre esa información, no solo la reproduce: la formaliza. La discriminación deja de ser un comportamiento humano aislado y se convierte en una función matemática integrada a millones de decisiones.
Investigaciones académicas demostraron que sistemas de crédito pueden asignar tasas más altas a personas que viven en barrios catalogados como de “mayor riesgo”, sin distinguir entre individuos. En recursos humanos, modelos de selección descartaron mujeres para roles técnicos porque el historial de contrataciones previo estaba sesgado hacia hombres.
Banca y fintech: el sesgo dentro del scoring crediticio
En el sector financiero, los algoritmos analizan miles de variables: historial de pago, ubicación, tipo de dispositivo utilizado e incluso patrones de uso en redes sociales.
Casos recientes en Estados Unidos y Europa mostraron que algunas apps financieras ofrecían líneas de crédito más bajas a personas afrodescendientes, aun con indicadores económicos similares a los del resto de los usuarios.
En América Latina, organizaciones civiles denunciaron que ciertos modelos penalizan a quienes no tienen historial bancario tradicional, reforzando la exclusión financiera. La práctica impacta especialmente en jóvenes de sectores populares y trabajadores informales, que suelen quedar atrapados en un círculo: sin historial, no hay crédito; sin crédito, no pueden construir historial.
Recursos humanos: filtros automáticos que excluyen
El uso de IA en reclutamiento creció exponencialmente. Plataformas que prometen reducir tiempos de selección aplican análisis de lenguaje, expresiones faciales y patrones de voz para evaluar candidatos.
Sin embargo, varios estudios demostraron que estos sistemas pueden priorizar perfiles masculinos, penalizar acentos regionales o descartar personas con discapacidad debido a movimientos o patrones vocales no contemplados en el entrenamiento del modelo.
En 2018, un caso emblemático forzó a una multinacional tecnológica a desactivar su algoritmo de selección al descubrir que sistemáticamente relegaba postulaciones de mujeres en tecnología.
Aseguradoras: el riesgo de usar datos “alternativos”
Las aseguradoras utilizan modelos predictivos para calcular primas. Si bien la automatización ayuda a estimar riesgos con más precisión, también puede traducirse en precios diferenciados injustificados.
El cruce entre código postal, nivel de ingresos y comportamiento digital puede generar perfiles que, de forma indirecta, afectan a minorías étnicas o grupos con menor acceso a servicios formales.
La falta de explicación sobre cómo se calcula la prima alimenta la preocupación: los clientes no pueden reclamar lo que no entienden.
¿Qué dicen los reguladores? Transparencia y auditoría como punto de partida
En la Unión Europea avanza la AI Act, que obligará a auditar algoritmos de alto riesgo —como los financieros o de recursos humanos— y a demostrar que no discriminan. En Estados Unidos, algunas agencias exigen “explicabilidad” en modelos utilizados por bancos y aseguradoras.
En la región, el debate es incipiente. Organismos de protección de datos piden impact assessments obligatorios, publicación de criterios de selección y canales de apelación para decisiones automatizadas.
Para los expertos, el desafío principal es romper la opacidad: sin acceso a los datos y al diseño del modelo, no hay forma de detectar sesgos sistémicos.
El dilema central: automatizar sin profundizar desigualdades
La automatización promete eficiencia, escala y objetividad. Pero sin controles, puede convertirse en una máquina que perpetúa desigualdades históricas bajo apariencia de neutralidad técnica.
El reto para los próximos años será claro: desarrollar IA que mejore decisiones sin sacrificar justicia. La tecnología puede ser parte de la solución, pero solo si logramos ver —y corregir— el lado oscuro de sus algoritmos.
ChatGPT puede cometer errores. Comprueba la información impor
