Para mejorar la IA, se debe cambiar a quienes la construyen

El riesgo del sesgo en la IA

En una columna publicada en fortune.com, Hyams dijo que su principal preocupación subyacente con respecto a la IA es el tema de los prejuicios. “La IA funciona con datos, los datos provienen de humanos y los humanos tienen fallas. Esto es especialmente cierto en el ámbito laboral: en un conocido estudio de 2003, los nombres que parecían negros recibieron un 50 % menos de llamadas para entrevistas que los nombres que parecían blancos con currículum idénticos. Cuando los modelos de IA se construyen a partir de datos con sesgos incorporados, los modelos resultantes replican y amplían ese sesgo”, resaltó.

El CEO de Indeed dijo que, cuando se le pidió a la IA generativa que creara imágenes relacionadas con puestos de trabajo y delitos, la herramienta amplificó los estereotipos sobre raza y género. “Los estadounidenses blancos representan el 70 % de los trabajadores de la comida rápida, pero el 70 % de los resultados de las imágenes mostraban a trabajadores con tonos de piel más oscuros. Las mujeres representan el 39 % de los médicos, pero sólo el 7 % de los resultados de imagen”, apuntó, refiriéndose a un estudio reciente que representó gráficamente este fenómeno

“A lo largo del estudio, los roles mejor pagados estuvieron representados principalmente por trabajadores percibidos como hombres y aquellos con piel más clara, mientras que los trabajos peor pagados estuvieron dominados por trabajadoras percibidas y aquellos con piel más oscura. Las imágenes generadas para ‘recluso’, ‘narcotraficante’ y ‘terrorista’ también amplificaron los estereotipos”, afirmó.

Y subrayó esto señalando que: “A pesar de la asombrosa innovación que nos rodea, la IA todavía está en la infancia. Si esperamos seguir beneficiándonos de la promesa de la IA, debemos dedicar mucho tiempo y energía a abordar los riesgos”.

Mejorar la IA implica preparar mejor a quienes la desarrollan

Para trabajar en resolver los desafíos que presenta la IA actualmente, Hyams recomendó primero admitir que existe un problema. “Los prejuicios, la toxicidad y el odio se mezclan con señales útiles que permiten a la IA resolver problemas significativos. En respuesta, hemos establecido un equipo de IA responsable, dedicado a crear un producto justo para quienes buscan empleo y empleadores, midiendo y mitigando sesgos injustos en nuestros productos algorítmicos”, relató.

Los miembros del equipo encargados de alimentar la IA, dijo el ejecutivo, van desde astrofísicos hasta sociólogos, con un enfoque que combina evaluaciones de equidad, creación de herramientas, educación y divulgación. “Creemos que la equidad algorítmica no es un problema puramente técnico, con soluciones puramente técnicas. Nuestro trabajo trata la equidad como una cuestión sociotécnica, integrada tanto en la tecnología como en los sistemas sociales que interactúan con ella”.

Lograr sistemas de IA verdaderamente responsables requiere cambiar fundamentalmente la forma en que se construyen, refirió el ejecutivo, empezando por “preparar a la generación actual y a la próxima de trabajadores tecnológicos para las profundas implicaciones de la tecnología y su impacto en la vida de las personas”. Así, además de estadística y álgebra lineal, los tecnólogos también deberían estudiar historia, filosofía, ética y literatura, afirmó Hyams. “Un código de ética formal para los profesionales de la IA, como una adaptación del juramento Hipocrático del médico, sería un punto de partida importante", subrayó.

Hyams declaró que: “Es fundamental que cambiemos a quién construye estos sistemas. Todos los días, las personas toman decisiones vitales en salas, con poca o ninguna representación de grupos marginados, aquellos que tienen más probabilidades de verse afectados negativamente por esas decisiones”. Actualmente, por ejemplo, las mujeres representan solo un 20 % de los doctorados recientes en Ciencias de la Computación, y solo 6 % de quienes tienen doctorados son de raza negra o latina. “La representación por sí sola no resolverá los desafíos fundamentales que enfrenta la IA, pero creo que no superaremos esos desafíos si los grupos marginados no tienen un lugar equitativo en la mesa”, resaltó el CEO de Indeed.

“Nos encontramos en la encrucijada de una innovación y una disrupción extraordinarias. Con un gran poder viene una gran responsabilidad. Si queremos garantizar que la IA beneficie a toda la humanidad, debemos asumir nuestra responsabilidad y poner a la humanidad en el centro”, finalizó.

Nota del editor: Esta nota está basada en una columna que apareció originalmente publicada en inglés en Fortune.com, en septiembre de 2023.