Sesgos algorítmicos y discriminación de la inteligencia artificial y formas educativas de abordarlo

Anteriormente hablamos de las alucinaciones de la inteligencia artificial: ¿Qué son, como identificarlas y como reducirlas en educación?, mostrando que la inteligencia artificial puede cometer errores por diferentes motivos, pero también revisamos como poder atender este tema desde la educación. De la misma forma, en esta oportunidad, revisaremos el tema de los sesgos algorítmicos y la discriminación que pueden hacer las IA, y cómo podemos abordar este tema desde la educación.

La inteligencia artificial o IA, se ha convertido en una herramienta poderosa con un gran potencial para transformar la educación. Sin embargo, su uso también ha generado preocupación por la posibilidad de sesgos algorítmicos y discriminación los cuales en gran parte se deben, al haber sido entrenada y alimentada con datos de la cultura occidental por lo cual es entendible que reproduzca sus sesgos. Pero ¿qué son los sesgos algorítmicos?, los sesgos algorítmicos son errores o inclinaciones involuntarias que se introducen en los sistemas de IA durante su desarrollo o uso. Estos sesgos pueden reflejar los sesgos de las personas que diseñaron o entrenaron el sistema, o pueden ser el resultado de la naturaleza de los datos utilizados para entrenar el sistema.

¿Qué tipos de sesgos algorítmicos existen más frecuentemente?

Sesgos de selección: Ocurren cuando los datos utilizados para entrenar el sistema de IA no son representativos de la población objetivo.
Sesgos de codificación: Se introducen cuando los desarrolladores del sistema de IA incorporan sus propios sesgos en el diseño del sistema.
Sesgos de amplificación: Se producen cuando el sistema de IA amplifica los sesgos presentes en los datos con los que se entrenó.

Estos sesgos y focos discriminatorios generan consecuencias en la educación, dado que los sesgos algorítmicos tienen consecuencias negativas para la equidad e inclusión en la educación. Algunos ejemplos incluyen:

Estereotipos y discriminación: Los sistemas de IA pueden perpetuar estereotipos y discriminación contra grupos minoritarios, como las niñas, las personas con discapacidades o las personas de bajos ingresos.
Reducción de oportunidades: Los sesgos algorítmicos pueden limitar las oportunidades educativas para ciertos grupos de estudiantes, como al clasificarlos erróneamente en niveles de habilidad más bajos o negarles acceso a recursos educativos.
Falta de transparencia: La falta de transparencia en los sistemas de IA dificulta la identificación y la comprensión de los sesgos que pueden estar presentes.

Por otro lado, la inteligencia artificial posee algunos sesgos algorítmicos que surgen en el uso de esta en educación, como, por ejemplo:

Sistemas de evaluación predictiva: Estos sistemas pueden predecir el rendimiento futuro de los estudiantes, pero a menudo están sesgados contra ciertos grupos de estudiantes.
Herramientas de recomendación: Estas herramientas pueden recomendar recursos educativos a los estudiantes, pero a menudo se basan en estereotipos y sesgos.
Sistemas de tutoría virtual: Estos sistemas pueden brindar apoyo a los estudiantes, pero a menudo no están adaptados a las necesidades de los estudiantes con diferentes estilos de aprendizaje.

¿Qué medidas podemos aplicar para mitigar los sesgos algorítmicos en la educación a partir de lo indicado? Existen varias medidas que se pueden tomar para mitigar los sesgos algorítmicos en la educación, como:

Utilizar conjuntos de datos diversos y representativos para entrenar los sistemas de IA.
Implementar procesos de auditoría y revisión para identificar y eliminar sesgos de los sistemas de IA.
Desarrollar sistemas de IA transparentes y explicables.
Educar a la comunidad educativa sobre los sesgos algorítmicos y la IA responsable.
Cuando se detecten sesgos, tomarlos como una oportunidad de aprendizaje y de educación con los estudiantes analizándolos desde una perspectiva integral.

De esta forma vemos que la inteligencia artificial tiene el potencial de transformar la educación de manera positiva debido a sus múltiples ventajas y aportes que hace y que hemos visto anteriormente, pero es importante ser conscientes de los riesgos de sesgos algorítmicos y discriminación, así como de sus alucinaciones. Al tomar medidas para mitigar estos riesgos, podemos asegurarnos de que la IA se use de manera responsable y equitativa en la educación, no reproduciendo sesgos ni discriminación o al menos, trabajando con los estudiantes para no reproducirlos al interior de sus comunidades educativas.

Con el fin de complementar, comentamos que anteriormente hemos visto como poder trabajar temas educativos con inteligencias artificiales generales, por ejemplo como construir rúbricas con Chat GPT y cómo hacerlas con diversas herramientas, cómo crear planificaciones y actividades, cómo realizar preguntas, así como otras acciones, las que se pueden revisar en la categoría de prompts educativos, o recientemente, realizamos una revisión de acciones que puede hacer en materia educativa la inteligencia artificial, acciones de apoyo a la docencia o la elaboración de prompts educativos de parte de diferentes inteligencias artificiales y otras disponibles en nuestro apartado de inteligencia artificial. Además, pueden revisar diferentes guías docentes y de propuestas de actividades con IA aquí. También es posible completar con el uso de chatbot educativo y sus usos (se puede revisar esta presentación y videotutorial, o algunas aplicaciones educativas y un completo videotutorial aquí), sí como la revisión de una propuesta de convivencia escolar mediante esta tecnología), su historia, o se puede acceder a nuestra propuesta en https://poe.com/apoyoeducativov2 o revisar otras opciones de chatbot de IA conversacionales aquí. Ahora si quieres revisar un compendio de información introductoria de la IA puedes revisar aquí o sobre la inteligencia artificial general aquí.