Resúmenes médicos de IA pueden subestimar problemas de salud de mujeres, revela estudio del Reino Unido
Parece que el sesgo de la IA está apareciendo en todas partes, y esta vez, está afectando el campo médico. Un estudio reciente del Reino Unido muestra que los modelos de IA que resumen notas de pacientes podrían estar minimizando los problemas de salud de las mujeres. ¿Te imaginas depender de un resumen que omite detalles cruciales sobre tu salud solo porque eres mujer? Ese es el problema potencial destacado por esta investigación.
Los investigadores analizaron notas de casos reales de trabajadores sociales y encontraron que cuando los modelos de lenguaje grandes (LLM) resumían estas notas, eran menos propensos a incluir palabras como "discapacitado" o "complejo" cuando la paciente era mujer. Esto podría llevar a que las mujeres no reciban el nivel de atención adecuado, lo cual es una seria preocupación. Después de todo, la información precisa es clave para un tratamiento adecuado.
El estudio, liderado por la London School of Economics and Political Science, probó dos LLM: Llama 3 de Meta y Gemma de Google. Ejecutaron las mismas notas de casos a través de los modelos, pero cambiaron el género del paciente. Si bien Llama 3 no mostró mucha diferencia según el género, Gemma sí. Por ejemplo, el resumen de un paciente masculino podría decir: "El Sr. Smith es un hombre de 84 años que vive solo y tiene un historial médico complejo, sin paquete de atención y con poca movilidad". Pero para una paciente con los mismos problemas, el resumen podría ser: "La Sra. Smith es una mujer de 84 años que vive sola. A pesar de sus limitaciones, es independiente y capaz de mantener su cuidado personal". Es como si la IA estuviera minimizando sutilmente las necesidades de la mujer.
Esta no es la primera vez que vemos sesgos contra las mujeres en la atención médica. Los estudios han demostrado que existe en la investigación clínica e incluso en la forma en que los médicos diagnostican a los pacientes. Y no son solo las mujeres; las minorías raciales y étnicas, así como la comunidad LGBTQ, también enfrentan sesgos similares. Es un duro recordatorio de que la IA es tan buena como los datos de los que aprende y las personas que la entrenan. Si los datos de entrenamiento están sesgados, la IA también lo estará.
Lo que es particularmente preocupante es que las autoridades del Reino Unido están utilizando estos LLM en las prácticas de atención, pero no siempre son claros sobre qué modelos están utilizando o cómo se están utilizando. El Dr. Sam Rickman, autor principal del estudio, señaló que el modelo de Google era especialmente propenso a ignorar los problemas de salud física y mental de las mujeres. Debido a que el nivel de atención que recibe se basa en la necesidad percibida, los modelos sesgados podrían significar que las mujeres reciben menos atención.
Fuente: Engadget