MultiMedQA es un importante modelo del lenguaje (LLM) para fines médicos que combina HealthSearchQA y seis conjuntos de datos actuales de respuesta a preguntas abiertas publicada el 26 de diciembre de 2022 por Google Research y Deepmind. Transforma la forma en que los profesionales de la medicina, los investigadores y los consumidores acceden a la información y las preguntas médicas.^[1]​^[2]​^[3]​

El modelo se creó para evaluar la calidad de las respuestas humanas a cuestiones complicadas. Para ello, se utilizó un intrincado método de evaluación para examinar la precisión, profundidad, daño potencial y sesgo de las respuestas.

MultiMedQA se creó a partir de seis conjuntos de datos de respuestas actuales, a saber, MedQA,^[4]​^[5]​ MedMCQA,^[6]​ PubMedQA,^[7]​^[8]​ LiveQA,^[9]​ MedicationQA^[10]​ y MMLU clinical topics.^[11]​ MultiMedQA combinó esos conjuntos de datos con uno propio llamado HealthSearchQA, que consta de 3375 preguntas de salud comúnmente buscadas.^[1]​ Para evaluar los LLM con MultiMedQA, la investigación de Google se basó en PaLM, un LLM de 540 billones de parámetros,^[12]​^[13]​^[14]​ y su variante ajustada por instrucciones Flan-PaLM.^[15]​^[16]​

El conjunto de datos MedQA consta de preguntas del tipo USMLE (US Medical License Exam), 194.000 preguntas de opción múltiple de 4 opciones de los exámenes de acceso a la medicina de la India (AIIMS/NEET), 1.000 pares de preguntas-respuesta etiquetadas por expertos en las que la tarea consiste en producir una respuesta de opción múltiple sí/no/tal vez, 674 de preguntas habituales de los consumidores sobre medicamentos y 3.375 preguntas habituales de los consumidores (HealthCareQA).