¿Está utilizando la herramienta de evaluación adecuada para evaluar a los alumnos? Poniendo la validez a prueba

Como educadores médicos, a menudo confiamos en herramientas de evaluación para evaluar a nuestros alumnos. Ya sea en forma de una encuesta posterior a una conferencia o una lista de verificación mediante una evaluación estandarizada del paciente, las herramientas se utilizan durante la formación médica y más allá. ¿Cómo sabemos que la herramienta que estamos utilizando es apropiada? ¿Está evaluando las cosas correctas? ¿Tienen las puntuaciones algún significado? A menudo buscamos herramientas que hayan sido “validadas” y nos sintamos más seguros al aplicar los resultados. Pero ¿qué hace que una herramienta sea “válida”? Con unos pocos conceptos simples, podemos elegir y crear mejor nuestras herramientas de evaluación y, por lo tanto, adaptar mejor nuestra educación a las necesidades de los alumnos.

¿Qué es la validez?

Definir la validez es un desafío, especialmente cuando los términos parecen redefinirse tan pronto como nos sentimos cómodos con ellos. Incluso antes de la validez, debemos abordar el constructo (lo que el instrumento pretende medir). En la mayoría de los casos, este constructo no tiene un estándar o inherente normal o anormal, como las actitudes de los médicos o los síntomas del paciente. Messick define constructo como “una colección intangible de conceptos abstractos inferidos del comportamiento y utilizados para medir la validez”. [1] Definir el constructo es el primer paso para crear una herramienta de evaluación o elegir una herramienta preconcebida adecuada.

Cuando se aplica a las evaluaciones, la validez es una hipótesis, no una declaración de hecho. Una hipótesis requiere evidencia, ya sea a favor o en contra. Una herramienta en sí no es “válida” o “inválida” sino la interpretación de si los datos tienen o no validez [2]. Una herramienta puede tener validez en un contexto pero no en otro; con un tipo de alumno pero no con otro. El Dr. David Cook, experto en investigación sobre validación de la educación médica, define la validez como “el grado en que las interpretaciones de las puntuaciones resultantes de una actividad de evaluación están 'bien fundamentadas o justificables'” [3].

La analogía de la sala del tribunal

La validez se basa en un continuo y se basa en 4 conceptos fundamentales:

1. Proposiciones
2. Evidencia
3. Argumento
4. Decisiones

Cook utiliza la analogía de la sala del tribunal para simplificar estos conceptos [3].

Proposiciones

Empecemos por la fiscalía, que propone que el acusado es culpable. Esta proposición es la base del juicio y se presentarán pruebas para respaldar esta proposición. De manera similar, las proposiciones guían la recopilación de evidencia de validez y son esenciales al evaluar la validez de una herramienta. Las proposiciones son para la hipótesis de validez lo que los objetivos son para la meta. Por ejemplo, propongo que mi herramienta de evaluación del liderazgo incluya elementos identificados como esenciales para un liderazgo eficaz en una reanimación.

Evidencia

A continuación, la acusación presenta sus pruebas o una recopilación de pruebas. Un testigo ocular no presenta argumentos. Sin embargo, un testigo ocular, pruebas de ADN y un motivo podrían cerrar el trato. En la evaluación de la validez existen 5 tipos principales de evidencia, definidos por Messick [1, 2].

1. La evidencia de contenido pregunta si el instrumento representa completamente el constructo. Volviendo al ejemplo de la herramienta de evaluación del liderazgo, ¿la herramienta realmente mide las habilidades de liderazgo? ¿Son las preguntas o elementos importantes y necesarios? ¿Hay demasiados o muy pocos?
2. La estructura interna se refiere a la confiabilidad del instrumento, incluida la confiabilidad entre evaluadores y la confiabilidad test-retest. ¿Se espera variación de puntuación entre los participantes? Es de esperar que los líderes novatos obtengan puntuaciones más bajas que los asistentes experimentados. ¿Son similares las puntuaciones de diferentes observadores?
3. El proceso de respuesta se refiere a la relación entre el constructo previsto y el proceso de pensamiento de los sujetos u observadores. ¿Los evaluados entienden los elementos de la herramienta según lo previsto? De lo contrario, la herramienta no está evaluando su construcción como se esperaba.
4. Las consecuencias , intencionadas y no intencionadas, de una evaluación pueden afectar la validez de la herramienta. ¿Las puntuaciones bajas conducen a una corrección y, por tanto, a una mejora del rendimiento? O, alternativamente, ¿las puntuaciones bajas causan dudas y disminución de la confianza, lo que lleva a un desempeño deficiente?
5. La relación con otras variables, anteriormente conocida como validez de constructo, se refiere a la correlación de puntuaciones con otras herramientas que evalúan el mismo constructo. ¿Cómo se compara mi herramienta con otras herramientas de evaluación del liderazgo? Al igual que en un tribunal, más pruebas que lo corroboren es mejor, pero no se necesitan pruebas de todas las categorías para obtener una condena o absolución.

Argumento

Después de recopilar las pruebas, cada parte tiene la oportunidad de presentar sus argumentos. Como afirma Cook, “la evidencia no habla por sí sola” y un argumento de validez sólido requiere la presentación estructurada de la evidencia [3].

Decisión

¿Cómo se utilizará la herramienta y cuál es el efecto de su uso? La cantidad de evidencia necesaria para utilizar el instrumento en un entorno determinado o con un grupo de alumnos depende de cómo se interpretarán las puntuaciones. Se puede decir que las evaluaciones educativas de los estudiantes utilizadas principalmente para el beneficio del educador a la hora de desarrollar un currículo son de bajo riesgo y requieren menos evidencia antes de su uso. Sin embargo, las herramientas de evaluación con importantes consecuencias a largo plazo, como la recuperación o una calificación reprobatoria, son de gran importancia y requieren evidencia de validez más sólida antes de su aplicación [3].

Cómo elegir una herramienta

Al evaluar una herramienta de evaluación que se utilizará con los alumnos, considere los conceptos de validez anteriores y específicamente la evidencia de validez proporcionada. Lo ideal es una herramienta con evidencia presentada en múltiples categorías y con el plan de usarse en una población y/o entorno similar, aunque no siempre es posible. Puede ser necesario crear su propia herramienta [4]. Al hacer esto, considere probar la validez del instrumento antes de aplicar la herramienta. Y luego considere el resultado potencial de la aplicación de la herramienta y su importancia para el alumno. Un resultado de alto riesgo, como aprobar/reprobar o conceder una mayor autonomía, requiere que se apliquen con confianza herramientas de evaluación con grandes cantidades de evidencia de validez. Desafortunadamente, en la educación médica somos culpables de utilizar con frecuencia herramientas de evaluación que no cumplen con estos estándares. Si hacemos una pausa y hacemos algunas preguntas básicas sobre nuestro instrumento y lo que evalúa, podremos elegir y crear mejores herramientas que realmente beneficien a nuestros alumnos.

Referencias:

1. Messick, S. (1989). Validez. En RL Linn (Ed.), Medición educativa (3ª ed., págs. 13-104). Nueva York, NY: Consejo Americano de Educación y Macmillan.
2. Cook DA, Beckman TJ. Conceptos actuales en validez y confiabilidad para instrumentos psicométricos: teoría y aplicación. Soy J Med. 2006;119(2): doi:10.1016/j.amjmed.2005.10.036. PMID: 16443422
3. Cocinero DA. Cuando digo… validez. Educación Médica. 2014;48(10):948-949. doi:10.1111/medu.12401. PMID: 25200015
4. Reid J, Stone K, Brown J, et al. La herramienta de evaluación de equipos de simulación (STAT): desarrollo, confiabilidad y validación. Resucitación. 2012;83(7):879-886. doi:10.1016/j.resuscitation.2011.12.012. PMID: 22198422

Lectura adicional

• Libros electrónicos de teorías de la educación de ALiEM hechos práctica [ Biblioteca ALiEM ]
• Derribando SM. Validez: sobre la interpretación significativa de los datos de la evaluación. Educación Médica. 2003;37(9):830-837. doi:10.1046/j.1365-2923.2003.01594.x PMID: 14506816
• Zamanzadeh V, Ghahramanian A, Rassouli M, Abbaszadeh A, Alavi-Majd H, Nikanfar AR. Diseño e Implementación Estudio de Validez de Contenido: Desarrollo de un instrumento de medición de la Comunicación Centrada en el Paciente. J ciencia solidaria. 2015;4(2):165-178. Publicado el 1 de junio de 2015. doi:10.15171/jcs.2015.017. PMID: 26161370
• Kessler CS, Kalapurayil PS, Yudkowsky R, Schwartz A. Evidencia de validez de una nueva lista de verificación que evalúa las consultas, el modelo de las 5 C. Acad Med. 2012;87(10):1408-1412. doi:10.1097/ACM.0b013e3182677944, PMID: 22914527
• Ayre C, Sally AJ. Valores críticos para el índice de validez de contenido de Lawshe: revisando los métodos de cálculo originales. Medición y Evaluación en Asesoría y Desarrollo. 2014;47(1),79-86. doi:10.1177/0748175613513808

Información del autor

La publicación ¿Está utilizando la herramienta de evaluación adecuada para evaluar a los alumnos? Poniendo la validez a prueba apareció por primera vez en ALiEM .