Recientemente, la Incubadora de Facultades de ALiEM tuvo una discusión dinámica sobre la Evaluación de Programas. Este Hangout de Google contó con la participación del Dr. George Mejicano , el Dr. Chad Kessler y la Dra. Megan Osborn , facilitado por la Dra. Lalena Yarris . Escuche la versión en podcast de su conversación mientras profundizan en la evaluación del programa y las valoraciones de los alumnos. También proporcionamos una sinopsis basada en texto de la discusión.
¿Qué es la evaluación del programa?
La evaluación del programa sirve como un medio para identificar problemas o evaluar cambios dentro de un programa educativo. Por lo tanto, la evaluación de programas permite una mejora sistemática y sirve como una habilidad clave para los educadores que buscan mejorar los resultados de los estudiantes. Hay muchas consideraciones para una evaluación exitosa de un programa educativo.
Evaluación y Valoración
Evaluación y evaluación no son lo mismo y a menudo se usan erróneamente como sinónimos. En educación médica, la evaluación se refiere a un programa o plan de estudios, mientras que la evaluación se refiere a los alumnos y a los resultados de los mismos. La evaluación del alumno es un tema aparte. Al realizar una evaluación de un programa, se debe garantizar que la atención se centre en una evaluación del programa o plan de estudios en lugar de una evaluación de los alumnos.
Al abordar la evaluación de un programa, ¿qué necesita saber?
Al realizar una evaluación de un programa, es importante que conozca a las partes interesadas y lo que desean. En otras palabras, ¿para quién es la evaluación? ¿La acreditación de objetivos es vía ACGME o ABEM? ¿Está interesado en evaluar con respecto a estudiantes como residentes/estudiantes de medicina? Además, debería preguntarse: ¿qué es importante para estas partes interesadas? ¿Están interesados en cumplir con los estándares de acreditación, mejorar los resultados de los estudiantes o mejorar la felicidad de los estudiantes, por nombrar algunos? Estos son resultados muy diferentes que requieren diferentes métodos de evaluación.
Debe saber qué herramientas tiene disponibles y qué desea hacer con la información que recopila. Esto le permitirá elegir un método viable que le proporcionará la información necesaria para sus objetivos de evaluación. Es posible que el método más apropiado no le proporcione el más alto nivel de resultados. Por ejemplo, una entrevista o encuesta a menudo puede proporcionarle la información más útil, pero no el nivel más alto de evidencia.
Superando el primer nivel 1 de Kirkpatrick
Superar el primer nivel de resultados educativos de Kirkpatrick (satisfacción) puede resultar difícil. Algunas sugerencias para pasar del primer nivel a resultados de nivel superior en su evaluación incluyen:
- Desarrolle herramientas que pueda utilizar varias veces o utilice herramientas que ya hayan sido validadas. Esto a menudo conduce a datos de mayor nivel y más consistentes. Además, los sustitutos (otros que pueden estar igualmente calificados para entregar la herramienta específica: estudiantes de medicina, residentes, becarios, otros asistentes, etc.) pueden administrar estas herramientas, ahorrándole tiempo a usted y a otros educadores sin disminuir la calidad de los datos.
- Utilice las bases de datos existentes para no ser el único que recopila datos (es decir, bases de datos sobre el uso de productos sanguíneos o antibióticos). Esto permite al investigador comparar sus datos de resultados locales con la base de datos más grande para permitir una mayor evaluación de los resultados de los pacientes (niveles más altos de Kirkpatrick) y, en parte, una evaluación de su plan de estudios.
- Existen otras perspectivas sobre los resultados además de la de Kirkpatrick. Estos incluyen examinar el retorno de la inversión en busca de un resultado y no solo del resultado. Estos pueden ser muy valiosos si se analizan intervenciones fiscales o situaciones en las que los recursos son limitados. 2
- Recuerde que los resultados orientados al paciente no siempre son los mismos que sus objetivos educativos y, por lo tanto, pueden no ser los resultados más apropiados para su programa. 3
- No descarte el primer nivel de evaluación de Kirkpatrick. ¡La satisfacción del alumno sigue siendo muy importante! Puede ser importante para su programa y plan de estudios; sin embargo, ampliarlo a una beca puede resultar difícil de publicar.
Consejos para examinar los resultados a largo plazo
Debes mantenerte en contacto con tus alumnos. Los educadores luchan con los resultados a largo plazo. Los datos a largo plazo a menudo reflejan resultados de mayor nivel y un verdadero éxito programático. Para obtener datos a largo plazo, los educadores y su institución deben permanecer conectados con sus alumnos a largo plazo. Si puede permanecer conectado, puede comenzar a analizar variables a largo plazo, como tasas de certificación de juntas, MOC y acciones adversas de las juntas médicas. El santo grial en los datos para la evaluación de programas serían los datos completos de la cartera de estudios de los alumnos anteriores, pero esto sigue siendo difícil de alcanzar.
¿Qué grandes preguntas se vislumbran en el horizonte?
Atribución: Quienes participan en la evaluación de programas quieren saber que un resultado puede atribuirse a una intervención educativa específica. Para hacer esto, sería necesario rastrear los datos de los resultados hasta los estudiantes y los comportamientos individuales, no solo la institución. Piense en ello como un intento de establecer una relación causal.
Procesos de intercambio de datos: la recopilación de datos sobre qué y cómo aprendieron los alumnos requiere la protección de estos datos, incluidas las responsabilidades, obligaciones y preocupaciones por la privacidad. Gran parte de la información recopilada sobre los alumnos es confidencial y a los alumnos les preocupa el hecho de compartir esta información con futuros empleadores, evaluadores u organizaciones de acreditación. Es necesario establecer reglas con respecto al intercambio de esta información a medida que recopilamos esta información con fines de evaluación del programa. De manera similar, la información de los estudiantes está protegida por FERPA.
Estudiantes fuera de ciclo: debemos abordar qué hacer cuando, en el futuro, los estudiantes entren y salgan en diferentes momentos. En el futuro, es probable que no todos los estudiantes comiencen el 1 de julio y terminen el 30 de junio debido al avance basado en competencias en lugar de un avance basado en el tiempo. Esto supone también un desafío para la evaluación de programas.
Otras consideraciones incluyen la evaluación de los programas educativos de CME, así como las medidas de calidad y seguridad en los programas educativos.
JETem
Journal of Education & Teaching in Emergency Medicine , o JETem, es una nueva revista y repositorio para que los educadores accedan a planes de estudio que se han implementado o diseñado en otros lugares, así como a ejercicios en grupos pequeños, actividades de aprendizaje en equipo, etc. Publicación de un proyecto de investigación no es el objetivo de JETem; sin embargo, al enviar un trabajo a JETem, es importante indicar qué evaluación del programa se realizó y los resultados.
Cómo iniciarse en la evaluación de programas
Comience con el problema/pregunta que desea resolver , luego pregunte qué datos necesitará para resolver la pregunta. Esto puede resultar útil para determinar cuándo retirar un programa o modificarlo para necesidades futuras. Además, cuando esté creando un programa educativo o realizando cambios, planifique simultáneamente cómo lo evaluará en el futuro. Como comentamos anteriormente:
- Identificar las partes interesadas
- Descubra qué datos les interesan
- De quién recogerá los datos
Recuerde, las partes interesadas suelen tener su propio idioma. Asegúrese de hablar su idioma para mejorar el reconocimiento de sus resultados y éxito (es decir, ACGME, LCME, residentes, estudiantes de medicina, decano o presidente).
Pensamientos finales
Michael Quinn Patton es el abuelo de la evaluación de programas y su trabajo es un recurso útil en relación con la evaluación de programas.
Recursos útiles para lecturas adicionales
- Goldie J. AMEE Guía educativa núm. 29: evaluación de programas educativos. Enseñanza médica. Mayo de 2006;28(3):210-24. PubMed
- Frye AW, Hemmer PA. Modelos de evaluación de programas y teorías relacionadas: guía AMEE no. 67. Enseñanza médica. 2012;34(5):e288-99. PubMed
- Shershneva MB, Larrison C, Robertson S, Speight M. Evaluación de un programa colaborativo para dejar de fumar: traducir el marco de resultados en la práctica. J Contin Educ Health Prof. Otoño de 2011; 31 Suppl 1: S28-36. PubMed
Información del autor
El post Evaluación del programa: ¿Qué es y cuáles son las consideraciones clave? apareció por primera vez en ALiEM .