Como parte del Programa de Desarrollo Profesional de la Incubadora Docente ALiEM, los Dres. Megan Boysen-Osborn (directora de programas en la Universidad de California-Irvine), Dara Kass (editora en jefe de FeminEM) y Andrew King (director asistente de programas en el Centro Médico Wexner de la Universidad Estatal de Ohio) participaron en un Hangout de Google donde brindaron perspectivas y asesoramiento de expertos sobre la evaluación de programas. Sus perspectivas y sabiduría se resumen a continuación.
Conversación en vídeo de Hangouts de Google (34:26 min)
[su_spoiler title=” Marcas de tiempo para la discusión de Hangouts de Google ” style=”fancy” icon=”chevron-circle”]
- 00:38 – ¿Qué es la evaluación de programas? ¿Por qué nos importa la evaluación del programa?
- 01:41 – Como educadores, ¿estamos utilizando correctamente los términos valoración y evaluación?
- 02:51 – Para la Dra. Dara Kass – ¿Cuáles son los objetivos de FeminEM y usted determina si se cumplen o no?
- 07:09 – ¿Quiénes son algunas de las partes interesadas importantes en la evaluación de programas a nivel de educación médica de posgrado?
- 11:09 – Describe un objetivo que tenías en el desarrollo de FeminEM. ¿Hubo algún resultado inesperado que recibió de una evaluación?
- 15:16 – ¿Cómo podrá determinar que logró los objetivos definidos en la próxima conferencia FeminEM FIX?
- 18:17 – ¿Puedes pensar en un gran plan educativo que se implementó en el programa de residencia donde los resultados de la evaluación del programa ilustraron que no se cumplieron las metas y objetivos?
- 20:35 – Importancia de no reaccionar inmediatamente ante la insatisfacción y hacer un equilibrio con datos cuantitativos
- 21:43 – Los comentarios deben tomarse en contexto. Informe siempre a los evaluadores que está escuchando sus comentarios, independientemente de su implementación.
- 22:10 – ¿Cómo puede informar más eficazmente a los evaluadores que sus recomendaciones fueron consideradas pero no implementadas?
- 23:05 – La gente sólo quiere ser escuchada y reconocida. No es necesario seguir los comentarios.
- 23:33 – Asegúrese de que los evaluadores comprendan las preguntas y el propósito de la evaluación del programa.
- 24:17 – Discusión de la Encuesta de Evaluación del Programa ACGME
- 27:33 – Evaluación del programa de alto riesgo
- 28:30 – Mensaje final y puntos importantes de Andrew sobre la evaluación del programa.
- 30:24 – Mensaje final y puntos importantes de Dara sobre la evaluación del programa.
[/su_spoiler]
Versión abreviada del podcast
Evaluación del programa y su importancia.
La evaluación de programas, como su nombre indica, evalúa programas. Su importancia radica en que desarrollar un programa educativo no es un destino final sino un proceso continuo. El programa, una vez creado e implementado, necesita mejoras constantes para seguir siendo eficaz para estudiantes y educadores. Esto se logra mediante la evaluación del programa.
Uso adecuado de los términos “valoración” y “evaluación”
Los términos valoración y evaluación a menudo se utilizan indistintamente; sin embargo, son fundamentalmente diferentes. El término evaluación de programas evalúa un programa, un plan de estudios, una clase, un contenido educativo o algún tipo de producto educativo. Por el contrario, el término evaluación evalúa el desempeño de los alumnos o educadores. La evaluación puede ser formativa o sumativa.
- La evaluación formativa ayuda a guiar el aprendizaje, brindar tranquilidad, promover la reflexión y moldear los valores.
- La evaluación sumativa ayuda a juzgar la competencia, la aptitud para la práctica y la calificación para avanzar a un nivel superior de responsabilidad. 1
Estudio de caso: Evaluación de FeminEM
Los objetivos generales de FeminEM implican la mejora de la equidad de género en la medicina de emergencia (ME) mediante la creación de un espacio específico para el apoyo de las médicas en ME. El programa pretende llenar este vacío en el proceso existente mediante el uso de contenido de blog para crear macropiezas informativas, un podcast para tener una conversación sobre una micropregunta específica que necesita más profundidad y una conversación interpersonal, y una conferencia para reunir a las personas para intercambiar ideas.
Escuche a la Dra. Dara Kass, fundadora de FeminEM, hablar sobre su enfoque para la evaluación de programas.
Actores importantes en la evaluación de programas a nivel de educación médica de posgrado
- Pacientes : Medir los resultados de los pacientes es un aspecto difícil de evaluar un programa educativo porque rara vez vemos cómo la educación se traduce directamente en los resultados de los pacientes.
- Estudiantes : estudiantes de medicina, residentes y quizás profesores jóvenes.
- Educadores : miembros del personal docente y clínico que participan en la impartición de educación a los alumnos.
- Liderazgo departamental e institucional : El liderazgo departamental y hospitalario que invierte en educación y aprendizaje.
La lista de partes interesadas depende del tipo de proyectos educativos. Por ejemplo, en los proyectos de mejora de la calidad, la dirección del hospital probablemente querrá participar estrechamente, ya que este tipo de educación puede tener un impacto directo en la atención al paciente.
Determinar si se han logrado los objetivos del programa
Los evaluadores repetidos son importantes
La perspectiva obtenida con el tiempo a partir de la participación en una experiencia educativa permite a los evaluadores repetidos medir el éxito de una intervención porque tienen puntos de vista del antes y el después.
Evite preguntas amorfas y abiertas
Asegúrese de que los evaluadores comprendan el razonamiento y el propósito de la evaluación. Haga preguntas concretas sobre los componentes que desea evaluar e incluya preguntas de seguimiento para las respuestas negativas. Utilice el poder de sus evaluadores para informar cambios positivos pidiéndoles que sugieran formas de mejorar los objetivos que consideran que no se cumplieron por completo.
Analiza tus datos de forma objetiva
Con base en la información obtenida, se debe estar preparado y dispuesto a analizar y ajustar el programa. Es importante hacer preguntas difíciles e igualmente importante estar dispuesto a actuar en consecuencia. Para una conferencia a la que la gente paga para asistir, un marcador indirecto de éxito puede ser el número de asistentes repetidos mientras votan con su billetera. Otro marcador podría ser la cantidad de personas que enviaron presentaciones para hablar en la conferencia, después del año anterior en el que asistieron.
Utilice el modelo de Kirkpatrick para la evaluación.
A continuación se muestra un ejemplo ilustrativo del modelo de Kirkpatrick. Al evaluar un programa, haga preguntas que alcancen un nivel superior al de la mera satisfacción de los participantes. Deberíamos apuntar a niveles más altos de cambios en el lugar de trabajo y en la sociedad. 2
Refinando el programa basado en la evaluación.
Recopile varios comentarios
Es importante recopilar e incorporar tanto comentarios evaluativos subjetivos de estudiantes y educadores como comentarios objetivos para perfeccionar el programa educativo. Se puede utilizar retroalimentación subjetiva para medir el nivel 1 del marco de Kirkpatrick, pero las puntuaciones de los exámenes y los resultados de los pacientes son necesarios para garantizar que también se alcancen niveles más altos.
Evite reaccionar exageradamente a la negatividad
Hay ocasiones en que datos objetivos, como el aumento del conocimiento médico, pueden diferir de la satisfacción del alumno/educador. Si una intervención particular da como resultado el logro de la adquisición de conocimientos (segundo nivel de Kirkpatrick) o un mejor resultado para el paciente (nivel 4 de Kirkpatrick), eso en ocasiones puede superar la felicidad individual o incluso grupal. Como educador, es posible que uno necesite discutir este equilibrio o tratar de encontrar formas de alcanzar la felicidad junto con los niveles superiores. Centrarse únicamente en la satisfacción puede ir en detrimento de un esfuerzo educativo, si se utiliza como único marcador de éxito.
Reconoce que has escuchado los comentarios.
Patrick Lencioni, experto en liderazgo y dinámica de equipos, explica que las personas son capaces de apoyar una idea, si tuvieron la oportunidad de decir lo que piensan y sentir que han sido escuchadas. 3 Si un líder decide no alterar el programa basándose en la retroalimentación recibida, es importante reconocer que las partes interesadas fueron escuchadas y explicar por qué no se realizaron cambios.
Informar a los evaluadores del propósito de la evaluación.
Discuta los objetivos de la evaluación con las partes interesadas y los evaluadores de antemano para ayudar a garantizar que la retroalimentación se dirija hacia el propósito correcto. Es imperativo garantizar que los evaluadores comprendan las preguntas y lo que preguntan, además de lo que se ha hecho para abordar cada pregunta desde la evaluación anterior.
Tener oportunidades de evaluación de alto y bajo riesgo
La gente necesita la oportunidad de ser escuchada. Si solo proporciona esto en forma de evaluación de programas de alto riesgo, como la encuesta ACGME, se convertirá en el lugar para ventilar cada queja y queja menor. Al brindar una amplia oportunidad para evaluar el programa, los evaluadores pueden centrarse en una evaluación importante y precisa durante la evaluación de alto riesgo y utilizar otros medios para compartir todas las opiniones que tengan.
Perlas finales sobre la evaluación de programas
- Desarrollar un producto educativo es sólo el primer paso del proceso. Puede resultar fácil descuidar la fase de evaluación del programa ya que todos estamos ocupados; sin embargo, obtener retroalimentación y datos cuantitativos para mejorar la experiencia educativa de estudiantes y educadores es una parte vital del proceso.
- Asegúrese de que los objetivos y el propósito de una evaluación sean claros para los evaluadores antes de publicarla para garantizar una retroalimentación clara, precisa y directiva.
- Aprenda a desapegarse de la inversión emocional en el producto educativo que ha creado. El apego emocional puede dificultar la implementación de cambios para mejorar el programa. Se logrará un mayor éxito si puede permanecer objetivo y aceptar el fracaso potencial como parte del proceso.
Información del autor
El post Perspectivas sobre la evaluación de programas: entrevista con los Dres. Megan Boysen-Osborn, Dara Kass y Andrew King aparecieron por primera vez en ALiEM .