|
INTRODUCCIÓN
En esta tercera y última parte de
la serie sobre el sistema de acreditación
de actividades de formación continuada
(SaAP), desarrollaremos dos aspectos que
consideramos cruciales para establecer una
garantía de efectividad de cualquier
actividad formativa: evaluación prevista
de la propia actividad y criterios de auditoría
de calidad de la propia actividad acreditadora.
El SaAP ha concedido una gran importancia
a estos dos elementos, con el resultado
de unos criterios contrastados en la práctica
acreditadora de más de 6 años.
Éstos son los criterios que a continuación
se discuten. Además, se incluye el
criterio de accesibilidad de la actividad
formativa que caracteriza a la misma y constituye
un factor relevante en toda planificación
de programas de formación continuada.
Finalmente, por su gran desarrollo en los
últimos años y la gran potencialidad
que tiene, se dedica un espacio a una reflexión
en mayor profundidad de las características
que debe reunir una actividad formativa
a distancia. Se trata de establecer criterios
que permitan identificar aquellas actividades
formativas, diferenciándolas claramente
de aquellas otras meramente informativas.
EVALUACIÓN
DE LA ACTIVIDAD
Toda actividad acreditada debe tener previsto
un sistema de evaluación, tanto de
los docentes (profesores) como de los discentes
(alumnos).
Evaluación
de los docentes (por discentes)
Se refiere a aquella realizada por los alumnos,
orientada a evaluar a las personas que han
llevado a cabo tareas docentes. Se tienen
en cuenta 2 niveles:
Nivel mínimo
Para ser acreditada una actividad, al menos,
debe contar con una «encuesta de satisfacción»,
de forma global y en relación con
el programa desarrollado. El Sa- AP dispone
de una encuesta «tipo» que se
facilita a aquellos que así lo solicitan
(fig. 1)
Nivel máximo
Se considera alcanzado este nivel cuando
se realiza una encuesta que valora a cada
docente, de forma individualizada, que participa
en el programa en relación con los
objetivos alcanzados, la metodología
docente, el material didáctico, la
capacidad docente...
Evaluación
de los discentes (por docentes)
Aun conociendo que, quizás, la mejor
forma de evaluación de los alumnos
es la aplicación en su tarea diaria
de las competencias adquiridas en el curso
(conocimientos, habilidades y actitudes)
y medir, no sólo el incremento de
éstas, sino el desarrollo de las
mismas a fin de ofrecer mejores servicios
al ciudadano, no pudiendo ser exhaustivos,
por el momento, en este tipo de evaluación,
vamos a definir los criterios de evaluación
a utilizar por los discentes. Las actividades
formativas se agrupan en dos tipos: actividades
con asistencia y actividades autoformativas,
y para cada tipo de actividad se definen
dos niveles de exigencia, como en el apartado
anterior (mínimo y máximo).
Para acreditar la actividad docente es necesario
alcanzar el nivel mínimo de exigencia.
Actividades con
asistencia presencial
Nivel mínimo:
- Asistencia controlada al 80% de la actividad
- Test objetivo que mida conocimientos
teóricos y prácticos (dependiendo
del curso).
Nivel máximo
(además de la presencia física):
-
Pretest y postest,
que mida los cambios obtenidos.
-
Evaluación
práctica de habilidades adquiridas.
-
Prueba de conocimientos,
en lo que se define el porcentaje mínimo
de respuestas acertadas para obtener
el certificado de haber realizado la
actividad.
Actividades
autoformativas (cursos a distancia)
Nivel mínimo
Prueba de conocimientos (test), en el que
es recomendable que las respuestas positivas
sean entre el 70 y el 80% de las preguntas
realizadas.
Nivel máximo
(además de la prueba de conocimiento)
Prueba externa, de presencia física,
de conocimientos en la que se solicita un
porcentaje mínimo de respuestas acertadas
para acceder a la certificación de
haber realizado la actividad. La adecuación
del sistema de evaluación a los objetivos
y la metodología de la actividad
será evaluadas por la comisión,
pero en cualquier caso los instrumentos
(encuestas, test, etc.) deben adjuntarse
a la solicitud de la acreditación.
ACCESIBILIDAD
Se analizarán los siguientes criterios
de accesibilidad:
- Geográfico (lugar).
- Número de participantes.
- Selección de participantes.
- Económico (cuota de inscripción).
- Horario.
Cada criterio se cuantificará
de 1 a 3 puntos según se considere
poco accesible, medianamente accesible o
muy accesible. La accesibilidad global se
valorará en los siguientes términos:
Máxima:
-
Puntuación
entre 14 y 15.
-
De fácil acceso
geográfico y horario.
-
Sin limitación
en la asistencia, tanto por el número
como por los criterios de selección
de los participantes, ya sea per se
o por repetición periódica
de la actividad.
-
Asequible económicamente.
-
Actividades de autoformación
asistida, programas de formación
a distancia.
Media:
- Puntuación entre 11 y 13.
- Puede plantear dificultades de acceso
físico, ya sea por su limitación
geográfica u horaria.
- No debe presentar grandes limitaciones
por razones de número o selección
de participantes.
Mínima:
- Puntuación entre 8 y 10.
- Plantea dificultades de acceso físico,
ya sea por sus limitaciones geográficas
u horarias.
- Presenta grandes limitaciones debido
a número o criterios de selección
de participantes.
No accesible:
- Puntuación igual o inferior a
7.
CRITERIOS DE AUDITORIA DE ACTIVIDADES ACREDITADAS
¿A quién
o quiénes vamos a auditar?
-
Actividades con posible
reacreditación, o bien que así
lo hagan constar en su solicitud.
-
Actividades que se
repiten en más de una ocasión
en el mismo año, aun repitiendo
el mismo esquema.
-
Actividades a distancia.
-
Actividades en las
que se posea información de alteraciones
en su desarrollo, respecto al protocolo
acreditado en esa edición o en
ediciones anteriores que se hayan realizado.
-
Actividades en cuya
valoración se planteen «dudas
razonables» respecto a la factibilidad
de la propuesta realizada:
-
Actividades que
se adapten de manera «demasiado
perfecta» a lo solicitado.
-
ctividades con
objetivos docentes muy ambiciosos.
-
Actividades con
importante parte práctica (más
de un 60%) en el programa.
-
Actividades que
planteen dudas en la metodología
(por defecto), o bien ésta
sea tan explícita y concreta
que plantee problemas en su consecución.
-
Actividades acreditadas
con «modificaciones» que
deben aportar, para evitar que realicen
una adaptación de la actividad
sólo en el documento que presentan
y no en la actividad que realizan.
¿Qué se va a evaluar de cada
actividad?
-
Evaluar la concordancia
entre la actividad acreditada y la que
se ha realizado: de qué forma
se lleva a cabo lo que tiene previsto
en la documentación que aporta
y cómo se ajusta a lo propuesto.
-
Evaluar la coincidencia
o no de fechas, horarios, número
de asistentes, horas reales, etc.
-
Evaluar la metodología
pedagógica congruente con los
objetivos previstos, así como
la consecución de éstos.
-
Evaluar el tipo de
evaluación realizada a discentes
y docentes y si se ajusta a la presentada
en los documentos evaluados de la actividad
docente.
-
Es muy importante,
aunque sea subjetiva, la valoración
global del auditor a modo de comentario
final, en que se valoren sus impresiones
frente al curso, tanto si son positivas
como si son negativas.
¿Cómo vamos a evaluar estas
actividades?
-
A través de
la cumplimentación de una hoja
de evaluación diseñada
a tal efecto por la comisión
para detectar las posibles congruencias
e incongruencias entre lo acreditado
y lo realizado.
-
Solicitando un informe-resumen
de la actividad realizada, donde se
haga constar el número de inscritos,
cuántos han finalizado la actividad,
el porcentaje de discentes que la han
superado mediante la evaluación
y los datos globales de la evaluación
de docentes y discentes.
ACTIVIDADES
A DISTANCIA
La lectura de libros y revistas científicas
es una práctica habitual de los profesionales
para buscar información que ayude
a resolver problemas del trabajo diario.
Sin embargo, se dispone de pocos datos sobre
su efectividad como método de aprendizaje.
Las actividades autoformativas a distancia
van más allá; son una lectura
estructurada y con unas reglas específicas.
Suponen una metodología docente encaminada
a la consecución de unos objetivos
docentes explícitos conocidos por
los alumnos al comienzo de la actividad.
La tendencia a la descentralización
en las actividades de FMC, junto con los
avances tecnológicos producidos,
auguran un aumento de este tipo de actividades.
En los últimos años hemos
observado la diversificación de los
formatos utilizados que, además,
abren nuevas posibilidades formativas. Tienen
como ventaja permitir un aprendizaje autodirigido,
en el que cada alumno avanza según
sus propias necesidades. El principal inconveniente
es la no interacción directa con
el docente y con otros discentes, si bien
las nuevas técnicas disponibles pueden
paliar este déficit.
Objetivos docentes
Los objetivos generales deben constar claramente
en la presentación de la actividad.
Asimismo, se incluirán los objetivos
específicos de cada una de las unidades
en el material docente que se entrega al
alumno, de forma que orienten al mismo sobre
los resultados que se esperan alcanzar.
Metodología
El formato en el que se presenta el material
de la actividad puede ser diverso: papel,
CD, Internet...
Los nuevos avances tecnológicos permiten
que la transmisión del material sea
más rápida y eficaz. Se han
diseñado cursos en los que el alumno
accede a una página web en la que
dispone del material docente.
El cronograma de la actividad debe
ser claro y conocido por el alumno al inicio
de la actividad.
Las entregas del material se realizarán
periódicamente (cada mes), sin dilatarse
excesivamente en el tiempo (máximo
cada 2 meses).
El número y el contenido de las mismas
debe facilitar su seguimiento y mantener
la coherencia con las horas totales de la
actividad. De forma orientativa, podría
establecerse del modo siguiente:
- < 20 h, una entrega.
- 20-50 h, 2 entregas.
- 50-100 h, 3 entregas.
- > 100 h, 5 entregas, correspondientes
al 20%.
Resulta imprescindible
la existencia de una tutorización,
bien a través de correo postal, vía
telefónica, o a través del
correo electrónico, de forma que
el alumno pueda despejar las dudas que puedan
surgir. Existe también la posibilidad
de crear foros de discusión en Internet
sobre aspectos concretos de la actividad.
Horas lectivas
Es difícil determinar con exactitud
el número de horas lectivas de una
actividad a distancia. Actualmente, suele
calcularse en función del tiempo
medio empleado para la lectura del material
docente; sin embargo, en algunas ocasiones
éste se plantea más como material
de consulta que como actividad propiamente
docente.Tampoco es fácil establecer
un método fiable de comprobación
de dicha lectura.
Se ha sugerido la sustitución del
tiempo dedicado por créditos basados
en la superación del programa por
medio de evaluaciones bien diseñadas.
Otra posibilidad es asignar créditos
fijos para determinadas actividades, independientemente
de las horas involucradas.
En la evaluación de la acreditación
es indispensable disponer al menos de una
unidad didáctica que permita evaluar
cómo se abordan los contenidos y
su complejidad, así como realizar
un cálculo del tiempo necesario para
su realización. A menudo, dicha valoración
se realiza sobre materiales no definitivos,
por lo que una vez se disponga de éstos
debe comprobarse la concordancia con el
material evaluado.
Contenido teórico
La presentación debe realizarse de
forma práctica y amena, con esquemas
y algoritmos que faciliten el seguimiento.
En este sentido, es especialmente interesante
el desarrollo a partir de supuestos prácticos
concretos o motivos de consulta, de forma
similar a como se abordan los problemas
en la consulta habitual.
Es también útil la inclusión
en los distintos capítulos de puntos
de resumen que destaquen las ideas principales.
Contenido práctico
Todos los módulos o unidades didácticas
deben incluir un contenido práctico
en forma de casos clínicos de la
práctica cotidiana, con preguntas
y respuestas razonadas. La estructura de
los mismos debe ser tal que no constituyan
una mera lectura, sino que faciliten al
alumno la reflexión y la integración
de los nuevos conocimientos.
En el caso de CD-ROM o Internet es fácil
incorporar casos clínicos interactivos.
El número de casos con las correspondientes
preguntas dependerá de su complejidad
y debe ser congruente con la duración
en horas lectivas.
Evaluación
El número de preguntas de la prueba
de evaluación debe estar en relación
con las horas docentes totales, considerándose
un mínimo adecuado una relación
de 2 preguntas/ hora.
El criterio mínimo para la superación
de la actividad suele establecerse exigiendo
un porcentaje mínimo de respuestas,
variable según la complejidad de
las preguntas.
En actividades de larga duración,
deben establecerse evaluaciones intermedias
que faciliten el seguimiento de la actividad.
En este caso, deberá exigirse un
mínimo de respuestas en cada una
de ellas para la superación final
de la actividad. Deben evitarse las preguntas
poco inteligibles o que se presten a confusión.
Es útil utilizar evaluaciones con
respuesta de elección múltiple
o casos clínicos sencillos para resolver
(con una respuesta posible clara para que
la evaluación sea más objetiva).
Hay que evitar las evaluaciones de «comprobación
de lectura».
Es importante la diferenciación clara
entre proveedor y financiador, de manera
que los circuitos de recogida y análisis
de las evaluaciones sean realizados únicamente
por el proveedor o una entidad independiente.
Encuesta de satisfacción
En toda actividad de formación continuada
se considera indispensable la realización
de una encuesta que informe del grado de
satisfacción con la actividad realizada
y su adecuación con la actividad
propuesta. Permite también corregir
los déficit detectados, lo que redunda
en beneficio de la actividad.
En las actividades a distancia, al no existir
una interacción directa entre alumno
y docente, y dado el gran número
de alumnos implicados, la encuesta de satisfacción
tiene un papel especialmente relevante.
En ella se valorarán los aspectos
organizativos (puntualidad en recepción
del material), de contenidos (calidad, extensión,
abordaje, utilidad, contenido práctico),
el tiempo empleado en la realización
y la utilidad de la actividad para la práctica
profesional habitual.
BIBLIOGRAFÍA
GENERAL
-
Análisis y
perspectivas de la formación
postgraduada. XIV Congreso de la Sociedad
Española de Educación
Médica. Disponible en: www.sedem.org/congresso.
-
Baca-García
E, Castejón M, Díaz-Sastre
C, Baca E. Nuevas perspectivas en formación
médica continuada: el empleo
de las nuevas tecnologías de
telecomunicaciones. Med Clin (Barc)
2000; 114:704-11.
-
Cantillon P, Jones
R. Does continuing medical education
in general practice make a difference?
BMJ 1999;318:1276-9.
-
Davis DA. Global
health, global learning. BMJ 1998;316:385-9.
-
Davis DA, Thomson
MA, Freemantle N,Wolf FM, Mazmanian
P,
-
Taylor-Vaisey A.
Impacto de la formación médica
continuada. JAMA (ed. esp.) 2000;9.
-
Davis DA, Thomson
MA, Oxman AD, Haynes RB. Changing physician
performance: a systematic review of
continuing medical education strategies.
JAMA 1995;274:700-5.
-
From CME to CPD:
getting better at getting better? BMJ
2000; 320:393-4.
-
Gayoso P, De la Cal
A. Criterios de acreditación
de actividades de formación continuada.
FMC 1999;6:141-2.
-
Holm HA. Quality
issues in continuing medical education.
BMJ 1998;316:621-4.
-
Macintosch M, Chard
T. Pelvic manikins as learning aids.
Med Educ 1977;31:194-6.
-
Pardell H. ¿Qué
podemos esperar de la formación
médica continuada?
-
Mitos y realidades.
Med Clin (Barc) 2000;114:419-30.
-
Peck C, McCall M,
McLearen B, Rotem T. Continuing medical
education and continuing professional
development: international comparisons.
BMJ 2000;320:432-5.
-
Sistema de Acreditación
de Actividades de Formación Continuada
en Atención Primaria (semFYC-SEMERGEN).
Disponible en: www.semfyc.es/Nueva/Acreditación/Información
-
Towle A. Changes
in health care and continuing medical
education or the 21st century. BMJ 1998;316:301-4.
|
