“Evaluación de políticas y
programas de Salud”
Natalia Yavich
Firmat, 20 y 21 de Julio de 2007
Departamento de Economía y Gestión en Salud
Maestría de Gestión en Sistemas y Servicios de Salud
Evaluación
Proceso de determinar el valor o
significación de una actividad, política
o programa. Es una apreciación tan
sistemática y objetiva como sea
posible de una intervención planeada,
en curso o concluida.
Development Assitence Committee. (DAC) Organización para la Cooperación y el
Desarrollo (OECD) (2002) Glosario de los principales términos sobre evaluación y gestión
basada en resultados.
Primos hermanos
Monitoreo
Investigación
Monitoreo
Función continua que utiliza una
recopilación sistemática de datos sobre
indicadores especificados para
proporcionar a los administradores (…)
indicaciones sobre el avance y el logro
de los objetivos así como de la
utilización de los fondos.
Development Assitence Committee. (DAC) Organización para la Cooperación y el Desarrollo
(OECD) (2002) Glosario de los principales términos sobre evaluación y gestión basada en
resultados.
Investigación
Realización de actividades intelectuales y/o
experimentales de modo sistemático con el
propósito de aumentar los conocimientos
sobre una determinada materia.
Real Academia Española. Diccionario de la Lengua Española
Trabajo en grupo:
Diferencias entre
E&M y E&I
Diferencias entre E & M
Monitoreo Evaluación
Intervención en marcha Previo, durante o luego de la
implementación.
Actividad continua Tarea situada en un tiempo
específico.
Actividad interna Actividad interna, externa o
participativa
Feedback continuo Feedback periódico
El uso de resultados es El uso es responsabilidad
responsabilidad del gerente, conjunta del evaluador y
generalmente actores involucrados en la
implementación
Diferencias entre E & I
Investigación Evaluación
Pura o aplicada Aplicada
Usuarios no necesariamente definido Usuarios definidos
Tiempos académicos Tiempos definidos por las necesidades
de los usuarios y el timing de la
intervención
Estándares de evaluación: académicos Estándares de evaluación:
(metodológicos y éticos, principalmente). utilidad,
(realista, “diplomática”)
factibilidad
apropiada (ética, legalmente),
adecuada (técnicamente adecuada para
determinar el valor de una intervención)
Objetivo y forma de la diseminación: Objetivo y forma de la diseminación:
dirigida a la comunidad académica y dirigida a usuarios predefinidos y en
comunicada en formatos académicos formatos adaptados a las necesidades
del usuario.
Objetos de evaluación
Proyectos: una intervención puntual.
Programas: conjunto de proyectos.
Políticas: conjunto de programas alineados en el
marco de un conjunto de normas o estándares.
Organizaciones: intervenciones múltiples
desarrolladas por una misma organización.
Sectores: intervenciones relativas a un determinado
campo de acción: salud, educación, etc.
Temáticas: temas particulares que cruzan distintas
políticas o intervenciones: equidad de género,
pobreza, etc.
Otras: asistencia a países, etc.
Propósitos de la evaluación
Éticos: generación de reportes dirigidos a tomadores de
decisiones y ciudadanos. Rendición de cuentas,
transparencia.
Gerenciales: mejorar el manejo de los recursos
financieros y humanos.
Toma de decisiones: Proveer evidencia para decidir
sobre la continuación, finalización o cambio de una
política.
Capacitación y motivación: mejora organizacional;
diálogo y cooperación entre actores. Capacitación y
motivación de los actores vinculados con una política,
para lograr un mayor involucramiento y/o comprensión de
la relación entre los procesos de trabajo y el logro de los
objetivos.
Información provista por
las evaluaciones
Sobre la estrategia elegida: ¿Es nuestra
estrategia la mejor opción? (justificación
del diseño).
Sobre el desempeño de nuestra
estrategia: ¿Está siendo nuestra
estrategia implementada en la forma
adecuada?
Lecciones aprendidas: ¿Hay otras formas
mejores de lograr el mismo objetivo?
Usos pragmáticos de la evaluación
Asignación de recursos.
Replanteo de las causas de un problema.
Identificar problemas emergentes.
Apoyar toma de decisiones para
seleccionar las mejores alternativas o
elegir entre alternativas competitivas.
Apoyar decisiones de procesos de
reforma o innovaciones.
Construir consenso sobre las causas de
un problema y los modos de respuesta.
Evaluación focalizada en la utilización
Requerimientos:
Compromiso de los usuarios con la evaluación
Articulación de evaluadores y usuarios principales
desde la etapa inicial
Orientación de la evaluación en función de las
necesidades de los usuarios.
De lo contrario es una pérdida de tiempo y
dinero.
Tipos de Evaluación según
responsable de su conducción
Evaluación interna
Evaluación externa
Evaluación participativa: evaluador externo +
stakeholders (decisores y beneficiarios)
coordinan acciones durante todo el proceso
de evaluación.
Trabajo en grupo
Ventajas de las
evaluaciones interna y
externa
Ventajas de las evaluaciones
internas y externas
Interna Externa
Mejor conocimiento del programa Desnaturalización del programa o política
(soluciones o problemas invisibles para un
miembro de la organización)
Mayor conocimiento de la historia Mirada más global de la organización
del programa
Preguntas más relevantes y Menos susceptible a presiones e
pertinentes influencias de los tomadores de decisiones
Se sabe qué está pasando Mayor credibilidad y percepción de
“realmente” objetividad
Habilidades especializadas, ausentes en la
organización
Tipos de evaluación
Ex ante o prospectiva: evaluación de
programas o datos previos.
Evaluación formativa: dirigida a mejorar el
desempeño de una intervención.
Evaluación sumativa: orientada a
determinar el grado en el cual los alcances
deseados fueron alcanzados por la
intervención.
Prospectiva E. Formativa E. Sumativa
Propósito Proveer información Feedback inmediato Proveer información sobre el
de la sobre evaluaciones para mejorar el valor o impacto de una
evaluación previas para desempeño intervención.
determinar las chances
de éxito de una nueva
intervención
Objetivo Determinar si vale la Determinar la Determinar el grado en el
de la pena la inversión. coherencia entre la cual el alcance o impacto
evaluación “lógica operativa” y el anticipado fue realizado.
funcionamiento real y
sus consecuencias
inmediatas.
Momento de Antes Durante la Al final
ejecución implementación
Foco Planificación Implementación y Obtener información
mejora (Consecuencias o
resultados) que ayude a
decidir sobre la creación,
continuación o ampliación
de una intervención.
Pasos básicos de una evaluación
A. Planificación de la evaluación C. Recolección de datos
o front-end analysis D. Análisis
B. Diseño E. Diseminación de resultados
Proceso no lineal
A. Planificación de la evaluación
o front-end analysis
1. Comprensión de la relación entre las etapas
de la intervención y la pregunta general de
evaluación general.
2. Comprensión del contexto político de la
intervención. Identificación de stakeholders
3. Construcción de la Teoría o Lógica
Subyacente del programa.
4. Balance de costos y beneficios de la
Evaluación.
A. 1. Comprensión de la relación entre las etapas de la
intervención y la pregunta general de evaluación
Etapas de desarrollo de la Preguntas Identificación
intervención
Planificación
Evaluación necesidades y del ¿A qué nivel están siendo las
problema social necesidades de la población cubiertas?
Determinación de objetivos ¿Qué debería hacerse para satisfacer
esas necesidades?
Análisis de intervenciones ¿Qué servicios deberían brindarse para
alternativas producir los cambios deseados?
Selección de una alternativa ¿Qué abordaje es más apropiado?
Programación de la ¿Cómo debería el programa ser puesto
Implementación en marcha?
Implementación ¿Está la intervención funcionando de
acuerdo con lo planeado?
Resultados ¿Está el programa produciendo los
resultados deseados? √
Eficiencia, eficacia, costo-efectividad, etc.
A. 2. Comprensión del contexto
político: Identificación de stakeholders
Identificación de Interés en el proyecto Capacidad Estrategias potenciales para
stakeholders de influencia obtener apoyo o reducir
(A, B, C) obstáculos
Gerente de la Del buen desempeño del A Involucramiento en el proceso
intervención proyecto depende su de evaluación desde etapas
crecimiento político personal, tempranas.
fuente de ingreso.
Beneficiarios Beneficios del proyecto B Organización de talleres de
consulta con la población e
informativos.
Gerente de otras Busca el cese de la A Involucramiento en ciertas
intervenciones intervención dado que es instancias del proceso de
relacionadas competitiva con su proyecto evaluación.
Población objetivo
no beneficiario, etc. …… ….. ……
Management Sciences for Health (MSH) and UNICEF “Stakeholder Analysis”
http://erc.msh.org/quality/ittools/itstkan.cfm
Trabajo en grupo
15’
Conformación de grupos en torno
a una intervención
Consigna
Relación entre las etapas de la intervención y la
pregunta general de evaluación.
Comprensión del contexto
político: Identificación de stakeholders.
A. 3. Comprensión de la intervención:
teoría del programa
Recolección de evidencia Recolección de evidencia
documental y científica empírica
• a. evaluaciones y análisis Cadena de acciones (quien
de otros programas similares provee recursos, quien los
y recibe, cómo se usan, cuáles
• b. documentos del son los obstáculos para
programa en cuestión. alcanzar los efectos se busca
generar, efectos deseados)
Teoría de cambio
A. 3. Teoría de cambio: Modelos lógicos o teoría de programas
Teoría o lógica del
Evaluación de programa
productos (outputs) Explicación sistémica y
causal de la influencia del
Inputs Outputs contexto y de la interacción
≠ de componentes al interior
del sistema.
Caja Negra
Inputs Caja Negra Outcomes
Contexto
3. Teoría de Cambio
Teoría de cambio: es la explicitación de las relaciones de causa efecto de
una intervención.
Ventajas:
•Muestran los lazos entre una cadena de eventos que explican las
relaciones entre causas y efectos.
•Ayudan a pensar cómo medir los distintos componentes y comprender su
interacción.
•Ayudan a identificar gaps en las cadenas de relaciones.
•Ayudan a identificar aspectos críticos de la cadena de relaciones.
Modelos: técnicas visuales que ayudan a establecer
una teoría de cambio.
Ejemplos:
Teoría del Programa
Modelos lógicos
Modelo de Efectos del Programa
Marco lógico, etc.
Teoría del programa (Program Theory)
Descripción del programa que combina:
Teoría normativa (lo que debe hacerse)
Teoría de los stakeholders (lo que ocurre)
en un modelo causal de relaciones (entre el problema, la
intervención y los efectos deseados).
Utilidad:
Evaluar la relevancia del programa.
Evaluar la lógica del programa.
Confrontar el programa con resultados de
investigaciones.
Etc.
Teoría del programa (Program Theory)
Visitas domiciliarias de enfermeras
a padres de recién nacidos
Enfermeras y padres se conocen
comparten visiones e información
Los padres reciben información Las enfermeras identifican problemas
Las enfermeras comprenden sobre la disponibilidad de vacunas en el hogar (violencia, uso de
la cultura de los padres y servicios ofrecidos en el CS drogas, padres con discapacidades)
Conciencia de la importancia Consejería con psicólogos,
Reconocimiento de necesidades
de la vacunación y controles, trabajadores sociales, ayudas
Especiales y humanización de la
humanización de la especiales para padres
relación prof. población
relación profesionales / población discapacitados
Aumento de < de un año inmunizados
y con esquema de vacunación completo
Modelo de Efectos del Programa
(Program Outcome Model)
Establece una relación entre:
Recursos invertidos,
Actividades desarrolladas con esos recursos
Servicios provistos a partir de esas actividades
(outputs),
Cambios generados a partir de los outputs
(outcomes o efectos)
Cambios de largo términos generados por la
intervención (impacto).
Utilidad: construcción de sistemas de M & E basadas
en resultados.
Modelo de Efectos del Programa
(Program Outcome Model)
Ejemplo relativo a un programa de capacitación
Modelo lógico (Logic Model)
Se centra en la comprensión de la relación entre el
programa y sus efectos deseados. Ayuda a identificar
presupuestos críticos.
Componentes:
Básicos: actividades, productos (outputs), resultados
(outcomes)
Otros componentes: target (grupos o clientes a los
cuales se dirigen las activiades), recursos (inputs),
resultados (cambios) inmediatos, intermedios (outcomes)
y finales (impacto).
Las relaciones entre cuadros se grafican con flechas que
deben leerse como: = “si (…) entonces (…)”
Utilidad: planificación, gestión, evaluación y
comunicación.
Watson, Diane (2002) “Atención Primaria de Salud (APS): Marco de Rendimiento, Medida & Evaluación” CHSPR.
Sitios web
CDC Evaluation Working Group: Logic Model Resources
http://www.cdc.gov/eval/resources.htm#logic%20model
Community Toolbox. A Framework for Program Evaluation: A Gateway to Tools.
http://ctb.lsi.ukans.edu/tools/EN/sub_section_main_1338.htm
International Development Research Centre (2004). Evaluation Planning in Program Initiatives Ottawa,
Ontario, Canada. Online:
http://web.idrc.ca/uploads/user-S/108549984812guideline-web.pdf
Carolien Klein Haarhuis (2005). Promoting anti-corruption reforms: Evaluating the implementation of a
World Bank anti-corruption program in seven African countries. Available online at:
http://igitur-archive.library.uu.nl/dissertations/2005-0714-200002/full.pdf
Management Sciences for Health (MSH) and the United Nations Children’s Fund (UNICEF), “Quality
guide: Stakeholder analysis” in Guide to managing for quality.
http://bsstudents.uce.ac.uk/sdrive/Martin%20Beaver/Week%202/Quality%20Guide%20-
%20Stakeholder%20Analysis.htm
Porteous, Nancy L., Sheldrick, B.J., and Stewart, P.J. (1997). Program evaluation tool kit: A blueprint for
public health management. Ottawa, Canada: Ottawa-Carleton Health Department. Available online at
http://www.phac-aspc.gc.ca/php-psp/tookit.html (English) or
http://www.phac-aspc.gc.ca/php-psp/toolkit_fr.html (French)
Taylor-Powell, Ellen (2005). “Logic models: A framework for program planning and evaluation”. Madison
WI: University of Wisconsin-Extension, Program Development and Evaluation.
http://www.uwex.edu/ces/pdande/evaluation/pdf/nutritionconf05.pdf
University of Ottawa Program Evaluation Toolkit. Program Logic Model:
http://www.uottawa.ca/academic/med/epid/excerpt.htm
University of Wisconsin-Extension (UWEX). Logic Model:
http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html
University of Wisconsin-Extension examples of logic models.
http://www.uwex.edu/ces/pdande/evaluation/evallogicmodelexamples.html
W.K. Kellogg Evaluation Logic Model Development Guide:
http://www.wkkf.org/pubs/tools/evaluation/pub3669.pdf
Pasos básicos de una evaluación
B. Diseño
1. Definición de preguntas.
2. Selección del diseño.
B. Diseño. Preguntas.
Propósito: Dan sentido / dirección a la
evaluación.
Requerimientos: Claras, realistas,
medibles, centradas en lo importante, consideración
del ciclo político de la intervención (enfocadas en el
uso).
B. Diseño. Preguntas.
Tipo de preguntas:
Descriptivas:
- Qué? Quién? Cómo? Cuánto? Cuándo? Dónde?
- Foco en descripción de inputs, actividades, outputs y
opiniones.
Normativas:
- Comparación entre lo que ocurre y lo que debería ocurrir
(target u objetivo específico).
- Foco en medición de inputs y outputs.
Causa-Efecto:
- Qué cambios ocurrieron como resultado de la
intervención?
- Foco en medición Outcomes e impactos.
B. Diseño. Tipos.
¿Qué diseño se requiere para responder a las preguntas planteadas?
P. Descriptivas P. Normativas P. Causa – Efecto
Transversal: X O1 Transversal Estudios experimentales
Control de la intervención (Ético?)
Cross-sectional: X O1 Cross-sectional
- Estudios controlados randomizados:
(respuestas de X O2
Caso control Ex ante – Ex post:
distintos sub-grupos) X On
O1 O3 On
Ex ante – Ex post: O1 X O2 Ex ante – Ex post: X
O2 O4 On
Series temporales: (con el mismo tipo Series temporales Estudios cuasi-experimentales
de población o con la misma (Asignación de casos y controles no
población -longitudinal) aleatoria)
O1 X O2 On (antes y después) Control de variables
ó -Casos controles
X O1 O2 On (después) -Cross-sectional, etc.
Estudio de caso: Análisis profundo + Estudio de caso Estudios no experimentales
información contextual Control de variables
O1 -Estudio de caso
O2 -Ex ante – Ex post
Contexto + intervención On
X = Intervención; O = Observación
Campbell Collaboration
Información para toma de decisiones sobre
efectos de intervenciones no médicas.
Información evaluaciones y diseños.
Diseminación de revisiones sistemáticas y
estudios para su uso por decisores,
practicantes y investigadores.
http://campbellcollaboration.org
C. Recolección de datos
C. Recolección de datos
Sitios Web
Dunham, Randall B. (1998). The Delphi Technique, from Organizational Behavior, University
of Wisconsin School of Business:
http://instruction.bus.wisc.edu/obdemo/readings/delphi.htm
Evaluators' Instruments Exchange. Online: http://141.218.173.232:120/xchange/default.htf
Harrell, A. Evaluation Strategies for Human Services Programs: A Guide for Policymakers
and Providers. Online:
http://www.bja.evaluationwebsite.org/html/documents/evaluation_strategies.html
Carter McNamara, MBA, PhD, General guidelines for conducting interviews. Online at:
http://www.managementhelp.org/evaluatn/intrview.htm#anchor615874
Nielsen, J. (1997). The use and misuse of focus groups. Online:
http://www.useit.com/papers/focusgroups.html
Porteous, Nancy L., Sheldrick, B.J., and Stewart, P.J. (1997). Program evaluation tool kit: A
blueprint for public health management. Ottawa, Canada: Ottawa-Carleton Health
Department. Available online at
http://www.phac-aspc.gc.ca/php-psp/tookit.html (English) or
http://www.phac-aspc.gc.ca/php-psp/toolkit_fr.html (French)
The Measurement Group: Evaluation/Research Tools. Online:
http://www.themeasurementgroup.com/evalbttn.htm
Matriz de diseño de la evaluación
Tipo de Preguntas Tipo Tipo de Métodos de Fuentes Variables /
evalua- (D, N, C-E) diseño recolección de (P, S) Categorías
ción (P, información (Outcomes)
F, S)
¿Qué factores están D Transversal Encuesta a P Continuidad
impidiendo o beneficiarios de la
facilitando la Entrevistas con P atención
continuidad de la proveedores
atención? Observaciones
P
en CS
S
¿Qué cambios en la C-E Estudio de Entrevistas P Mecanis-
coordinación inter e caso Revisión de S mos de
intra institucional documentos Coordina-
produjo el programa Análisis de
ción inter e
x en el sistema Y? S intra
bases de datos
Orga-
nizacinal
E. Análisis de información
Análisis cuantitativo: Análisis cualitativo:
- Estadística descriptiva (frecuencias, - Análisis de contenido
porcentajes, promedios, moda, desvío Ethonograph website at:
http://www.qualisresearch.com/default.ht
estándar, etc.) m
Qualpro website at:
- Estadística inferencial (medidas de http://www.qualproinc.com/
Hperqual website at:
asociación y correlación) http://home.satx.rr.com/hyperqual/
•Porteous, Nancy L., Sheldrick, B.J., and Stewart, P.J. (1997). Program Atlas-ti website at:
evaluation tool kit: A blueprint for public health management. Ottawa, http://www.atlasti.com/
Canada: Ottawa-Carleton Health Department. Available online at QSR Software, for N^ (formerly
•http://www.phac-aspc.gc.ca/php-psp/tookit.html (English) or NUD*IST) website at:
•http://www.phac-aspc.gc.ca/php-psp/toolkit_fr.html (French) http://www.qsr.com.au/
•StatSoft, Inc. (2001). Electronic Statistics Textbook. Tulsa, OK: Loughborough University Department of
StatSoft. Social Sciences. New methods for the
•http://www.statsoft.com/textbook/stathome.html analysis of media content. CAQDAS- A
•Statistics at Square One primer.
•http://bmj.bmjjournals.com/collections/statsbk/index.shtml http://www.lboro.ac.uk/research/mmetho
ds/research/software/caqdas_primer.htm
•Stat Primer l#what
•http://www2.sjsu.edu/faculty/gerstman/Stat Primer
•Statistics Computer Programs Métodos mixtos:
•SPSS (free 30 day download)
•http://www.spss.com
-Triangulación de fuentes P y S
•Online tutorials for SPSS -Triangulación de técnicas
•Tutorial for SPSS v. 11.5
•http://www.datastep.com/SPSSTraining.html/
-Triangulación de datos
•Getting Started with SPSS for Windows Para corroboración, informar una
•http://www.indiana.edu/~statmath/stat/spss/win/ técnica con otra, complementar
E. Diseminación de resultados.
Feedback continuo y audiencia en mente: mejoran las
chances de apropiación de resultados y relevancia de la
evaluación.
Estructura “clásica” de un informe final
Informes parciales
Antecedentes y contexto de la evaluación.
Propósito de la evaluación.
Alcance de la evaluación y metodología.
Resultados (hallazgos).
Lecciones aprendidas / Recomendaciones (basadas en los
hallazgos)