TECNICAS DE
EVALUACION DE
MODELOS
Técnicas de Evaluación de
Modelos
• Se define como un amplio conjunto de
contrastes a los cuales un modelo puede y
debe someterse en muy diferentes
etapas durante el proceso de
construcción y subsiguiente empleo.
• Existen una gran cantidad de índices que
buscan medir la bondad de un modelo, la
elección se hará en base a los objetivos
que persigue el investigador.
Técnicas de Evaluación de
Modelos
• Por lo general, para medir la eficancia
de los modelos se divide la muestra en
dos, con la primera parte de la
muestra se construye el modelo y con
la segunda se evalúa la eficacia del
modelo (análisis fuera de la muestra)
Técnicas de Evaluación de
Modelos
• A continuación se presentan ocho
métodos o índices utilizados en la
contrastación de los modelos
clasificados en:
– Contrastes de significación estadística
– Validación del modelo fuera de la
muestra
– Contrastes de hipótesis básicas.
Contrastes de Significación
Estadística
• 1.- Signo esperado del parámetro de regresión: un
contraste básico para todo parémetro es que su
signo coincida con el que se había planteado
originalmente en el modelo, basado en el
conocimiento teórico de las relaciones económicas.
• 2.- Coeficiente de determinación (R2): se interpreta
como la proporción de la variación de la variable
endógena que queda explicada por la regresión:
R2 = 1 - Se2 R2= coeficiente de determinación
Sy2 Se2= varianza de los errores
Sy2 = varianza de la variable real
Se establece que un R2= 0.8 es suficiente para
considerar que un modelo es bueno, sin embargo,
no se puede emitir un juicio inmediato sobre la
validez del modelo a partir de este indicador.
•3.- Contraste de significación de un parámetro
individual (estadístico t): un parámetro puede
considerarse estadísticamente significativo (a
niveles de confianza de aprox. 95%) si el valor
del estimador supera dos veces su desviación
estándar.
•4.- Estadístico de Durbin y Watson: se conoce
como estadístico “d” y se utiliza para detectar
autocorrelación serial (o correlación serial).
t n
e et1
2
t Et: error o residuo en t
d t 2
t n
t: tiempo
e 2
t
Es la razón de las sumas de
las diferencias al cuadrado
t1
de residuos sucesivos.
Una de las limitaciones de este test es que verifica la
hipótesis de ausencia de autocorrelación en el término
de perturbación, frente a la hipótesis alternativa de
autocorrelación de primer orden. Si la estructura de
autocorrelación del término de de perturbación fuese
más compleja, su detección podría pasar inadvertida.
Contrastes de Significación
Estadística
• 5.- Estadístico H de Durbin: es una
prueba para muestras grandes para
detectar correlación serial de primer
orden en los modelos autorregresivos.
N
H p
ˆ
1 N [var( ˆ 2 )]
Se puede obtener p a partir de “d”:
ˆ
1
1 d
ˆ
2
H tiene una distribución asintomática
normal (AN) con promedio cero y varianza
unitaria. A partir de la distribución normal
se sabe que la probabilidad de que H se
encuentre entre entre -1.96 y +1.96 es
aproximadamente 95%.
Por tanto, la regla de decisión será: “si H se
encuentra entre -1.96 y +1.96 no se rechaza
la hipótesis nula de que no existe
autocorrelación de primer orden (positiva o
negativa)
• Regresiones Espurias
– Este problema aparece cuando se haya la
regresión estática entre series económicas
afectado por tendencias comunes, lo que lleva
a encontrar R2 elevados, sin que exista
realmente una relación de causa efecto.
Además, aparte del elevado R2, aparece un
valor pequeño de Durbin y Watson, indicativo
de que los errores de la ecuación están
autocorrelacionados positivamente.
Si no se presta atención a este problema, se
puede incurrir en serios problemas de
especificación.
Validación del Modelo Fuera de
la Muestra (prueba a posteriori)
• Se relaciona con la capacidad del modelo
para describir la realidad y para predecir
fuera del intervalo muestral el
comportamiento de la variable endógena.
• Existen una serie de medidas que se
pueden utilizar bien sea en la fase de
construcción de un modelo, como también
durante el proceso de aplicación, los
cuales se describen a continuación.
MEDIDAS A POSTERIORI DEL MODELO
1. Medidas sobre los errores: Error cuadrático medio
Error medio absoluto
2. Análisis predicción realización: Diagramas predicción-
realización
Análisis de punto de cambio de
tendencias (turning points)
Coeficiente de desigualdad de
Theil
3. Comparación con otros modelos: Descomposición del error
Comparación con modelos
"ingenuos"
Comparación con modelos
alternativos.
1.- Medidas sobre los errores
• Error cuadrático medio: consiste en la suma
de las diferencias al cuadrado entre lo real y
lo proyectado por el modelo
Error = (pi - ri)2 = e2i/N
p= valor proyectado, r = valor real N = tamaño de la muestra
• Error medio absoluto y porcentaje
cuadrático de error
% Error = (pi - ri)2/ri = e2i/N
p= valor proyectado, r = valor real N = tamaño de la muestra
Raíz cuadrada del
[(PI rI ) / rI ]
2
% de error cuadrático
R.%E.C.M .
N medio
Para verificar si las diferencias entre los errores cuadráticos
medios correspondientes a los dos métodos de predicción,
es significativa, se utilizan las siguientes series:
St = et + e*t y D = et - e*t
donde et + e* son los errores de predicción de los procedimientos
1 y 2, respectivamente. Luego, se verifica la hipótesis de que el
coeficiente de correlación entre S y D es igual a cero, para lo
cual se utiliza el test t o test z de Fisher. Si se rechaza la
hipótesis existe una diferencia significativa entre los errores
cuadráticos medios de ambas predicciones (índice W-K).
2.-Análisis Predicción-Realización
• Diagramas predicción-realización: se construye a
partir de las tasas de variación reales (eje x) y
estimadas (eje y) para la variable endógena
% Estimado
de Cambio Sobreestimación
Subestimación
Error del del cambio
cambio 1
de signo
I
IV
% Real de Cambio
Error del cambio II
III 2 de signo
Cuadrante I: %cambio de la variable es mayor que
cero al igual que la variación proyectada
Cuadrante III: %cambio de la variable es menor que
cero al igual que la variación proyectada.
Cuadrante II y IV: el error ha sido de signo: se han
proyectado aumentos (disminuciones) frenta a
disminuciones (aumentos) reales
La línea de predicción perfecta corresponde a la
diagonal que divide a dos cuadrantes (I y III)
• Análisis de puntos de cambio de Dirección
(%P.D): los puntos de cambio de tendencia
en una serie temporal permiten contrastar
el correcto comportamiento del modelo. Se
utiliza:
– %P.D: Porcentaje de predicción de cambios
de dirección: porcentaje de cambios
predichos correctamente por el modelo
(puntos en los cuadrantes I y III)
– %P.D: porcentaje de cambios de tendencia
erradas respecto al total real de cambios de
tendencia
• Coeficiente de desigualdad de Theil
(U): permite analizar tanto la bondad
de la predicción como los
componentes de éste:
X te X t 1
1 N Pt *100 Variacion proyectadaen %
N
t
( P Rt ) 2
t 2
X t 1
U N Rt
X t X t 1
*100 Variacion real en %
1
Rt X t 1
2
N t 2
El coeficiente U se interpreta como la relación entre la raíz
cuadrada del error cuadrático medio de las predicciones y la
raíz cuadrada del error cuadrático medio correspondiente
al modelo “naive” que supone que no habrá cambios en el futuro.
Para este modelo, U2 = 1 , lo que representa un límite superior,
ya que si lo sobrepasa, implica que el modelo predice peor que
el modelo “ingenuo de paseo aleatorio”.
• Se puede descomponer el índice U2 en
tres nuevos índices: U2=U2s+U2v+U2c
• Componente de sesgo U2s
Recoge las diferencias entre
(P R )2
2
Us las medias.
1 N
Rt
2
N t 2
• Componente de varianza: U2v;
(S p Sr ) 2 Este componente es mayor
U 2
v cuanto más difieran entre
1 N
Rt
2
si las desviaciones estándar
N t 2 de las predicciones y de los
datos reales.
• Componente de correlación U2c:
2(1 r ) S P S R Recoge las diferencias entre la
UC variación conjunta entre predicciones
1 N 2
Rt
N t 2
y realizaciones. Si Uc= 0 implica que
el coeficiente de correlación es 1.
A medida que Uc se va acercando a 1,
(P P ) (R R ) la predicción será más imperfecta.
r
SP SR
3.- Comparación con otros modelos
• Comparación con modelos ingenuos:
son modelos tan simples que en la
práctica sólo se usan como referencia
a fin de valorar la capacidad
predictiva de otros modelos más
complejos, comparando sus errores de
predicción con los de éstos.
Otros índices útiles para la valoración de modelos
CRITERIO FORMULA
AIC de Akaike K
2
ln s k 2
T
BIC de Sawa s
2
K ) 2 ( K 1)
2 k
s K (T 2
s K
2 ( T K )
AICC de Hurvich y Sai ln s
2
k
T K
2 K ln( T )
SBIC de Schwartz ln s k
T
2 K ln(ln( T ))
HQ de Hannan y Quinn
2
ln s k
T
MDL de Rissanen 2 ln X X
ln T s k
T
2 2 ln( T )
BEC de Geweke y Meese
s K s
k
K K
T
2
s k es la varianza residual corregida de cada modelo, es decir, SCR/(T - K), siendo
SCR la suma de los cuadrados de los residuos, T el tamaño muestral y K el número de
regresores incluidos en el modelo .
K = k, para el modelo restringido y K= k para el modelo completo.
2
s k es la varianza residual corregida correspondiente al modelo completo.
X es la matriz de los K regresores.
2
s kt
son las varianzas muéstrales corregidas en la estimación recursiva