Modelos I

Santiago Benitez-Vieyra

Modelos de múltiples variables independientes

  • La interpretación de los parámetros se complica, particularmente si existen interacciones.
  • Existen distintas maneras de incorporar las variables al modelo, en particular ¿las variables independientes tiene un efecto secuencial o simultáneo?
  • Existen nuevos problemas para el buen ajuste del modelo, especialmente la colinearidad.
  • ¿Cómo elijo el mejor modelo para mis datos? ¿debo predecir o explicar un patrón?

Representación Modelo
Y ~ 1 regresión por el origen, modelo sin efecto.
Y ~ A regresión lineal simple y ANOVA.
Y ~ A - 1 regresión con intercepto en cero.
Y ~ A + B modelo lineal múltiple sin interacción.
Y ~ A*B modelo lineal múltiple con interacción.
Y ~ A + B + A:B idem anterior.
Y ~ (A + B + C)^2 modelo con todas las interacciones de grado 2.
Y ~ A + B + C + A:B + A:C + B:C idem anterior.
Y ~ A/B modelo con B anidado en A.
Y ~ A + B%in%A idem anterior.
Y ~ A + I(A^2) modelo con efecto no lineal.

fit <- lm(Y ~ A + B + C, data = Datos)
summary(fit)

Call:
lm(formula = Y ~ A + B + C, data = Datos)

Residuals:
Min 1Q Median 3Q Max
-23.11973 -3.91218 -0.00486 3.42803 20.64737

Coefficients:
              Estimate   Std. Error   t value    Pr(>|t|)
(Intercept) -27.67413    5.89520       -4.694    7.69e-06 ***
A             0.31502    0.01917       16.430  < 2e-16 ***
B             7.77330    1.44922        5.364    4.49e-07 ***
C            -1.25652    0.96565       -1.301    0.196
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 6.084 on 111 degrees of freedom
Multiple R-squared: 0.7634, Adjusted R-squared: 0.757
F-statistic: 119.4 on 3 and 111 DF, p-value: < 2.2e-16

  • El intercepto (\(\beta_{0}\)) se interpreta como el valor de la variable dependiente (y) cuando todas las variables independientes (\(x\)) toman un valor de 0.
  • El coeficiente regresión parcial (\(\beta_{1}\)) es la pendiente de \(y\) en \(x_{1}\), mide el cambio en y por cada unidad de cambio en \(x_{1}\), manteniendo los valores de las demás \(x\) (\(x_{2}\), \(x_{3}\), etc.) constantes.
  • \(\beta_{1}\) mide los efectos directos de \(x_{1}\) sobre \(y\), descontando los efectos indirectos debidos a la correlación entre \(x_{1}\) y las otras variables \(x\) incluidas en el modelo.
  • Los coeficientes parciales pueden contener efectos indirectos de variables no incluidas en el modelo.
  • El \(R^2\) no aumenta linealmente porque solo incluye la variación debida a los efectos directos.

Interacciones

Sumas de Cuadrados. Tipo 1.

set.seed(123); a <- rnorm(100); b <- a+0.1 + rnorm(100) #simulacion
y <- 0.3*a + 0.3*b + 0.2*a*b + rnorm(100)               #simulacion
fit <- lm(y ~ a*b)
anova(fit)
## Analysis of Variance Table
## 
## Response: y
##           Df Sum Sq Mean Sq F value    Pr(>F)    
## a          1 17.986 17.9860  20.483 1.725e-05 ***
## b          1  7.577  7.5769   8.629  0.004142 ** 
## a:b        1 21.291 21.2912  24.247 3.521e-06 ***
## Residuals 96 84.296  0.8781                      
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Suma de Cuadrados Descripción A favor En contra
Tipo I Las variables son añadidas una a una, en el orden indicado en la fórmula. No subestima la suma de cuadrados total. Preferible en modelos anidados donde hay un orden natural. Distinto orden de los factores produce distintos resultados.

Sumas de Cuadrados. Tipo 2.

set.seed(123); a <- rnorm(100); b <- a+0.1 + rnorm(100) #simulacion
y <- 0.3*a + 0.3*b + 0.2*a*b + rnorm(100)               #simulacion
library(car); Anova(fit, type = 2)
## Anova Table (Type II tests)
## 
## Response: y
##           Sum Sq Df F value    Pr(>F)    
## a          1.750  1  1.9932  0.161245    
## b          7.577  1  8.6290  0.004142 ** 
## a:b       21.291  1 24.2473 3.521e-06 ***
## Residuals 84.296 96                      
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Suma de Cuadrados Descripción A favor En contra
Tipo II Cada término es testeado después de introducir todos los otros, excepto las interacciones Modelo muy usado, especialmente cuando no hay interacciones. El orden no importa. Es sensible al desbalanceo.

Sumas de Cuadrados. Tipo 3.

set.seed(123); a <- rnorm(100); b <- a+0.1 + rnorm(100) #simulacion
y <- 0.3*a + 0.3*b + 0.2*a*b + rnorm(100)               #simulacion
library(car); Anova(fit, type = 3)
## Anova Table (Type III tests)
## 
## Response: y
##             Sum Sq Df F value    Pr(>F)    
## (Intercept)  0.053  1  0.0602 0.8066804    
## a            0.519  1  0.5907 0.4440530    
## b           11.072  1 12.6089 0.0005968 ***
## a:b         21.291  1 24.2473 3.521e-06 ***
## Residuals   84.296 96                      
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Suma de Cuadrados Descripción A favor En contra
Tipo III Cada término es testeado después de introducir todos los otros, incluso las interacciones. No depende del tamaño de las celdas, útil en caso de desbalanceo. Da la misma importancia a los efectos principales y a las interacciones.

Interacciones en el ANOVA

set.seed(456); A = c(rep(0, 100), rep(1, 100)); B = rep(c(rep(0, 50), rep(1, 50)), 2) 
y = 10 + 0.08*A - 0.03*B - 1.8*A*B + rnorm(200, 0, sd=1.8)
datos = data.frame(fat = y, age = as.factor(c(rep("young", 100), rep("old", 100))), breed = as.factor(rep(c(rep("jersey", 50), rep("canadian", 50)), 2)))
model = lm(fat ~ age*breed, data=datos)
library(car)
Anova(model, Type = 2)
## Anova Table (Type II tests)
## 
## Response: fat
##           Sum Sq  Df F value    Pr(>F)    
## age        77.76   1  24.417 1.659e-06 ***
## breed      45.65   1  14.334 0.0002034 ***
## age:breed  34.36   1  10.790 0.0012089 ** 
## Residuals 624.22 196                      
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Interacciones en el ANOVA

set.seed(456); A = c(rep(0, 100), rep(1, 100)); B = rep(c(rep(0, 50), rep(1, 50)), 2) 
y = 10 + 0.08*A - 0.03*B - 1.8*A*B + rnorm(200, 0, sd=1.8)
datos = data.frame(fat = y, age = as.factor(c(rep("young", 100), rep("old", 100))), breed = as.factor(rep(c(rep("jersey", 50), rep("canadian", 50)), 2)))
model = lm(fat ~ age*breed, data=datos)
summary(model)
## 
## Call:
## lm(formula = fat ~ age * breed, data = datos)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -4.2273 -1.3230 -0.0926  1.4443  3.8388 
## 
## Coefficients:
##                      Estimate Std. Error t value Pr(>|t|)    
## (Intercept)            8.0627     0.2524  31.946  < 2e-16 ***
## ageyoung               2.0761     0.3569   5.817 2.41e-08 ***
## breedjersey            1.7845     0.3569   5.000 1.27e-06 ***
## ageyoung:breedjersey  -1.6580     0.5048  -3.285  0.00121 ** 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 1.785 on 196 degrees of freedom
## Multiple R-squared:  0.2018, Adjusted R-squared:  0.1895 
## F-statistic: 16.51 on 3 and 196 DF,  p-value: 1.317e-09

Interacciones en el ANOVA

Modelos lineales con interacción

fit <- lm(Y ~ X * Z) # X es un CONTINUA, Z es FACTOR (a,b,c)
summary(fit)
---
Coefficients:
            Estimate  Std. Error t value  Pr(>|t|)
(Intercept) 0.1078    0.3136     0.344    0.732958
X           0.9714    0.2561     3.793    0.000505 ***
Zb          2.6422    0.4435     5.957    5.94e-07 ***
Zc          0.2278    0.4435     0.514    0.610429
X:Zb       -1.5674    0.3622    -4.328    0.000101 ***
X:Zc       -0.7103    0.3622    -1.961    0.057013 .
---

\[y = \beta_{0} + \beta_{1}X + \beta_{2}d_{1} + \beta_{3}d_{2} + \beta_{4}Xd_{1} + \beta_{5}Xd_{2} + \epsilon\]

\[y = \beta_{0} + \beta_{1}X + \beta_{2}d_{1} + \beta_{3}d_{2} + \beta_{4}Xd_{1} + \beta_{5}Xd_{2} + \epsilon\]

  • Para el nivel a: \(y = \beta_{0} + \beta_{1}X\)
  • Para el nivel b: \(y = \beta_{0} + \beta_{2}d_{1} + \beta_{1}X + \beta_{4}Xd_{1}\)
  • Para el nivel c: \(y = \beta_{0} + \beta_{3}d_{2} + \beta_{1}X + \beta_{5}Xd_{2}\)

\[y = \beta_{0} + \beta_{1}X + \beta_{2}d_{1} + \beta_{3}d_{2} + \beta_{4}Xd_{1} + \beta_{5}Xd_{2} + \epsilon\]

  • Para el nivel a: \(y = 0.1078 + 0.9714 X\)
  • Para el nivel b: \(y = (0.1078 + 2.6422) + (0.9714Z - 1.5674)X\)
  • Para el nivel c: \(y = (0.1078 + 0.2278) + (0.9714Z - 0.7103)X\)

Modelos lineales con interacción

fit <- lm(Y ~ X * Z) # X es un CONTINUA, Z es FACTOR (a,b,c)
summary(fit)
---
Coefficients:
            Estimate  Std. Error t value  Pr(>|t|)
(Intercept) 0.1078    0.3136     0.344    0.732958
X           0.9714    0.2561     3.793    0.000505 ***
Zb          2.6422    0.4435     5.957    5.94e-07 ***
Zc          0.2278    0.4435     0.514    0.610429
X:Zb       -1.5674    0.3622    -4.328    0.000101 ***
X:Zc       -0.7103    0.3622    -1.961    0.057013 .
---

ANCOVA y Regresión con variable dummy.

  • ¿Tienen igual pendiente las líneas de regresión bajo distintos tratamientos? Es decir, ¿es significativa la interacción?
  • ¿Puedo reducir la variación residual en mi experimento si tomo en cuenta la variación debida a una variable continua (ANCOVA) o a una variable categórica (regresión con dummy)?

Según la pregunta de interés se decide la presentación del resultado.

fin