Comparar Modelos

Desenho Experimental e Análise Avançada de Dados Ecológicos

João O. Santos

joao.santos@ispa.pt

ISPA

Descarreguem os dados da qualidade da água e os dados dos manatins.

Onde Fica o Meio?

Pedimos a 12 pessoas que marquem o meio de uma linha horizontal, sem régua. Cada pessoa faz uma tentativa.

Desviamo-nos sistematicamente para algum dos lados?

Experiência de bissecção de linhas. Os dados seguintes são fictícios, construídos para acompanhar os cálculos; não são resultados de um estudo. Cada linha dos dados corresponde a uma pessoa diferente. Pressupomos observações independentes. Não estamos a comparar condições nem a testar uma causa para um eventual desvio.

O Que Medimos?

Desvio da marca em relação ao verdadeiro meio, em milímetros

Esquerda	Meio	Direita
\(-2\)	\(0\)	\(+2\)

Zero já tem significado: a marca coincide com o meio.

Os Nossos Dados

Dados fictícios · 12 pessoas · uma marca por pessoa

bisection <- data.frame(
  participant = 1:12,
  deviation = c(-2, -1, 0, 0, 1, 1, 1, 2, 2, 2, 3, 3)
)
mean(bisection$deviation)

[1] 1

Na amostra, o desvio médio é 1 mm para a direita.

Da Amostra à Pergunta

\[ H_0: \mu = 0 \qquad H_1: \mu \ne 0 \]

A média da população é zero ou há um desvio médio para algum dos lados?

Uma média amostral diferente de zero, por si só, não resolve a pergunta.

Uma média zero não exige que todas as pessoas acertem no meio: desvios para os dois lados podem compensar-se. O teste procura um desvio médio com sinal, não a ausência de imprecisão individual. A inferência para uma população exige que a amostragem e os pressupostos a justifiquem; aqui ensaiamos o raciocínio com dados fictícios.

Dados, Modelo e Erro

\[ \text{Dados} = \text{Modelo} + \text{Erro} \]

O modelo faz uma previsão para cada pessoa.

O resíduo é o desvio observado menos essa previsão.

Prever Zero

Se impusermos \(H_0\), prevemos 0 mm para todas as pessoas.

\[ m_0:\quad \hat{y}_i = 0 \]

É o modelo compacto, mais simples: não estimamos nenhum parâmetro para a média.

Não prevemos que cada pessoa acerte sem erro. Zero é a previsão para a média; o modelo admite variação individual à volta dessa previsão.

Do Observado ao Resíduo

bisection$prediction_m0 <- 0
bisection$error_m0 <- bisection$deviation - bisection$prediction_m0

Pessoa	Observado	Previsto	Resíduo
1	-2	0	-2
2	-1	0	-1
3	0	0	0
5	1	0	1

Se a previsão é zero, o resíduo é igual ao observado.

E Se Estimarmos a Média?

Em vez de fixar a média em zero, deixamo-la ser estimada pelos dados.

\[ m_1:\quad \hat{y}_i = b_0 = \overline{y} = 1 \]

É o modelo aumentado, mais complexo: acrescentámos um parâmetro, o intercepto \(b_0\).

As Mesmas Pessoas

bisection$prediction_m1 <- mean(bisection$deviation)
bisection$error_m1 <- bisection$deviation - bisection$prediction_m1

Pessoa	Observado	Previsto	Resíduo
1	-2	1	-3
2	-1	1	-2
3	0	1	-1
5	1	1	0

Alguns resíduos aumentam. Outros diminuem. E no conjunto?

Duas Previsões

Mesmas observações · outra previsão · outros resíduos

Mostramos as 12 pessoas, as mesmas que entram em todos os cálculos seguintes. Cada segmento representa um resíduo. Perguntar que previsão mudou e se basta somar os resíduos para avaliar o erro total. Dados, modelo e erro.

Porquê Elevar ao Quadrado?

\(-2 + 2 = 0\), mas nenhum dos dois resíduos é zero.

\((-2)^2 + 2^2 = 8\): os sinais deixam de se anular.

Vamos somar os quadrados dos resíduos.

Somar o Erro de Cada Modelo

SSE: soma dos quadrados dos erros (sum of squared errors).

sse_m0 <- sum(bisection$error_m0^2)
sse_m1 <- sum(bisection$error_m1^2)

\[ \mathrm{SSE}_{m_0} = \sum_i (y_i - 0)^2 = 38 \]

\[ \mathrm{SSE}_{m_1} = \sum_i (y_i - \overline{y})^2 = 26 \]

Quanto Erro Desaparece?

\[ \mathrm{SSE}_{m_0} - \mathrm{SSE}_{m_1} = 38 - 26 = 12 \]

Estimámos um parâmetro e reduzimos a soma dos quadrados em 12 mm².

Será uma melhoria invulgar se a média da população for zero?

O Custo da Melhoria

	\(m_0\)	\(m_1\)
Parâmetros estimados	0	1
Graus de liberdade residuais	12	11

Acrescentámos 1 parâmetro. No aumentado, sobram 12 − 1 = 11 graus de liberdade.

Contamos os coeficientes da média, não a variância residual. A média amostral minimiza a soma dos quadrados dos resíduos: deixá-la livre não pode piorar o ajuste nestes mesmos dados. Depois de a estimar, os resíduos somam zero; conhecendo 11 deles, o último fica determinado.

Da Melhoria ao F

\[ F = \frac{(\mathrm{SSE}_{m_0} - \mathrm{SSE}_{m_1})/1} {\mathrm{SSE}_{m_1}/11} = \frac{12}{26/11} \approx 5.08 \]

Em cima: melhoria por parâmetro acrescentado.

Em baixo: erro que sobra por grau de liberdade.

Modelos em R

m0 <- lm(deviation ~ 0, data = bisection)
m1 <- lm(deviation ~ 1, data = bisection)
anova(m0, m1)

Res.Df	RSS	Df	Sum of Sq	F	Pr(>F)
12	38	NA	NA	NA	NA
11	26	1	12	5.08	0.046

~ 0 fixa a previsão em zero; ~ 1 estima uma média comum.

Ler a Tabela

RSS → o R dá este nome à nossa SSE: 38 em \(m_0\); 26 em \(m_1\)

Df → parâmetros acrescentados: 1

F → melhoria relativa ao erro residual: 5.08

Pr(>F) → área à direita do F observado, sob o compacto

RSS significa residual sum of squares. Aqui é a mesma soma que designamos por SSE; não é uma nova medida. Distinguir Df da comparação de Res.Df de cada modelo. Sob o compacto e os pressupostos do teste, a referência é F(1, 11). O valor-p é aproximadamente .046, não a probabilidade de H0.

Nos exemplos de temperatura e ruído, pedir que registem sse_m0, sse_m1, o F e o p. Quanto erro desapareceu em cada caso?

Se a Média Fosse Zero

Sob \(H_0\) e os pressupostos do teste, \(P(F \ge 5.08) \approx .046\).

O teste dá evidência contra uma média populacional zero. Não é a probabilidade de \(H_0\).

A altura da curva perto de zero fica cortada para se conseguir ver a cauda. No nosso exemplo fictício, a média amostral aponta para a direita. A inferência é sobre o desvio médio da população, não sobre cada pessoa. O resultado não estabelece a causa do desvio nem demonstra que 1 mm tenha importância prática.

O Mesmo Teste

\[ F = t^2 \]

t.test(bisection$deviation, mu = 0)$statistic^2

   t 
5.08 

Testar uma média contra zero é comparar estas duas previsões.

Nesta comparação, o F e o teste-t bilateral dão o mesmo valor-p. A equivalência é a da comparação encaixada Gaussiana por mínimos quadrados com o teste-t correspondente, nos mesmos dados. Não a transportar para uma comparação com variâncias diferentes, como o teste de Welch. Os dados são fictícios: o resultado ilustra o cálculo, não estabelece um viés real.

De Zero a Outra Referência

Na água, a pergunta pode ser se o oxigénio médio difere de 8 mg/L.

water$deviation <- water$Oxygen - 8
anova(lm(deviation ~ 0, data = water),
      lm(deviation ~ 1, data = water))

Res.Df	RSS	Df	Sum of Sq	F	Pr(>F)
500	411	NA	NA	NA	NA
499	337	1	73	108	0

Subtrair 8 transforma essa pergunta num teste contra zero.

Mais Parâmetros

Acrescentar parâmetros a um modelo encaixado torna-o mais complexo e não piora o ajuste à amostra. A melhoria justifica essa complexidade?

Navalha de Occam

heurística · não lei

Entre explicações que fazem o mesmo trabalho, preferimos a mais simples. Não porque seja verdadeira por ser simples.

Temperatura Como Preditor

anova(lm(Oxygen ~ 1, data = water), lm(Oxygen ~ Temp, data = water))

Res.Df	RSS	Df	Sum of Sq	F	Pr(>F)
499	337	NA	NA	NA	NA
498	317	1	20.6	32.4	0

A redução de SSE mede quanto erro desaparece. O F compara essa melhoria, por parâmetro acrescentado, com o erro que sobra.

Um Preditor Sem Sinal

set.seed(7)
water$ruido <- rnorm(nrow(water))
anova(lm(Oxygen ~ 1, data = water), lm(Oxygen ~ ruido, data = water))

Res.Df	RSS	Df	Sum of Sq	F	Pr(>F)
499	337	NA	NA	NA	NA
498	336	1	1.21	1.79	0.182

Um preditor inventado também reduz um pouco o erro. A comparação avalia quão invulgar seria essa redução sob o modelo compacto.

Pouca Melhoria

SSE quase igual · F pequeno · p grande

Neste teste não detectámos melhoria clara ao acrescentar o preditor. Isso não demonstra ausência de associação.

Interpretação e sensibilidade

Manatins e Barcos

anova(lm(ManateeDeaths ~ 1, data = manatees),
      lm(ManateeDeaths ~ Powerboats, data = manatees))

Res.Df	RSS	Df	Sum of Sq	F	Pr(>F)
34	29274	NA	NA	NA	NA
33	3886	1	25388	216	0

Mais barcos a motor, mais mortes registadas. Ambas as séries crescem ao longo dos anos.

Associação com Tendência

barcos ↑ · mortes ↑ · ano ↑

A comparação de modelos mostra que o preditor reduz erro. Não mostra que os barcos causem as mortes.

Duas histórias possíveis, no delineamento

Modelos Encaixados

o compacto tem de ser um caso particular do aumentado

Comparar modelos que não se encaixam obriga a outras ferramentas.

Pressupostos Continuam

independência · distribuição dos erros · forma da relação

A comparação herda os pressupostos dos modelos que compara.

O Que Deve Ficar

1. Comecem pelo modelo compacto, mais simples.
2. Acrescentem o parâmetro que responde à pergunta.
3. Avaliem se a redução do erro justifica a complexidade acrescentada.

Discutir

10 minutos · pares

Para a pergunta do vosso projecto:

• qual é o modelo compacto?
• qual é o modelo aumentado?
• que redução de erro justificaria o parâmetro extra?

Para Aprofundar

Comparação de Modelos

• Dados, modelo e erro
• Regressão como comparação
• Dois grupos numa regressão
• Vários preditores
• ANOVA como comparação
• Interacções

Próximo Passo

Primeiro, uma média estimada. Depois, preditores que mudam a previsão.

O Primeiro Modelo → Um Preditor