Comparar Modelos

Desenho Experimental e Análise Avançada de Dados Ecológicos

João O. Santos

joao.santos@ispa.pt

ISPA

Comparar Modelos

Uma pergunta estatística pode ser escrita como uma comparação entre dois modelos.

Dois Modelos

compacto → a hipótese impõe uma restrição

aumentado → a restrição é libertada

Vale a pena libertar a restrição? Quanto erro desaparece?

Desvio da Referência

water$desvio <- water$Oxygen - 8
head(water[, c("Sample", "Oxygen", "desvio")], 3)

Sample	Oxygen	desvio
1	7.8	-0.2
2	6.2	-1.8
3	8.3	0.3

Subtraímos a referência. Se H₀ for verdadeira, o desvio médio é zero.

Modelo Compacto

\[ m_0:\quad \hat{y} = 0 \]

Não estimamos nada. Impomos a restrição que queremos testar.

Modelo Aumentado

\[ m_1:\quad \hat{y} = b_0 \]

A média é estimada a partir dos dados.

Modelos em R

m0 <- lm(desvio ~ 0, data = water)
m1 <- lm(desvio ~ 1, data = water)
anova(m0, m1)

Res.Df	RSS	Df	Sum of Sq	F	Pr(>F)
500	411	NA	NA	NA	NA
499	337	1	73	108	0

Ler a Tabela

RSS → erro que sobra em cada modelo

Df → parâmetros acrescentados

F → melhoria por parâmetro, face ao erro residual

Pr(>F) → área da distribuição F sob o compacto

O Mesmo Teste

\[ F = t^2 \]

t.test(water$Oxygen, mu = mu0)$statistic^2

  t 
108

Quando a comparação acrescenta um parâmetro, o F do modelo e o t do teste dizem o mesmo.

Mais Parâmetros

Ao libertar restrições, o ajuste à amostra não piora. A pergunta é se a melhoria é suficiente.

Navalha de Occam

heurística · não lei

Entre explicações que fazem o mesmo trabalho, preferimos a mais simples. Não porque seja verdadeira por ser simples.

Temperatura Como Preditor

anova(lm(Oxygen ~ 1, data = water), lm(Oxygen ~ Temp, data = water))

Res.Df	RSS	Df	Sum of Sq	F	Pr(>F)
499	337	NA	NA	NA	NA
498	317	1	20.6	32.4	0

A temperatura reduz o erro residual. Quanto? O F dá a resposta, tendo em conta o custo de um parâmetro.

Um Preditor Sem Sinal

set.seed(7)
water$ruido <- rnorm(nrow(water))
anova(lm(Oxygen ~ 1, data = water), lm(Oxygen ~ ruido, data = water))

Res.Df	RSS	Df	Sum of Sq	F	Pr(>F)
499	337	NA	NA	NA	NA
498	336	1	1.21	1.79	0.182

Um preditor inventado também reduz um pouco o erro. A comparação avalia quão invulgar seria essa redução sob o modelo compacto.

Pouca Melhoria

RSS quase igual · F pequeno · p grande

O ajuste do modelo mais complexo não é pior. Neste teste, a melhoria não justifica o parâmetro extra.

Manatins e Barcos

anova(lm(ManateeDeaths ~ 1, data = manatees),
      lm(ManateeDeaths ~ Powerboats, data = manatees))

Res.Df	RSS	Df	Sum of Sq	F	Pr(>F)
34	29274	NA	NA	NA	NA
33	3886	1	25388	216	0

Mais barcos a motor, mais mortes registadas. Ambas as séries crescem ao longo dos anos.

Associação com Tendência

barcos ↑ · mortes ↑ · ano ↑

A comparação de modelos mostra que o preditor reduz erro. Não mostra que os barcos causem as mortes.

Duas histórias possíveis, no delineamento

Modelos Encaixados

o compacto tem de ser um caso particular do aumentado

Comparar modelos que não se encaixam obriga a outras ferramentas.

Pressupostos Continuam

independência · distribuição dos erros · forma da relação

A comparação herda os pressupostos dos modelos que compara.

O Que Deve Ficar

Escrevam a hipótese como uma restrição num modelo.
Libertem essa restrição.
Meçam a redução do erro, tendo em conta o custo.

Discutir

10 minutos · pares

Para a pergunta do vosso projecto:

qual é o modelo compacto?
qual é o modelo aumentado?
que redução de erro justificaria o parâmetro extra?

Para Aprofundar

Comparação de Modelos

Próximo Passo

Modelos lineares no R: a mesma comparação, mais preditores

Modelos Lineares no R