Diagnóstico

Desenho Experimental e Análise Avançada de Dados Ecológicos

João O. Santos

joao.santos@ispa.pt

ISPA

Descarregar os dados de qualidade da água.

A Pergunta da Água

Como varia o oxigénio dissolvido com a temperatura?

ds <- read.csv("../../data/WaterQualityTesting.csv", check.names = FALSE)
names(ds) <- c("sample", "pH", "temperature", "turbidity", "oxygen", "conductivity")
head(ds)

  sample   pH temperature turbidity oxygen conductivity
1      1 7.25        23.1       4.5    7.8          342
2      2 7.11        22.3       5.1    6.2          335
3      3 7.03        21.5       3.9    8.3          356
4      4 7.38        22.9       3.2    9.5          327
5      5 7.45        20.7       3.8    8.1          352
6      6 6.89        23.6       4.6    7.2          320

Uma linha = uma amostra de água · temperatura em °C · oxigénio em mg/L

Locais e ocasiões de recolha não identificados no ficheiro.

Ajustar a Relação

m <- lm(oxygen ~ temperature, data = ds)
model_parameters(m)

Parameter   | Coefficient |   SE |       95% CI | t(498) |      p
-----------------------------------------------------------------
(Intercept) |        3.42 | 0.87 | [1.71, 5.14] |   3.92 | < .001
temperature |        0.22 | 0.04 | [0.15, 0.30] |   5.69 | < .001

O declive é uma associação em mg/L por °C. Antes de o relatar, que estrutura ficou por explicar?

Antes do Diagnóstico

O modelo responde à pergunta certa?

O Percurso Habitual

normalidade → variâncias → paramétrico / não-paramétrico

O Percurso Aqui

pergunta → delineamento → modelo → consequência → diagnóstico → triangulação

Um diagnóstico informa a análise; não a escolhe sozinho.

Resíduos

O que ficou por explicar?

Recordar o modelo: oxigénio dissolvido (mg/L) em função da temperatura (°C). Resíduo = observado − previsto, em mg/L. Perguntar que estrutura vemos. Os slides seguintes comparam esquemas hipotéticos nos mesmos eixos; não são resultados adicionais do modelo da água. Para avaliar independência, precisamos de saber como se recolheram as amostras: o identificador Sample, por si só, não chega.

Procurar Estrutura

Ausência de padrão visível não prova independência nem valida o delineamento. Perguntar que parte do modelo está em causa nos próximos painéis.

Curvatura

Talvez a relação média não seja linear.

Funil

Talvez a variância mude ao longo da escala.

Grupos

Talvez falte uma variável — ou talvez as observações não sejam independentes.

A cor representa um agrupamento conhecido no delineamento. O gráfico sugere investigação; não identifica sozinho a causa nem prova dependência. Consultar a recolha, as unidades e os grupos, mesmo que não haja padrão.

Independência

peixes no mesmo tanque

quadrados no mesmo recife

medições da mesma colónia

Não se diagnostica pseudorreplicação com Shapiro–Wilk.

Normalidade

Quando importa, olhamos para os resíduos — não para a resposta por reflexo.

Diagnóstico no R

check_model(m)

Resíduos, variância, caudas e influência, lidos em conjunto com o que sabemos da recolha. Nenhum painel confirma independência.

Um Caso Influente

erro? · caso genuíno? · população diferente?

Antes de Apagar

inspeccionar · justificar · triangular a conclusão

Transformar

log(y) muda:

escala · relação · interpretação

Não é um botão de reparação.

Pressupostos Não São Portagens

A pergunta é: que consequência tem isto para a estimativa e a incerteza?

Triangular a Incerteza

model_parameters(m, vcov = "HC3")

Parameter   | Coefficient |   SE |       95% CI | t(498) |      p
-----------------------------------------------------------------
(Intercept) |        3.42 | 0.85 | [1.74, 5.10] |   4.00 | < .001
temperature |        0.22 | 0.04 | [0.15, 0.30] |   5.76 | < .001

HC3 permite variâncias residuais diferentes no cálculo dos erros-padrão. O declive não muda; a estimativa da sua incerteza pode mudar. Não corrige uma relação média mal especificada nem dependência entre amostras.

Usamos HC3 como análise de sensibilidade, não como prémio por rejeitar um teste de variâncias. Os dois intervalos são semelhantes neste exemplo. A validade continua a exigir uma média adequadamente especificada e observações independentes; desconhecer a recolha limita a inferência. Diagnóstico e triangulação.

Script Completo

Descarreguem o CSV e adaptem o caminho em read.csv() à vossa pasta de trabalho.

library(ggplot2)
library(parameters)
library(performance)

ds <- read.csv("../../data/WaterQualityTesting.csv", check.names = FALSE) |>
  setNames(c("sample", "pH", "temperature", "turbidity", "oxygen", "conductivity"))
m <- lm(oxygen ~ temperature, data = ds)
check <- check_model(m)
g <- ggplot(ds, aes(temperature, oxygen)) + geom_point()

# Print results and plots
model_parameters(m) |> print()
model_parameters(m, vcov = "HC3") |> print()
print(check)

print(g)

Resultados do Diagnóstico

Parameter   | Coefficient |   SE |       95% CI | t(498) |      p
-----------------------------------------------------------------
(Intercept) |        3.42 | 0.87 | [1.71, 5.14] |   3.92 | < .001
temperature |        0.22 | 0.04 | [0.15, 0.30] |   5.69 | < .001

Parameter   | Coefficient |   SE |       95% CI | t(498) |      p
-----------------------------------------------------------------
(Intercept) |        3.42 | 0.85 | [1.74, 5.10] |   4.00 | < .001
temperature |        0.22 | 0.04 | [0.15, 0.30] |   5.76 | < .001

Relatar a Associação

Nas 500 amostras, cada °C adicional esteve associado a mais 0.225 mg/L de oxigénio dissolvido, 95% CI [0.148, 0.302] mg/L por °C, com erros-padrão HC3, t₄₉₈ = 5.76, P < .001. O intervalo foi semelhante ao do modelo com variância constante. A associação refere-se ao intervalo observado, 20.3–23.6 °C; não identifica um efeito causal da temperatura.

Falta conhecer a recolha: o ficheiro não permite verificar agrupamento ou justificar a generalização para outros locais e momentos.

Curve-Fitting

Percorrer o comic até à última linha — ou abrir o original.

Randall Munroe/xkcd · CC BY-NC 2.5.

Demonstração com deslocamento planeado dentro do iframe: ler as primeiras linhas e depois percorrer até à conclusão. A tecla de avançar slides não percorre o iframe. Se não carregar, abrir a ligação original; não contornar restrições do servidor nem reduzir todo o comic até ficar ilegível.

Limites dos Resíduos

confundimento · pseudorreplicação · má amostragem · causalidade

Primeiro: Limites do Ritual

10 minutos · grupos de 3 ou 5

Pressupostos e Diagnóstico — Exercícios

Façam exercício 5.

Depois: Diagnóstico

20 minutos · grupos de 3 ou 5

Pressupostos e Diagnóstico — Exercícios

Façam exercício 1.

Se Sobrar Tempo

Pressupostos e Diagnóstico — Exercícios

Façam exercício 2.

Métodos, Não Só Gráficos

15 minutos · grupos de 3 ou 5

Voltem a Wang et al. (2018), apresentado na aula de delineamento.

• Nos Métodos: uma decisão sobre agrupamento, resposta ou comparação.
• Que diagnóstico poderia avaliar o modelo?
• Que problema do delineamento não resolveria?

Entrega Rápida

Para um problema, escrevam:

padrão → consequência → verificação → triangulação

A Seguir

Algumas respostas pedem uma família diferente da Gaussiana.