Fisher

Oito chávenas: em quatro, o leite entrou primeiro; nas outras, entrou o chá primeiro. A provadora sabe que há quatro de cada tipo e escolhe exactamente quatro como «leite primeiro».

Se não distinguisse a ordem, acertar em todas corresponderia a 1 em 70 arranjos possíveis.

Significância
Modelo nulo de referência
Evidência num resultado observado

Não é ainda a teoria de decisão de Neyman–Pearson.

H0

Que padrão esperaríamos se a provadora não distinguisse a ordem do leite e do chá?

Mais geralmente: que padrão esperaríamos se o efeito em estudo não estivesse presente?

$H_0$ é um modelo de referência.

Não é necessariamente «a hipótese em que acreditamos» nem significa sempre «nada acontece».

Valor-p

Se $H_0$ fosse adequada, qual seria a probabilidade de obter uma estatística de teste pelo menos tão extrema como a observada?

Dados
Estatística de teste
Distribuição de referência

No chá: oito acertos é o máximo → $p=1/70\approx .014$ .

Um p Pequeno

Resultado pouco compatível com $H_0$ .
Pode ser evidência contra o modelo de referência.

Não mede, sozinho, tamanho, importância ou causalidade.

Um p Não Pequeno

Não detectámos incompatibilidade forte.
Pode haver pouco efeito.
Pode haver pouca informação.

Não demonstra «efeito zero».

Uma Letra Que Confunde

Alguém diz:

« $p=.03$ significa 3% de probabilidade de $H_0$ ser verdadeira.»

Que pergunta foi trocada?

O Que p Não É

$p\neq P(H_0\mid dados)$

Também não é:

tamanho do efeito;
probabilidade de replicação;
veredicto sobre a hipótese.

Cartoon ≠ Definição

Abrir xkcd #1478 — P-Values. Randall Munroe, CC BY-NC 2.5.

O que o cartoon exagera ou deixa de fora?

O Ritual Começa Aqui

calcular;
procurar p < .05;
escrever «há efeito».

.05 é uma convenção útil — não uma constante da natureza.

De Onde Veio .05?

Antes de Fisher: ≈ 3 «erros prováveis» ≈ 2 desvios-padrão já eram uma referência.
1925: Fisher liga .05 a 1 em 20 e a 1.96 ≈ 2 — um limite conveniente.
1926: admite 2% e 1%; diz preferir 5% como padrão baixo de significância.
1956: rejeita um nível fixo usado em todos os casos.

Porque Ficou?

Sem computadores, consultar uma tabela era muito mais fácil do que calcular um p exacto.
Fisher passou a tabular valores seleccionados de $P$ numa forma compacta.
.05 e .01 reapareciam nas tabelas e tornaram-se pontos de referência familiares.

A conveniência ajudou a fixar a convenção; não demonstra que .05 tenha uma justificação universal.

Tabela vs P Exacto

$t=2.50,\qquad 9\ \text{gl}$

Tabela: $.02<P<.05$

Cálculo actual (bilateral): $P\approx .034$

Os pontos críticos poupavam cálculo; não mudavam a área de cauda que queríamos conhecer.

Antes de Fisher

1710: Arbuthnot usa um modelo 50/50 para um padrão em 82 anos de nascimentos.
1908: Student transforma uma probabilidade da distribuição em odds sobre qual tratamento é melhor.
Fisher: rejeita esta inversão como interpretação geral e insiste numa leitura directa sob o modelo de referência.

Zabell (2008) · Senn & Richardson (1994)

Fisher no Tempo

1925–1928: significância, verosimilhança e linguagem por vezes informal sobre limites.
1930: probabilidade fiducial, sem prior.
1956: uma justificação fiducial já reformulada.

Fisher não tratava o valor-p como uma posterior, mas a sua teoria da inferência também não ficou parada.

Aldrich (2000)

Próxima Pergunta

E se, antes de servir as chávenas, o objectivo for controlar erros e escolher uma regra?

Leituras

Obrigatória: Dienes (2008), capítulo 5 — Fisher and the Likelihood: The Royall Road to Evidence.
Opcionais: Student (1908); Senn & Richardson (1994); Zabell (2008); Aldrich (2000); Fisher (1925); Kennedy-Shaffer (2019); Senn (2017), Fisher Memorial Lecture.
Notas da cadeira: Fisher e a história de .05.