Como Fazer Testes Severos

Filosofia da Ciência

João O. Santos

joao.santos@ispa.pt

ISPA

Como Fazer Testes Severos

Hoje transformamos uma afirmação vaga num teste que pode correr mal.

Música e Memória

«A música melhora a memória.»

O que está vago? Que resultado faria a afirmação recuar?

Retomar o exemplo hipotético da aula anterior: mesma lista de 20 palavras, 10 minutos com música instrumental e 5 em silêncio, recordação livre imediata. Se a turma não tiver esse caso presente, escrevê-lo no quadro. Hoje passamos da apreciação ao redesenho. Pedir primeiro uma alteração e a razão para a fazer.

Expor ao Erro

1. Especificar: para quem, que música, que memória, que medida?
2. Escolher um rival: que outra explicação produziria o mesmo resultado?
3. Prever: que diferença esperamos e em que condições?
4. Dar oportunidade ao teste: comparação adequada, medida sensível, plano claro.

Rever o Delineamento

Que alteração propõem, e porquê?

Versão revista · exemplo hipotético

Condição	Tempo de Estudo
Música instrumental	10 min
Silêncio	10 min

Mesma lista; recordação imediata; atribuição aleatória.

Rival visado: mais tempo de estudo.

Vantagem da música ≠ explicação do mecanismo.

Ouvir as propostas antes de revelar a tabela. Igualar o tempo retira o rival «mais tempo de estudo». Nesta versão hipotética estipulamos também atribuição aleatória entre grupos, instruções equivalentes e correcção sem conhecimento da condição. Cada pessoa estuda a mesma lista de 20 palavras numa só condição. Perguntar que erro cada escolha procura reduzir. Se surgir «duplo-cego», perguntar quem pode ignorar música audível: expectativas continuam relevantes.

Recuperar os mecanismos hipotéticos de 05-mayo: organização rítmica versus activação geral. Ambos podem prever música superior ao silêncio. A comparação é informativa sobre a vantagem nestas condições, mas não separa os mecanismos. Pedir uma alteração: comparar música com e sem organização rítmica, além do silêncio, igualando tempo e procurando igualar activação. Recuperar os dois resultados de 05: ambas melhoram igualmente, ou só a organizada melhora. Antes de interpretar, verificar a manipulação e a sensibilidade da medida. Não apresentar essa extensão como dados dos dois cartões seguintes.

Regra de Ouro

Se a hipótese estivesse errada desta maneira, descobriríamos?

Uma hipótese vaga acomoda resultados diferentes; uma previsão específica pode falhar o alvo.

Perguntar «errada de que maneira?». A imagem ajuda a discutir especificidade. Voltar ao tempo desigual e depois a uma tarefa com efeito de tecto: se quase todos recordassem as 20 palavras, haveria margem para revelar melhoria? A previsão precisa de uma medida capaz de revelar o erro. Retomar a distinção entre poder antes dos dados e severidade de uma afirmação face ao resultado.

Gerar Hipóteses

Abrir xkcd #2569 — Hypothesis Generation. Randall Munroe, CC BY-NC 2.5.

McGuire: gerar hipóteses também pode ser ensinado.

Se o comic não carregar, propor um exercício: variar o exemplo, com música com letra ou recordação no dia seguinte. Que previsão permitiria testar a nova comparação? Separar a ideia que acabámos de gerar da evidência a favor dela.

Fechar o Ciclo

Dois desfechos hipotéticos · mesmo teste de 10 min / 10 min

A · Vantagem Observada

Música > silêncio

Recordação longe do máximo.

B · Sem Vantagem Observada

Música ≈ silêncio

Ambas perto do máximo.

Que conclusão cabe? Que erro ficou por testar?

Resultado → conclusão → próximo teste

Os cartões são dois resultados possíveis do mesmo delineamento revisto, não um novo conjunto de dados nem resultados publicados. > e ≈ resumem padrões descritivos de recordação entre grupos. Não codificam significância, equivalência estatística ou uma avaliação numérica de severidade. Pedir a cada par uma conclusão e um erro não sondado para cada cartão.

A: observámos maior recordação no grupo com música, com igual tempo de estudo. O tempo desigual já não explica essa diferença. Atribuição aleatória e controlos ajudam a interpretação causal, mas sem dimensão, variabilidade e análise não avaliamos a força inferencial da vantagem. Não concluímos que toda a música melhora toda a memória. Sobretudo, não sondámos o erro «atribuir à organização rítmica uma vantagem devida à activação geral». Ambas as explicações admitem este padrão; expectativas também não foram eliminadas.

B: não observámos vantagem nesta tarefa. A proximidade do máximo pode esconder uma melhoria: o teste não deu boa oportunidade de detectar esse erro. Não concluir ausência de efeito, equivalência, nem refutação de ambos os mecanismos. Pedir uma tarefa com margem para melhorar, sem mudar inadvertidamente a pergunta de investigação.

Fechar oralmente: melhor delineamento não basta para chamar severa à conclusão. Precisamos da afirmação específica, do resultado e da oportunidade de revelar o erro relevante (Mayo e Spanos, 2006, leitura da aula 05). Para os mecanismos, recuperar a comparação com/sem organização de 05, não inferi-los destes cartões.

Leituras

• Opcionais: Garcia-Marques e Ferreira (2011); McGuire (1997).