Testes Fáceis, Difíceis e Assim Assim
Filosofia da Ciência
Um Exame Severo
Na próxima semana têm um exame muito exigente.
Uma pessoa passa. Admitamos que não copiou e que o exame avaliava precisamente os conhecimentos relevantes.
O que aprendemos sobre o conhecimento dessa pessoa?
Um Exame Demasiado Fácil
Para passar, basta respirar.
Uma pessoa passa.
O que aprendemos agora sobre o seu conhecimento?
O Resultado Distingue?
Num exame fácil, os estudantes mal preparados podem passar. Os bem preparados também.
O problema é outro: passar deixou de distinguir conhecimento de ignorância.
Do Exame à Ciência
Um resultado apoia uma afirmação quando o teste tinha uma boa oportunidade de revelar um erro relevante.
Se a afirmação estivesse errada, teríamos conseguido perceber?
A Prova do Chá
Uma pessoa diz reconhecer se o leite ou o chá entrou primeiro na chávena.
- Teste fácil: quase todas as chávenas seguem a mesma ordem; acertar não distingue capacidade de adivinhação.
- Teste severo: igual número de chávenas em cada ordem, sequência aleatória, preparação ocultada e várias tentativas; uma alegação falsa teria boa oportunidade de falhar.
Novo Experimentalismo
- Uma experiência pode ensinar mais do que simplesmente ilustrar uma teoria.
- Intervenções, controlos e verificações cruzadas podem sustentar um efeito.
- A independência é da teoria a testar, não de toda a teoria.
Testes Severos
Se a afirmação fosse falsa de uma maneira relevante, o teste teria tido uma boa oportunidade de mostrar isso?
A avaliação depende da afirmação, do teste e do resultado.
Antes e Depois
Antes dos dados avaliamos o procedimento; depois dos dados avaliamos o que o resultado permite concluir.
- Antes: que erros relevantes poderia o procedimento detectar?
- Depois: dado o resultado, o que podemos concluir sobre uma afirmação específica?
Poder ≠ Severidade
- Poder: probabilidade, antes dos dados, de detectar uma alternativa especificada.
- Severidade: avaliação pós-dados de uma afirmação, dado o resultado observado.
O poder pode contribuir para a severidade; não a substitui.
Melhorar um Teste
«A música melhora a memória.»
Em grupos:
- O que está vago?
- Que rival plausível produz o mesmo resultado?
- Que previsão poderia falhar?
- Que comparação daria ao teste uma oportunidade real de encontrar o erro?
Rever o Teste
O teste distingue a afirmação do rival?
- Que resultado obtivemos?
- Que conclusão é permitida?
- Que limitação permanece?
Para a Probabilidade
Para avaliar resultados possíveis, precisamos de falar de frequência, incerteza e modelos.
Leituras
Obrigatórias
- Garcia-Marques e Garcia-Marques (2021), Uma análise do progresso científico da Cognição Social à luz da perspetiva do «novo Experimentalismo».
- Chalmers (2013), capítulo 13 — The New Experimentalism.
Opcionais