Testes Fáceis, Difíceis e Assim Assim

Filosofia da Ciência

João O. Santos

joao.santos@ispa.pt

ISPA

Um Exame Severo

Na próxima semana têm um exame muito exigente.

Uma pessoa passa. Admitamos que não copiou e que o exame avaliava precisamente os conhecimentos relevantes.

O que aprendemos sobre o conhecimento dessa pessoa?

Apresentar como cenário imaginado, não como anúncio de uma avaliação da cadeira. «Exigente» refere-se à oportunidade de revelar falta de conhecimento, não ao esforço ou à ansiedade que o exame provoca.

Um Exame Demasiado Fácil

Para passar, basta respirar.

Uma pessoa passa.

O que aprendemos agora sobre o seu conhecimento?

O Resultado Distingue?

Num exame fácil, os estudantes mal preparados podem passar. Os bem preparados também.

O problema é outro: passar deixou de distinguir conhecimento de ignorância.

Do Exame à Ciência

Um resultado favorável apoia uma afirmação quando o teste tinha uma boa oportunidade de revelar um erro relevante.

Se a afirmação estivesse errada, teríamos conseguido perceber?

A Prova do Chá

Uma pessoa diz reconhecer se o leite ou o chá entrou primeiro na chávena.

• Teste fácil: quase todas as chávenas seguem a mesma ordem; acertar não distingue capacidade de adivinhação.
• Plano mais informativo: igual número de chávenas em cada ordem, sequência aleatória, preparação ocultada e várias tentativas.

Ainda falta o resultado: a conclusão depende dos acertos observados e da capacidade alegada.

Perguntar o que concluiríamos se a pessoa acertasse ou falhasse neste cenário. O plano procura dar oportunidade de detectar a ausência da capacidade alegada, mas a avaliação da afirmação depende também do resultado. Deixar as contas para a probabilidade.

Novo Experimentalismo

Memória · exemplo hipotético

Verificar	O Que Procuramos Excluir?
Conferir o registo de respostas	Erro de medição
Controlar instruções e equipamento	Artefacto da tarefa
Reproduzir o efeito noutra verificação	Acaso ou falha local

O que aprendemos sem escolher já o mecanismo?

Uma experiência pode ensinar mais do que simplesmente ilustrar uma teoria. Intervenções, controlos e verificações cruzadas podem sustentar um efeito. A independência é da teoria a testar, não de toda a teoria. A tabela descreve verificações possíveis, não resultados reais nem uma receita que garanta autonomia experimental. Se sustentarem o efeito, podemos aprender algo sobre ele mesmo enquanto explicações de nível mais alto continuam em disputa.

Manter distintas a intervenção e o controlo experimental, por um lado, e a pergunta de Mayo sobre o que uma afirmação passou a merecer à luz do teste e do resultado, por outro. Notas de apoio.

Testes Severos

Se a afirmação fosse falsa de uma maneira relevante, o teste teria tido uma boa oportunidade de mostrar isso?

A avaliação depende da afirmação, do teste e do resultado.

Antes e Depois

Antes dos dados avaliamos o procedimento; depois dos dados avaliamos o que o resultado permite concluir.

• Antes: que erros relevantes poderia o procedimento detectar?
• Depois: dado o resultado, o que podemos concluir sobre uma afirmação específica?

Poder ≠ Severidade

Antes	Depois
Poder: que diferença conseguiríamos detectar?	Severidade: o que sustenta este resultado?

Capacidade do procedimento ≠ apoio à afirmação.

Por agora, usar o contraste em linguagem corrente, sem exigir conhecimentos de probabilidade. Voltar aos nomes depois de Neyman–Pearson.

Poder: probabilidade, antes dos dados, de detectar uma alternativa especificada. Severidade: avaliação pós-dados de uma afirmação, dado o resultado observado. O poder pode contribuir para a severidade; não a substitui. Não transformar uma propriedade pré-dados num veredicto pós-dados: a avaliação de severidade depende da afirmação específica, do teste e do resultado efectivamente observado. Mayo e Spanos (2006), pp. 329–330.

Melhorar um Teste

«A música melhora a memória.»

Em grupos:

1. O que está vago?
2. Que rival plausível produz o mesmo resultado?
3. Que previsão poderia falhar?
4. Que comparação daria ao teste uma oportunidade real de encontrar o erro?

Dar tempo aos grupos antes de fornecer um exemplo. Se precisarem de ajuda, recuperar as duas explicações hipotéticas da aula anterior: organização rítmica versus activação geral. Especificar tarefa, momento de recordação e comparação. Música versus silêncio pode dar o mesmo resultado sob ambas as explicações.

Cada grupo apresenta a sua previsão e o erro que a comparação procura detectar.

Rever o Teste

O teste distingue a afirmação do rival?

• Que resultado obtivemos?
• Que conclusão é permitida?
• Que limitação permanece?

Propor dois resultados hipotéticos para os grupos avaliarem a conclusão.

No nosso exemplo, imaginar primeiro que as condições com e sem organização rítmica melhoram igualmente face ao silêncio. Isso não sustenta a vantagem específica prevista para a organização. Perguntar se a manipulação e a medida funcionaram antes de concluir que o mecanismo foi refutado.

Contrastar com uma vantagem apenas na condição organizada. Que apoio daria à afirmação específica? Que rival ou auxiliar ainda precisa de exame? Para avaliar a severidade, que erro teria o teste conseguido revelar?

Para a Probabilidade

Para avaliar resultados possíveis, precisamos de falar de frequência, incerteza e modelos.

Leituras

Obrigatórias

• Garcia-Marques e Garcia-Marques (2021), Uma análise do progresso científico da Cognição Social à luz da perspetiva do «novo Experimentalismo».
• Chalmers (2013), capítulo 13 — The New Experimentalism.

Opcionais

• Mayo e Spanos (2006), Severe Testing as a Basic Concept in a Neyman–Pearson Philosophy of Induction.
• Notas da cadeira sobre novo experimentalismo — em construção.