Testes Fáceis, Difíceis e Assim Assim

Filosofia da Ciência

João O. Santos

joao.santos@ispa.pt

ISPA

A Experiência Fica?

Teoria A → efeito experimental ← Teoria B

Duas explicações rivais. Um procedimento que ambas aceitam.

Podemos concordar no efeito e discordar da explicação?

Começar pela autonomia experimental, antes de apresentar a severidade. Imaginar duas equipas que aceitam a tarefa, a medida e os controlos, mas explicam o resultado de maneiras diferentes. Se o efeito resiste às verificações acordadas, ambas têm de o acomodar. Para esta comparação, precisamos de um procedimento aceite pelas duas equipas.

Chalmers (1999), capítulo 13, pp. 194–196 discute o motor de Faraday: partidários de teorias diferentes podiam fazê-lo funcionar. A edição local consultada é a terceira, de 1999; a leitura obrigatória da cadeira continua a ser a edição de 2013.

Experiências Com Vida Própria

Efeito verificado → Teoria A → Teoria B → Teoria C

Uma nova explicação continua a ter de dar conta do efeito.

O que fica: técnicas, medidas, condições e resultados fiáveis.

A seta esquematiza mudanças possíveis de explicação. Uma teoria nova pode obrigar a rever a descrição e o alcance do efeito, aproveitando técnicas e resultados anteriores. Conhecer como produzir, medir e controlar um efeito também é conhecimento. Chalmers (1999), pp. 194–196; notas de apoio.

O Que Há de Novo?

A experimentação já existia há séculos.

Novo experimentalismo: dar à prática experimental um lugar próprio na filosofia da ciência.

A novidade é a atenção filosófica àquilo que os investigadores aprendem intervindo, calibrando, verificando e eliminando erros, para além de escolher entre teorias gerais. O rótulo reúne autores com agendas diferentes, ligados a tradições anteriores. Mayo (1994), introdução do artigo, e Chalmers (1999), pp. 193–194.

Independente de Quê?

Para Comparar A e B	Precisamos de…
Produzir o efeito	Um procedimento que funcione
Medir o resultado	Uma medida justificável para ambas
Excluir artefactos	Verificações que possam falhar

Autonomia face às teorias em confronto.

Os aparelhos e as medidas usam conhecimento anterior. A autonomia é relativa às teorias que estamos a pôr à prova. Se só conseguirmos reconhecer o efeito pressupondo a verdade de A, o procedimento não oferece a B a comparação independente que prometemos. E um resultado que apareça mesmo quando a hipótese falha pode ser estável sem ser diagnóstico dessa hipótese. Daí a próxima pergunta: que erro teria a experiência conseguido revelar?

Um Exame Severo

Cenário imaginado: uma pessoa passa num exame exigente.

O exame avaliava os conhecimentos relevantes e não houve cópia.

O que aprendemos sobre o que essa pessoa sabe?

Apresentar como cenário imaginado. A exigência relevante é a capacidade de revelar falta de conhecimento sobre a matéria avaliada.

Um Exame Demasiado Fácil

Para passar, basta respirar.

Uma pessoa passa.

O que aprendemos agora sobre o seu conhecimento?

O Resultado Distingue?

	Passa no Exame Fácil	Passa no Exame Exigente
Bem preparada	Sim	Provavelmente
Mal preparada	Sim	Pouco provável

Passar só informa se o teste conseguir expor a falta de preparação.

Usar a tabela como esquema conceptual. O que passar nos permite concluir sobre a preparação depende da matéria avaliada e das falhas que o exame conseguiria detectar.

Reconhecer «Os Nossos»

Reconhecemos melhor rostos do nosso grupo.

Porquê?

Uma Possibilidade	Outra Possibilidade
Mais experiência com esses rostos	A pertença ao grupo muda a atenção

O viés de reconhecimento da própria raça motivou parte desta investigação. Comparar apenas rostos de grupos raciais deixa várias coisas a variar em conjunto: experiência anterior, propriedades visuais e pertença social. As duas explicações da tabela podem contribuir ao mesmo tempo. Vamos examinar uma experiência que separa a pertença social de diferenças sistemáticas entre os rostos e de uma longa história com aquele grupo.

O exemplo seguinte usa a Experiência 1 de Van Bavel e Cunningham (2012), com grupos mínimos racialmente mistos.

Leões ou Tigres?

Atribuição aleatória a uma equipa

Leões	Tigres
3 rostos negros + 3 brancos	3 rostos negros + 3 brancos

A atribuição dos rostos às equipas também variava entre participantes.

Van Bavel & Cunningham (2012), Experiência 1

Os nomes traduzem Lions e Tigers, usados no estudo. A tabela esquematiza o delineamento. Os participantes eram informados da equipa a que pertenciam, sem um fundamento para essa atribuição. Cada equipa tinha seis rostos masculinos; a distribuição dos rostos era aleatória e contrabalançada. Assim, um rosto não era intrinsecamente «dos nossos» ou «dos outros».

O artigo relata 141 participantes que completaram a experiência, depois da exclusão de oito por incumprimento das instruções. Método: pp. 1568–1569.

Aprender → Reconhecer

3 minutos para estudar os dois grupos

↓ tarefa de intervalo

24 rostos: 12 já vistos + 12 novos

«Já vi este rosto?»

Na aprendizagem, os participantes podiam alternar entre os seis rostos de cada equipa, até 34 alternâncias ou três minutos. Foi-lhes pedido que recordassem os rostos de ambos os grupos. A tarefa de intervalo demorou cinco a dez minutos. No reconhecimento, os rostos apareciam individualmente, em ordem aleatória, sem pistas visuais da equipa. Os rostos novos também incluíam as duas categorias raciais. Método: p. 1569.

O Que Encontraram?

Rostos Já Vistos	Proporção de Reconhecimento Correcto
Da própria equipa	0.87
Da outra equipa	0.83

Vantagem para a equipa atribuída no laboratório.

Van Bavel & Cunningham (2012), p. 1569

Valores médios reportados na secção de resultados: F(1, 140) = 4.35, p < .04, d = .18. São médias agregadas por equipa, não resultados de cada categoria racial. Não afirmar que os resultados foram idênticos nas duas categorias porque a interacção não atingiu o limiar convencional.

A vantagem refere-se ao reconhecimento dos rostos aprendidos. A nota 2 (p. 1576) explica que os falsos reconhecimentos de rostos novos não podiam ser atribuídos a uma equipa, porque não havia pistas dessa pertença no teste. Não chamar a estes números d′ nem tratá-los como medida que separa sensibilidade e critério de resposta.

O Que Fica Excluído?

Uma diferença fixa entre os rostos das duas equipas não chega.

A mesma fotografia podia pertencer a qualquer equipa.

A pertença social contribui para o reconhecimento.

A atribuição aleatória e o contrabalançamento tornam pouco plausível explicar a vantagem apenas pela luminosidade, pela composição racial de cada equipa ou pela maior facilidade de reconhecer aquelas fotografias específicas. A história de experiência com rostos negros e brancos também não explica, por si só, a diferença entre equipas criadas ali, ambas racialmente mistas. O estudo mediu ainda mais tempo de aprendizagem da própria equipa; essa atenção mediava estatisticamente a vantagem. A mediação medida não demonstra sozinha um mecanismo causal exclusivo.

É um teste mais diagnóstico de uma contribuição social do que uma simples comparação entre grupos raciais: retira aos rivais algumas formas fáceis de explicar o mesmo padrão. Usamo-la para discutir como os controlos ajudam a pôr uma explicação à prova; uma avaliação formal da severidade exigiria especificar a afirmação e a capacidade de detectar o erro relevante.

E a Experiência Anterior?

Continua a poder contar.

O efeito social foi obtido sem uma história anterior com aquelas equipas.

A familiaridade e a especialização perceptiva podem contribuir em conjunto com a pertença social.

Uma explicação completa precisa de acomodar a contribuição da pertença social neste delineamento e o possível papel da familiaridade e da especialização perceptiva no reconhecimento da própria raça. Distinguir experiência anterior de atenção durante a aprendizagem: diferenças desta última são uma possível via pela qual a pertença social afecta a memória.

Testes Severos

Se a afirmação estivesse errada desta maneira, teríamos conseguido perceber?

Afirmação específica + teste capaz de revelar o erro + resultado observado

Recuperar a afirmação específica do exemplo: a pertença social contribui para o reconhecimento neste delineamento. Pedir que identifiquem o rival «as fotografias de um grupo são simplesmente mais fáceis» e a função do contrabalançamento. O grau de apoio depende de o procedimento ter realmente funcionado e do resultado que produziu. Não chamar «severo» a um estudo só porque é complexo, trabalhoso ou encontra p pequeno.

Mayo e Spanos (2006), pp. 329–330.

Antes e Depois

Antes dos dados avaliamos o procedimento; depois dos dados avaliamos o que o resultado permite concluir.

Antes: que erros relevantes poderia o procedimento detectar?

Depois: o que sustenta este resultado?

Poder ≠ Severidade

Antes	Depois
Poder: detectar uma alternativa especificada	Severidade: avaliar uma afirmação com este resultado

Por agora, usar linguagem corrente; voltar às probabilidades depois de Neyman–Pearson. Poder é a probabilidade pré-dados de rejeitar uma hipótese sob uma alternativa especificada. A severidade é uma avaliação pós-dados, relativa à afirmação e ao erro relevante. O poder pode contribuir para a avaliação; não a substitui. Mayo e Spanos (2006), pp. 329–330.

Melhorar um Teste

«A música melhora a memória.»

1. O que está vago?
2. Que rival plausível produz o mesmo resultado?
3. Que comparação poderia distingui-los?

Dar tempo aos grupos antes de fornecer um exemplo. Recuperar as duas explicações hipotéticas da aula anterior: organização rítmica versus activação geral. Especificar tarefa, momento de recordação e comparação. Música versus silêncio pode dar o mesmo resultado sob ambas as explicações. Cada grupo apresenta a previsão e o erro que a comparação procura detectar.

Rever o Teste

Que resultado obtivemos?

Que explicação fica em dificuldade?

Que contributos continuam possíveis?

Propor dois resultados hipotéticos. Primeiro: condições com e sem organização rítmica melhoram igualmente face ao silêncio. Isso não sustenta a vantagem específica prevista para a organização; confirmar que a manipulação e a medida funcionaram antes de concluir que o mecanismo foi refutado.

Depois: vantagem apenas na condição organizada. Que apoio dá à afirmação? Que rival ou auxiliar ainda precisa de exame? Recuperar a lição dos rostos: vários contributos podem participar no mesmo efeito.

O Que Fica?

Podemos aprender um efeito antes de concordar na sua explicação.

O teste deve dar aos erros relevantes uma oportunidade de aparecer.

Novas teorias herdam resultados que precisam de explicar.

Para a Probabilidade

Para avaliar resultados possíveis, precisamos de falar de frequência, incerteza e modelos.

Leituras

Obrigatórias

• Garcia-Marques e Garcia-Marques (2021), Uma análise do progresso científico da Cognição Social à luz da perspetiva do «novo Experimentalismo».
• Chalmers (2013), capítulo 13 — The New Experimentalism.

Opcionais

• Van Bavel e Cunningham (2012), A Social Identity Approach to Person Memory.
• Mayo e Spanos (2006), Severe Testing as a Basic Concept in a Neyman–Pearson Philosophy of Induction.
• Notas da cadeira sobre novo experimentalismo — em construção.