Delineamento da Investigação

Como construir comparações que dêem trabalho às nossas hipóteses

Fundamentos
Delineamento
Como planear um estudo, da pergunta e amostragem à comparação e medição.

0 Pergunta e Hipótese

Queremos realizar um estudo. Por onde começamos? Pela pergunta, antes de escolher um questionário, uma experiência ou um teste estatístico. Podemos querer descrever uma população, explorar um fenómeno, prever um resultado ou pôr uma explicação à prova. Estas perguntas não pedem todas o mesmo estudo.

Se queremos testar a hipótese de que a privação de sono reduz a atenção, precisamos de dizer que padrão esperamos observar e que resultado poria a hipótese em dificuldades. Horário, expectativas, motivação e fadiga geral podem imitar esse resultado. Em biologia, qualidade da água ou densidade podem imitar um efeito de temperatura. A hipótese orienta a comparação; as explicações concorrentes dizem-nos o que precisamos de separar.

Antes de tudo isto precisamos de hipóteses que valham a pena testar. McGuire (1997) reúne estratégias para gerar hipóteses e procurar limites, moderadores e explicações alternativas. Gerar uma ideia é o início; o delineamento decide se conseguimos pô-la realmente à prova.

Nem sempre partimos de uma hipótese específica. Podemos querer estimar a cobertura de uma região ou procurar um fenómeno replicável que ainda não sabemos explicar. Nesse caso, comecemos por definir o que queremos descrever ou explorar, em que unidades e com que alcance. A distinção entre detectar um fenómeno e discriminar explicações será importante ao planear o estudo.

Percursos de Leitura

Numa primeira leitura, avancem da pergunta para Como Obter Evidência. Depois acompanhem Manipulação e Delineamento, até às unidades, réplicas e estruturas clássicas. É um bom ponto para fazer uma pausa: tentem identificar a comparação e as unidades de um estudo concreto antes de continuar.

Na Medição e Evidência, começamos pelas quatro escalas, relemos a proposta de Stevens e as críticas posteriores, e passamos daí à fiabilidade, à validade e à triangulação. Os callouts recolhidos podem esperar: guardam exemplos especializados e desenvolvimentos técnicos para consulta.

Para rever um estudo que já está planeado, comecem pela lista Antes de Abrir o R e regressem às secções em que não conseguirem responder. Para escolher ou adaptar uma medida, entrem directamente em Teoria da Medida. No fim, as ligações em Continuar para a Estatística indicam os próximos passos; não vamos derivar aqui os testes estatísticos.

1 Como Obter Evidência

É tentador começar pelo fim: «isto é uma ANOVA ou uma regressão?». Ainda não. Antes de escolher uma análise, precisamos de decidir como obter observações que respondam à pergunta. Quando testamos uma hipótese, queremos uma comparação que possa ensinar-nos alguma coisa se a hipótese estiver errada e também se estiver certa.

Método, Delineamento e Análise

Estas três coisas aparecem muitas vezes na mesma frase e depois pagamos a conta mais tarde.

  • Método é a forma de obter observações: questionário, experiência, amostragem de campo, registo fisiológico, imagem, sensor, entrevista.
  • Delineamento é a arquitectura da comparação: o que varia, em que unidade, o que se repete, o que fica junto e em que ordem.
  • Análise é a representação matemática dessa comparação e da sua incerteza quando os dados já existem.

A distinção importa porque não podemos transformar um delineamento numa coisa diferente escolhendo outro comando no R.

Numa experiência, manipulamos uma condição e medimos os resultados. Num estudo observacional, medimos sem introduzir essa manipulação. Manipular e medir não são alternativas mutuamente exclusivas: precisamos de medir também nas experiências, incluindo, por vezes, o que a manipulação alterou. E podemos medir sem ter uma variável independente a comparar, como quando estimamos a cobertura local.

A análise tem de acompanhar estas decisões. Podemos descrever as observações, estimar relações ou testar uma hipótese estatística, conforme a pergunta. Convém pensar nisso durante o planeamento, não apenas depois da recolha. Aqui vamos desenvolver o delineamento e a medição; os capítulos seguintes tratam da incerteza e dos testes.

Construir Um Teste

Na Filosofia da Ciência vimos que uma hipótese ganha valor quando corre risco. Na Filosofia da Estatística, a ideia de teste severo torna isso mais preciso: um resultado favorável é informativo quando o procedimento teria tido uma boa oportunidade de mostrar um problema caso a afirmação estivesse errada de uma forma relevante (Mayo & Spanos, 2006; Mayo, 2018).

O delineamento é onde começamos a comprar essa severidade. Tentamos fazer duas coisas ao mesmo tempo:

  1. dificultar a passagem de uma explicação errada: reduzir confundimento, enviesamento, pseudorreplicação, efeitos de ordem, artefactos de medição e outras maneiras de produzir um resultado favorável sem que a hipótese seja a explicação;
  2. preservar a capacidade para detectar uma discrepância real: reduzir ruído desnecessário, medir com sensibilidade, usar réplicas genuínas e criar comparações capazes de revelar efeitos cientificamente relevantes.

Estas duas metas correspondem, de forma aproximada, às duas direcções de erro que reaparecem na estatística: uma ideia falsa parecer passar e uma ideia ou efeito real não conseguir aparecer. A analogia é útil, mas não confundam estas duas direcções gerais com erros de Tipo I e Tipo II. Esses nomes pertencem a procedimentos estatísticos formais.

Nenhum estudo elimina todas as fragilidades. Tempo, dinheiro, acesso, bem-estar dos participantes ou animais, capacidade dos instrumentos e simples logística obrigam-nos a escolher.

Um modelo muito sofisticado aplicado a um delineamento que não permite responder à pergunta continua a não responder à pergunta. Só demora mais tempo a explicar porquê. Por isso, além de perguntar «qual é a falha?», perguntem sempre em que direcção esta falha empurra o teste?

Uma falha que torna um efeito real mais difícil de detectar pode não explicar um resultado positivo que apareceu apesar dela. Continua a ser um problema. Reduz sensibilidade, pode tornar resultados negativos pouco informativos e pode tornar a estimativa mais instável. Queremos dificultar a vida a uma hipótese falsa sem tornar o estudo surdo ao fenómeno que realmente queremos aprender.

Esta página faz a ponte entre filosofia, delineamento e análise. A lógica é a mesma em psicologia, biologia, neurociência ou física; mudam as unidades. Uma pessoa pode ser substituída por um peixe, um tanque, uma parcela, uma preparação ou um aparelho. A pergunta recorrente será: que comparação criámos, que erros ela exclui e que erros ainda deixa passar?

Duas Falhas

Podemos usar uma grelha simples antes de entrar nos nomes clássicos dos delineamentos.

Fragilidade Pode tornar mais fácil… Consequência principal
confundimento uma explicação errada produzir o padrão esperado apoio espúrio
enviesamento de selecção grupos diferirem antes da exposição apoio espúrio ou generalização errada
efeito de ordem não controlado posição ser confundida com condição apoio espúrio
medição enviesada o instrumento favorecer uma condição apoio espúrio
muita variabilidade irrelevante um efeito real ficar escondido menor sensibilidade
medida pouco fiável o sinal ser diluído por ruído menor sensibilidade
poucas réplicas genuínas diferenças reais serem difíceis de distinguir da variação menor sensibilidade e estimativas instáveis
controlo excessivamente heterogéneo aumentar a variância sem responder a outra pergunta menor sensibilidade

A tabela é uma heurística, não uma classificação universal. A mesma decisão pode ter consequências diferentes consoante o mecanismo e a pergunta. O ponto é obrigar-nos a perguntar como uma limitação poderia produzir o resultado que observámos.

A direcção importa também depois de conhecermos o resultado. Uma tendência para produzir falsos positivos, por si só, não explica por que não detectámos um efeito. Um baixo poder pode ajudar a explicar uma ausência de detecção, mas não uma falha de detecção num teste que efectivamente detectou o efeito. Isto não absolve o estudo: um resultado significativo não demonstra que o procedimento tinha elevado poder, que a estimativa é precisa ou que não há enviesamento.

Convém separar o risco do erro que realmente ocorreu. O poder descreve a probabilidade de rejeitar a hipótese nula sob um valor alternativo e condições especificados; não é um diagnóstico retrospectivo de sucesso ou fracasso. Do mesmo modo, uma fragilidade que aumenta o risco de falso positivo não prova que este resultado seja falso. Um resultado negativo também não prova ausência: precisamos de saber que efeitos relevantes o procedimento conseguiria revelar.

A discussão de Neyman–Pearson, erro e poder explica por que o poder é uma curva, e a secção sobre severidade distingue as propriedades do procedimento da avaliação de uma afirmação depois dos dados (Mayo & Spanos, 2006). Para visualizar a distinção entre sensibilidade e tendência para dizer «há sinal», vejam a Teoria da Detecção de Sinal. Essa distinção ajuda-nos a pensar nas duas direcções de falha, embora a sensibilidade de uma tarefa de detecção não seja o poder de um teste estatístico.

DicaUma Regra de Diagnóstico

Quando encontrarem uma fraqueza no estudo, perguntem:

  1. Pode esta fraqueza criar um efeito quando não existe?
  2. Pode esconder um efeito que existe?
  3. Pode alterar a magnitude ou a direcção do efeito?
  4. Pode limitar apenas a generalização, sem destruir a comparação interna?

Uma crítica metodológica torna-se muito mais informativa quando especifica a direcção do erro em vez de apenas listar «limitações».

Detectar Um Fenómeno

Em fases iniciais de uma investigação, podemos querer sobretudo saber se existe algum fenómeno replicável que valha a pena explicar. Nessa fase, um delineamento sensível é especialmente importante: se a manipulação é fraca, a medida é ruidosa ou há poucas réplicas, um resultado negativo diz pouco.

Quando aparece um sinal, a pergunta muda. Queremos saber se a hipótese específica explica o fenómeno melhor do que alternativas plausíveis. Entram controlos mais exigentes, manipulações mais específicas, medições independentes, replicações e testes que discriminem explicações concorrentes.

Descoberta e teste não são mundos separados. Mas podem pôr pesos diferentes sobre sensibilidade e discriminação entre explicações. Um bom programa de investigação costuma precisar das duas.

2 Manipulação e Delineamento

Já distinguimos o que queremos saber e como podemos obter observações. Vejamos agora o que cada forma de comparação permite concluir. Começamos pela associação sem manipulação, passamos à comparação experimental e depois escolhemos as unidades e a estrutura do delineamento.

Observar Sem Manipular

Um exemplo ajuda. Imaginem que medimos o bem-estar dos leitores e quantas secções deste livro já leram. Talvez a leitura do NRB destrua lentamente a alegria de viver. Ou talvez só quem já estava muito mal tenha a perseverança necessária para chegar à secção 47. A associação pode ser exactamente a mesma. A história causal não é.

Uma regressão não faz magia. Se apenas observámos duas variáveis, escrever lm() não introduz uma manipulação que nunca aconteceu. Um estudo observacional longitudinal pode ajudar-nos a estabelecer ordem temporal e a eliminar algumas histórias. Não elimina todas.

Experiências Naturais

Às vezes acontece alguma coisa fora do controlo do investigador que cria grupos muito semelhantes com exposições diferentes. Uma alteração de política, uma lotaria, uma regra administrativa, uma mudança ambiental ou outro acontecimento pode aproximar a comparação da lógica de uma experiência. Em economia estes casos são muitas vezes chamados experiências naturais (Angrist & Krueger, 2001). A ideia também é útil em psicologia, epidemiologia e biologia.

A palavra experiência pode enganar. O investigador não fez a alocação. Temos de justificar por que razão a exposição criada pelo acontecimento ficou suficientemente desligada das características anteriores das unidades. É essa hipótese de uma alocação «como se fosse aleatória» que dá força ao delineamento (Craig et al., 2017).

É fácil imaginar a versão biológica. Uma tempestade pode abrir uma clareira numa parcela e deixar uma parcela próxima quase intacta. A comparação torna-se interessante se houver boas razões para pensar que o impacto da tempestade não escolheu a parcela em função do resultado que queremos estudar. Psicologia e saúde pública encontram oportunidades semelhantes em mudanças de regras, políticas ou acesso a serviços. A natureza fez a intervenção. Nós ainda temos de fazer o trabalho de delineamento.

Empírico também é mais amplo do que experimental. Um eclipse, uma população selvagem ou uma coorte podem fornecer evidência empírica sem qualquer manipulação feita pelo investigador. A ciência dá um lugar especial à evidência empírica mesmo quando uma teoria parece simples, elegante ou bonita. Strevens (2020) chama a esta disciplina da argumentação científica a «regra de ferro».

Código 
flowchart LR
    O["Observacional<br/>medimos A e C"] --> OA["estimamos associação<br/>e declaramos pressupostos"]
    N["Experiência natural<br/>o mundo cria uma exposição"] --> NA["avaliamos se a comparação<br/>se aproxima de uma alocação aleatória"]
    E["Experimental<br/>manipulamos A"] --> R["alocação aleatória<br/>quando possível"]
    R --> EA["comparamos resultados<br/>depois da manipulação"]

flowchart LR
    O["Observacional<br/>medimos A e C"] --> OA["estimamos associação<br/>e declaramos pressupostos"]
    N["Experiência natural<br/>o mundo cria uma exposição"] --> NA["avaliamos se a comparação<br/>se aproxima de uma alocação aleatória"]
    E["Experimental<br/>manipulamos A"] --> R["alocação aleatória<br/>quando possível"]
    R --> EA["comparamos resultados<br/>depois da manipulação"]

Três formas gerais de produzir uma comparação.

Uma Associação, Várias Histórias

Suponhamos que observamos uma associação entre (A) e (C). Há várias histórias possíveis.

Código 
flowchart LR
    subgraph d["Efeito directo"]
      A1["A"] --> C1["C"]
    end
    subgraph r["Causalidade inversa"]
      C2["C"] --> A2["A"]
    end
    subgraph u["Causa comum"]
      U["U"] --> A3["A"]
      U --> C3["C"]
    end
    subgraph m["Mediação"]
      A4["A"] --> B4["B"] --> C4["C"]
    end

    style d fill:transparent
    style r fill:transparent
    style u fill:transparent
    style m fill:transparent

flowchart LR
    subgraph d["Efeito directo"]
      A1["A"] --> C1["C"]
    end
    subgraph r["Causalidade inversa"]
      C2["C"] --> A2["A"]
    end
    subgraph u["Causa comum"]
      U["U"] --> A3["A"]
      U --> C3["C"]
    end
    subgraph m["Mediação"]
      A4["A"] --> B4["B"] --> C4["C"]
    end

    style d fill:transparent
    style r fill:transparent
    style u fill:transparent
    style m fill:transparent

A mesma associação pode nascer de estruturas causais diferentes.

Na mediação, (A) altera (B) e (B) altera (C). Uma cadeia causal pode ter muitos passos e vários caminhos em paralelo. A moderação faz outra pergunta. Queremos saber se o efeito de (A) muda consoante uma terceira variável (Preacher, 2015).

Também pode haver ciclos ao longo do tempo. (A_t) afecta (B_{t+1}), que depois afecta (A_{t+2}). Os diagramas ajudam a tornar a hipótese visível. As setas continuam a ser hipóteses sobre o mundo (Greenland et al., 1999).

Conhecimento Prévio

Uma associação medida no mesmo momento deixa muitas histórias abertas. O resto do que sabemos também entra no raciocínio.

Imaginem que sexo cromossómico está associado a uma preferência de cor medida anos depois. A própria ordem do desenvolvimento torna biologicamente incoerente a história «preferência de cor adquirida anos depois → sexo cromossómico do embrião». Isso ainda deixa muitas explicações possíveis para a associação. Socialização, expectativas, cultura e experiências podem estar no caminho.

É assim que uma investigação observacional pode contribuir para um argumento causal. Juntamos a associação observada à ordem temporal, conhecimento substantivo, estudos anteriores, mecanismos plausíveis e comparações adicionais. Confundimento, selecção, erro de medição e causalidade inversa continuam a merecer atenção (D’Onofrio et al., 2020).

Comparação Experimental

Numa experiência fazemos variar deliberadamente uma condição. A manipulação acontece antes do resultado, por isso ganhamos precedência temporal para essa parte da história causal. Quando a alocação é aleatória, ganhamos também uma forma muito forte de tornar os grupos comparáveis relativamente ao que aconteceu antes da experiência.

Código 
flowchart LR
    R["alocação aleatória"] --> A["manipulação de A"]
    A --> B["processo B<br/>(possível mediador)"]
    B --> C["resultado C"]
    A --> C

flowchart LR
    R["alocação aleatória"] --> A["manipulação de A"]
    A --> B["processo B<br/>(possível mediador)"]
    B --> C["resultado C"]
    A --> C

A lógica causal mínima de uma experiência aleatorizada.

Ainda há trabalho a fazer. A manipulação pode mexer em mais do que uma coisa. Podem existir desistências, incumprimento ou contaminação entre condições. A medição também pode alterar o que estamos a medir. E o efeito pode depender muito das pessoas, organismos, estímulos, aparelhos ou locais escolhidos.

Se uma manipulação de ansiedade não alterou ansiedade, perdeu-se uma premissa importante do teste da hipótese. É por isso que precisamos de verificar a manipulação. Convém pensar onde e como o fazemos, porque a própria pergunta pode influenciar o participante.

Verificar a Manipulação

Numa experiência, não basta mostrar que a condição alterou o resultado. Temos também de perguntar se a manipulação alterou aquilo que queríamos alterar. Um indutor de ansiedade pode mudar o humor, mas também a atenção, a motivação ou a sensação de estar a ser testado. Uma verificação da manipulação (manipulation check) mede directamente o constructo que a manipulação devia alterar.

Fiedler et al. (2021) defendem que estas verificações são centrais para o controlo de qualidade da investigação. Para os autores, elas oferecem um teste crítico das premissas do teste de hipóteses e ajudam a melhorar o delineamento e o controlo de validade. Para isso, analisaram a forma como as verificações são reportadas em artigos do Journal of Personality and Social Psychology.

Calder et al. (2020) fazem uma crítica complementar. Segundo os autores, verificações da manipulação e análises de mediação são muitas vezes usadas com base na ideia de que é preciso fazer corresponder constructos a variáveis para validar uma teoria. Propõem separar constructos de variáveis e distinguir hipóteses sobre constructos de previsões sobre efeitos observados. Stoner et al. (2022) incluem as verificações da manipulação e da atenção entre as boas práticas para experiências.

DicaNa Prática
  • Planeiem a verificação antes da recolha, e não depois de ver que o efeito não apareceu.
  • Formulem a pergunta sem revelar a hipótese, para que a resposta não seja só o que o participante acha que deve responder.
  • Interpretem a verificação com o delineamento: uma resposta positiva não prova sozinha que a manipulação actuou no constructo pretendido.

Amostragem e Alocação

Há duas setas que os manuais às vezes desenham demasiado depressa.

Amostragem selecciona as unidades que entram no estudo. Alocação atribui condições às unidades seleccionadas. Sortear quem recebe uma intervenção não é sortear quem entra na amostra.

Uma amostra de conveniência pode permitir uma comparação interna forte se a alocação e o restante procedimento forem adequados. Isso não torna o efeito médio observado igual ao de qualquer outra população. O inverso também acontece: recrutar muitas pessoas não salva uma comparação em que tratamento e outra diferença importante ficaram colados. Ao relatar uma experiência, descrevemos recrutamento e alocação separadamente (Moher et al., 2010).

Amostrar Para Quê?

A escolha começa no que queremos concluir. Representativa de quê, e para que pergunta? Uma amostra não recebe um selo de representatividade que sirva para todas as inferências. Garcia-Marques et al. (2026) defendem que os critérios de selecção devem ser justificados pelo objectivo do estudo, em vez de exigir a todos os estudos uma miniatura demográfica da população.

Num exemplo inventado de ecologia, queremos estimar a cobertura média de algas num troço de costa, nesta estação. A população-alvo é o conjunto de locais sobre o qual queremos essa estimativa. A população acessível inclui os locais a que conseguimos chegar. O quadro de amostragem é a lista ou outra forma operacional de identificar os locais a seleccionar. Se só conseguimos visitar praias junto à estrada, falta justificar a passagem dessas praias para toda a costa. Muitos quadrados nessas praias não resolvem essa falta de cobertura.

Para esta estimativa, precisamos de saber como foram seleccionados os locais, quais ficaram de fora e se os locais seleccionados foram efectivamente observados. Numa amostragem probabilística, as unidades têm probabilidades de inclusão conhecidas e positivas; não têm de ser todas iguais. Na amostragem aleatória simples, são iguais. Podemos também amostrar separadamente em estratos, como costa rochosa e arenosa, para assegurar observações em ambos. A estimativa para a costa deve respeitar o plano e o peso de cada estrato, não apenas juntar todas as linhas.

Agora queremos testar uma explicação sobre a resposta das algas à salinidade. Podemos escolher deliberadamente locais contrastantes que tornem essa explicação mais fácil de distinguir das alternativas. É amostragem intencional: os critérios servem a pergunta, não a frequência de cada tipo de local na costa. Ainda teremos de separar salinidade de outras diferenças entre os locais. A selecção, sozinha, não cria controlo experimental.

O mesmo vale para participantes. Uma amostra de conveniência reúne quem está disponível; uma amostra intencional selecciona por critérios relevantes. Podem sobrepor-se, mas «eram os alunos que estavam aqui» explica o acesso, não explica por que são um teste informativo da hipótese. Precisamos de explicitar elegibilidade, recrutamento, recusas e exclusões, e de justificar as características que importam para a comparação (Garcia-Marques et al., 2026; Mook, 1983).

Por fim, aplicar uma intervenção noutro contexto pede outra passagem: esperamos que se mantenha o mecanismo, a direcção ou a magnitude do efeito? Estas conclusões não são equivalentes. Um estudo pode testar bem uma previsão local sem estimar a magnitude média numa população mais ampla. Também pode ter ambos os objectivos, desde que o plano responda a ambos. Mesmo sem uma condição experimental, descrever ou explorar exige justificar as unidades seleccionadas e o alcance das observações.

Uma amostra não aleatória não proíbe toda a estimação para uma população-alvo. Por exemplo, a ponderação ou a padronização podem combinar o estudo com informação sobre essa população. Exigem pressupostos sobre a selecção, características relevantes medidas, sobreposição suficiente e modelos adequados. Não basta ajustar um modelo aos participantes disponíveis e declarar resolvida a generalização (Lesko et al., 2017).

Participantes e Materiais

Seleccionamos também palavras, fotografias, rostos, vídeos ou cenários. Garcia-Marques et al. (2026, p. 10) estendem explicitamente a discussão da amostragem a estímulos e condições operacionalizadas. Precisamos, portanto, de justificar quem participa e a que materiais responde.

Vamos acompanhar uma tarefa inventada: medimos o tempo necessário para identificar uma palavra apresentada com nitidez ou numa imagem degradada. Recrutamos adultos que lêem português e seleccionamos palavras familiares de uma base lexical. Restringir a familiaridade pode ajudar a estudar o efeito da degradação sem o misturar com desconhecimento da palavra. Também restringe o que podemos concluir sobre palavras pouco familiares.

Registamos a origem dos participantes e dos materiais, os critérios de inclusão e exclusão, e o número de identidades distintas. A palavra é o estímulo de base; a imagem nítida e a degradada são duas versões desse estímulo. Dois ficheiros não significam necessariamente dois itens independentes. Repetir a imagem de «mar» cem vezes também não dá cem palavras amostradas.

Se escolhermos um conjunto de palavras para a condição nítida e outro para a degradada, comprimento ou frequência lexical podem imitar o efeito pretendido. Pré-testar e controlar características dos materiais pode ajudar, mas a forma como ligamos itens a condições merece uma decisão própria. Judd et al. (2012) mostram por que ignorar a variação dos estímulos pode subestimar a incerteza quando queremos concluir para além dos itens escolhidos. Mais participantes com as mesmas poucas palavras não substituem mais palavras.

Já temos as unidades seleccionadas. Falta perceber a que nível recebem condições, o que se repete e como apresentamos os materiais.

Unidades e Replicação

Antes de escolher entre grupos diferentes ou medidas repetidas, precisamos de saber onde ocorre a variação. Uma manipulação pode ser aplicada ao tanque e as medições recolhidas nos peixes; essas duas unidades não são a mesma coisa.

Unidade Experimental e Réplica

A unidade experimental é a menor unidade que recebeu uma condição de forma independente para a pergunta em causa. O número dessas unidades dá o número de réplicas genuínas da comparação (Zimmerman et al., 2021).

Uma linha da base de dados pode ser uma réplica, uma subamostra ou uma medição repetida. O formato do ficheiro não decide isso.

  • Se a intervenção é atribuída a cada pessoa, a pessoa pode ser a unidade experimental.
  • Se a temperatura é aplicada ao tanque, o tanque é a unidade experimental mesmo que meçamos muitos peixes.
  • Se comparamos locais inteiros, os locais são as réplicas da comparação entre locais. Muitos quadrados dentro de um local descrevem melhor esse local.

A pergunta «o que representa uma linha?» ajuda. Depois pergunte que linhas partilham a mesma unidade e a que nível varia o preditor.

Subamostra e Pseudorreplicação

Uma subamostra é uma observação recolhida dentro de uma unidade que já foi amostrada ou alocada. Podem ser vários peixes no mesmo tanque, várias células do mesmo animal ou várias respostas da mesma pessoa. Essas observações ajudam a estimar a variação dentro da unidade (Lazic, 2010).

Há pseudorreplicação quando tratamos observações dependentes como réplicas independentes. Quarenta peixes em quatro tanques continuam a dar quatro tanques para uma pergunta sobre o tratamento aplicado ao tanque.

NotaRepetir Um Rótulo Não É Repetir Uma Unidade

Nem toda a repetição numa coluna cria dependência. Suponham que cada linha é um espécime diferente e queremos comparar duas espécies. Se os espécimes podem ser tratados como unidades independentes para essa pergunta, species é simplesmente um factor inter-unidades. Ter vinte linhas com o rótulo da mesma espécie é precisamente o que permite estimar a média dessa espécie. Não são vinte medidas repetidas da mesma unidade.

O problema aparece quando várias linhas partilham uma unidade relevante que estamos a ignorar. Se dez espécimes de cada espécie vierem todos do mesmo tanque, ninho, recife ou população local, esse agrupamento pode ter de entrar no delineamento e no modelo. Incluir species como efeito fixo permite testar a diferença entre espécies. Não corrige automaticamente outro agrupamento que tenha ficado escondido.

Por isso, não perguntem apenas «há valores repetidos nesta variável?». Perguntem que entidade se repete, que linhas podem ser tratadas como unidades independentes e a que nível varia o preditor que queremos testar.

Há ainda um caso traiçoeiro: a mesma unidade pode aparecer várias vezes sem sabermos que é a mesma. Se um peixe marcado é observado em duas ocasiões e recebe o mesmo identificador, a repetição é visível. Se dois registos do mesmo animal forem tratados como dois espécimes diferentes, a base de dados esconde a dependência.

Às vezes a identidade é relativamente fácil de preservar: anilhas, etiquetas, chips, fotografia individual, códigos de participante ou outro identificador persistente. Noutros casos é muito mais difícil. Organismos visualmente muito semelhantes podem ser recapturados sem reconhecimento. Num website, o mesmo visitante em dois dispositivos pode parecer duas pessoas, enquanto várias pessoas num dispositivo partilhado podem parecer uma só.

Se a pergunta for «quantos indivíduos distintos existem?», isto é também um problema de medição ou contagem. Se esses registos forem depois tratados como réplicas independentes numa análise, torna-se também um problema de dependência. O ficheiro não resolve a identidade das unidades por nós.

As subamostras continuam a ser úteis. Podemos resumir por unidade ou modelar a hierarquia. Um modelo misto reconhece agrupamento. A quantidade de unidades que receberam o tratamento continua a ser uma propriedade do delineamento (Zimmerman et al., 2021).

AvisoContar Linhas Pode Enganar

Façam um esquema como peixe → tanque → tratamento ou resposta → participante → condição. Acrescentar peixes ao mesmo tanque dá mais informação sobre esse tanque. Para comparar mais tanques, precisamos de mais tanques.

Estruturas de Delineamento

Os nomes clássicos são atalhos para estruturas que aparecem em muitas áreas. Vale a pena conhecê-los porque ajudam a ver onde está a variação.

Inter-, Intra- e Mistos

Com pessoas, dizemos inter-participantes (between-subjects) quando participantes diferentes recebem níveis diferentes de um factor. Dizemos intra-participantes (within-subjects, também chamado intra-sujeitos) quando os mesmos participantes contribuem para vários níveis. Inter-sujeitos é o sinónimo correspondente para o primeiro caso. Um delineamento misto combina factores dos dois tipos.

Com organismos, tanques ou aparelhos, usamos os termos mais gerais inter-unidades e intra-unidades. Convém sempre indicar a unidade: um factor pode ser intra-peixes e outro inter-tanques.

Código 
flowchart TB
    subgraph b["Inter-participantes"]
      P1["Pessoa 1"] --> A1["A"]
      P2["Pessoa 2"] --> B1["B"]
    end
    subgraph w["Intra-participantes"]
      P3["Pessoa 3"] --> A2["A"]
      P3 --> B2["B"]
    end
    subgraph mx["Misto"]
      G1["Grupo 1"] --> P4["Pessoa"]
      G2["Grupo 2"] --> P5["Pessoa"]
      P4 --> A3["A"]
      P4 --> B3["B"]
      P5 --> A4["A"]
      P5 --> B4["B"]
    end

    style b fill:transparent
    style w fill:transparent
    style mx fill:transparent

flowchart TB
    subgraph b["Inter-participantes"]
      P1["Pessoa 1"] --> A1["A"]
      P2["Pessoa 2"] --> B1["B"]
    end
    subgraph w["Intra-participantes"]
      P3["Pessoa 3"] --> A2["A"]
      P3 --> B2["B"]
    end
    subgraph mx["Misto"]
      G1["Grupo 1"] --> P4["Pessoa"]
      G2["Grupo 2"] --> P5["Pessoa"]
      P4 --> A3["A"]
      P4 --> B3["B"]
      P5 --> A4["A"]
      P5 --> B4["B"]
    end

    style b fill:transparent
    style w fill:transparent
    style mx fill:transparent

Três estruturas frequentes. Pessoa pode ser substituída por animal, tanque, preparação ou aparelho.

Num factor intra-unidades, cada pessoa, animal ou preparação serve em parte como o seu próprio controlo. Isso é especialmente útil quando existe muita variação entre unidades. O preço pode aparecer em forma de fadiga, aprendizagem, habituação ou efeitos de ordem.

Num factor inter-unidades, não há passagem da mesma unidade entre os níveis desse factor. Evitamos esse transporte entre condições, mas precisamos de informação suficiente para lidar com as diferenças entre unidades. A ordem de ensaios pode continuar a importar mesmo num estudo inter-participantes.

Nos delineamentos mistos, um factor pode ser inter-unidades e outro intra-unidades. Dois grupos podem receber intervenções diferentes e todos serem medidos antes e depois. Um animal pode receber um tratamento e ser observado em vários momentos. Um tanque pode receber uma temperatura e os organismos serem medidos ao longo de dias.

Participantes e Estímulos

Voltemos às palavras nítidas e degradadas. Se cada pessoa responde nas duas condições, degradação é um factor intra-participantes. Mas isso ainda não nos diz se cada palavra aparece nas duas condições. Precisamos de fazer a mesma pergunta relativamente à identidade do estímulo.

Um factor é inter-estímulos se cada item de base aparece apenas num dos seus níveis. É intra-estímulos se o mesmo item aparece em vários níveis no conjunto do estudo. Não é obrigatório que a mesma pessoa veja as duas versões da mesma palavra. Podemos trocar as versões entre participantes através de listas, como veremos em Apresentar os Estímulos (Judd et al., 2012, p. 62).

Para a tarefa inventada, estas são quatro arquitecturas possíveis:

Degradação Arranjo
Inter-participantes, inter-estímulos Um grupo vê só palavras nítidas de X; outro só palavras degradadas de Y.
Inter-participantes, intra-estímulos Um grupo vê as versões nítidas e outro as degradadas das mesmas palavras.
Intra-participantes, inter-estímulos Todos vêem X nítido e Y degradado; cada palavra fica presa à mesma condição.
Intra-participantes, intra-estímulos Todos vêem ambas as condições; as versões de cada palavra trocam entre pessoas.

Nos arranjos inter-estímulos, precisamos de justificar que diferenças entre conjuntos não explicam a comparação. Isto não torna inválida toda a comparação inter-estímulos: uma característica como frequência lexical não pode ser simplesmente trocada mantendo a identidade da palavra. A selecção de vários itens e o controlo das suas características tornam-se especialmente importantes.

Há ainda outra relação: participantes e estímulos estão cruzados quando cada participante responde a vários itens e os mesmos itens recebem respostas de vários participantes. Se cada pessoa tiver um conjunto exclusivo de itens, os itens estão aninhados nas pessoas. Um cruzamento pode ser parcial: não exige que todos vejam todos os itens.

Este cruzamento entre identidades não é o mesmo que dizer que um factor é intra-participantes ou intra-estímulos. Por exemplo, grupos diferentes podem ver versões diferentes das mesmas palavras: há cruzamento participante–estímulo, mas a condição é inter-participantes. A análise deve representar as fontes de variação relevantes para a pergunta; os modelos ficam no capítulo de medidas repetidas e modelos mistos. Um modelo com participantes e itens não alarga, por si só, o domínio amostrado.

Onde Vale a Pena Repetir?

A pergunta geral é onde está a variação que mais importa para a nossa inferência?

Em psicologia podemos escolher entre mais participantes, mais ensaios por participante ou mais estímulos. Se as pessoas diferem muito e cada pessoa é estável, mais participantes ajudam bastante. Se os estímulos variam muito, meia dúzia de itens pode deixar o resultado preso a esses exemplos. Mais ensaios ajudam quando existe muito ruído dentro da mesma pessoa (Westfall et al., 2015).

A mesma lógica aparece em ecologia. Cinquenta quadrados (quadrats) dentro da mesma pequena região descrevem essa região com detalhe. Cinco quadrados em dez regiões dizem muito mais sobre variação entre regiões. A escolha depende da pergunta. Se queremos estimar a cobertura local, concentrar medições pode ser sensato. Se queremos generalizar para a costa, precisamos de replicação ao nível da costa.

Em neurociência, mais células por animal dão informação sobre variação celular. Mais animais dão informação sobre variação entre animais. Em física, muitas leituras do mesmo sensor reduzem um tipo de incerteza e vários aparelhos ou lotes podem revelar outro.

Há sempre custos. Mais ensaios podem trazer fadiga ou habituação. Mais locais aumentam logística. Mais materiais podem alongar a experiência. O número total de linhas raramente resume esta decisão. Ao indicar o tamanho da amostra, distingam participantes, estímulos de base, ensaios e locais.

Replicar com as mesmas palavras testa a estabilidade do resultado com esses materiais; usar palavras novas testa também o seu alcance. Se mudarmos pessoas e materiais ao mesmo tempo e o resultado mudar, ainda não sabemos qual dessas dimensões explica a mudança. Variar deliberadamente populações, materiais e contextos ao longo de estudos ajuda a testar os limites da explicação (Garcia-Marques et al., 2026).

Delineamentos Factoriais

Um delineamento factorial cruza dois ou mais factores. Um factorial (2 ) dá-nos quatro combinações:

B1 B2
A1 A1 + B1 A1 + B2
A2 A2 + B1 A2 + B2

Isto compra-nos uma pergunta que dois estudos separados não conseguem responder da mesma maneira: a diferença entre A1 e A2 muda quando passamos de B1 para B2? Essa diferença de diferenças é a interacção.

Se A e B aparecem na nossa teoria precisamente porque admitimos que um possa mudar o efeito do outro, a interacção não é um extra para experimentar no fim. O delineamento tem de conter as quatro células e a análise deve continuar a permitir essa interacção quando perguntamos por diferenças médias de A ou de B.

Por outras palavras, podemos perguntar «há, em média, uma diferença entre A1 e A2?» sem obrigar primeiro o modelo a assumir que essa diferença é exactamente igual em B1 e B2. Mais à frente, esta será uma das razões para preferirmos testes Tipo III em modelos factoriais com interacções.

Também não precisamos de cruzar tudo com tudo. Cada factor acrescenta células, custos e interacções possíveis. O objectivo é incluir as combinações de que a teoria precisa, não construir a maior ANOVA que caiba no papel (Collins et al., 2009).

Bloqueio, Emparelhamento e Níveis

Dia de recolha, lote, gaiola, local, aparelho ou experimentador podem introduzir variação previsível. Bloquear significa formar conjuntos comparáveis com base nessa fonte e distribuir aleatoriamente as condições dentro de cada conjunto. Isso pode evitar uma confusão desnecessária e melhorar a precisão (Reynolds, 2026).

No emparelhamento, juntamos unidades semelhantes numa característica relevante antes da alocação. A estratégia é útil quando essa característica prediz bem o resultado.

Num delineamento de parcelas subdivididas (split-plot), factores diferentes são manipulados em níveis diferentes. Podemos aplicar temperatura ao tanque inteiro e outra intervenção a subunidades dentro do tanque. Cada factor tem a sua unidade experimental. A análise precisa de respeitar esses dois níveis de randomização (Reynolds, 2026).

Apresentar os Estímulos

Na nossa tarefa inventada, dividimos as palavras em dois conjuntos, X e Y. Construímos duas listas que trocam as versões. Vejamos quatro palavras de uma lista maior: «mar» e «luz» pertencem a X; «sal» e «rio» pertencem a Y.

Palavra de Base Lista 1 Lista 2
mar (X) Nítida Degradada
luz (X) Nítida Degradada
sal (Y) Degradada Nítida
rio (Y) Degradada Nítida

Cada pessoa recebe uma lista e vê cada palavra uma só vez, mas responde nas duas condições. Entre as pessoas das duas listas, cada palavra aparece nítida e degradada. Temos, assim, um factor intra-participantes e intra-estímulos sem repetir a mesma palavra na mesma pessoa. É a arquitectura de contrabalançamento de conjuntos descrita por Judd et al. (2012, p. 62), aplicada aqui a um exemplo nosso.

Alocamos participantes às listas por um procedimento aleatório planeado para equilibrar os seus números. Depois sorteamos a ordem dos ensaios em cada lista. A primeira decisão equilibra a ligação item–condição; a segunda evita fixar a ligação condição–posição. Baralhar os ensaios de uma lista em que X é sempre nítido não troca as versões de X.

Registamos lista, identidade da palavra, versão, posição e resposta em cada ensaio. Declaramos também instruções, treino, duração da apresentação, pausas e eventuais blocos. Estas decisões podem mudar a tarefa: responder depois de praticar não é necessariamente o mesmo que responder no primeiro contacto.

Ordem e Contrabalançamento

Quando a mesma unidade passa por várias condições, a ordem pode entrar na comparação. Se toda a gente fizer A → B → C → D, condição e posição ficam coladas uma à outra.

Com poucas condições podemos usar todas as ordens. O número de ordens cresce muito depressa. Um quadrado latino reduz o problema e coloca cada condição uma vez em cada posição.

Sequência 1.ª 2.ª 3.ª 4.ª
1 A B C D
2 B C D A
3 C D A B
4 D A B C

Este quadrado equilibra a posição. Alguns efeitos de transporte dependem do par de condições consecutivas e precisam de contrabalançamento adicional (Reese, 1997).

O objectivo aqui é perceber que a ordem faz parte do delineamento. Randomização, bloqueio e contrabalançamento resolvem problemas diferentes. Uma ordem aleatória pode ficar desequilibrada numa realização concreta. Restrições, como impedir sequências longas da mesma condição, devem ser planeadas e relatadas; podem também tornar a sequência previsível. Contrabalançar exige dizer o que equilibramos: itens por condição, condições por posição, blocos ou teclas de resposta, por exemplo.

Contrabalançar distribui uma influência da ordem; não garante que a elimina. Se A ensina irreversivelmente a resposta a B, trocar A → B por B → A não recupera automaticamente a comparação sem aprendizagem. Podemos precisar de participantes diferentes, de um intervalo de recuperação plausível ou de reformular a pergunta para incluir o período e a ordem.

Delineamentos Especiais

Nem toda a investigação cabe num simples pré/pós ou num factorial clássico. Na literatura especializada surgem estruturas desenhadas para responder a ameaças metodológicas particulares ou para lidar com restrições éticas e logísticas.

Esta secção serve de consulta rápida caso encontre um destes termos num artigo:

  • Delineamento de Quatro Grupos de Solomon (Solomon four-group design): cruza tratamento (sim vs. não) com a presença ou ausência de pré-teste. Resolve um problema clássico: o pré-teste pode sensibilizar os participantes, criar aprendizagem ou alterar o próprio efeito do tratamento. Com quatro grupos (dois com pré-teste e pós-teste; dois apenas com pós-teste), permite isolar o efeito da intervenção, o efeito do teste inicial e a interacção entre ambos (Solomon, 1949).
  • Delineamento de Descontinuidade da Regressão (Regression Discontinuity Design, RDD): quando uma intervenção é atribuída com base num limiar estrito de uma variável contínua (ex.: nota de corte para uma bolsa, limiar de biomarcador para iniciar medicação). As unidades imediatamente acima e abaixo da fronteira são praticamente indistinguíveis, permitindo estimar o efeito causal local da atribuição como se fosse uma quase-aleatorização (Thistlethwaite & Campbell, 1960).
  • Delineamento Cruzado (Crossover design): cada unidade recebe sequencialmente dois ou mais tratamentos (ex.: tratamento A depois B, versus B depois A). Exige períodos de lavagem (washout periods) suficientes para que o efeito residual de uma condição não contamine a seguinte.
  • Delineamento em Cunhas Escalonadas (Stepped-wedge cluster randomized trial): todos os grupos ou comunidades acabam por receber a intervenção, mas a transição de controlo para intervenção é feita de forma aleatorizada e desfasada ao longo do tempo. É comum quando não seria ético ou aceitável manter um grupo de controlo permanente sem acesso a uma política benéfica.
  • Ensaios N-de-1 (N-of-1 trials): a experiência decorre inteiramente num único indivíduo (ou sistema biológico), alternando aleatoriamente períodos de tratamento e controlo/placebo. Muito usado em medicina personalizada e psicofisiologia clínica para avaliar respostas idiossincráticas com controlo severo.

Campos científicos diferentes usam frequentemente nomes distintos para a mesmíssima arquitectura ou confundem noções aparentadas:

Conceito Psicologia / Ciências Sociais Biologia / Ecologia / Agronomia Medicina / Epidemiologia
Mesma unidade medida várias vezes Intra-participantes / Intra-sujeitos / Within-subjects Intra-unidades / Medidas repetidas Delineamento longitudinal / Cruzado (crossover)
Unidades diferentes por condição Inter-participantes / Inter-sujeitos / Between-subjects Inter-unidades / Parcelas independentes Grupos paralelos (parallel group trial)
Agrupamento de unidades semelhantes Emparelhamento (matching) Blocos casualizados (randomized blocks) Estratificação / Emparelhamento
Estrutura hierárquica Delineamento multinível / Aninhado Parcelas subdivididas (split-plot) / Amostragem aninhada Delineamento por agregados (cluster design)
Intervenção manipulada Variável independente (VI) Tratamento / Factor experimental Exposição / Intervenção
Desfecho medido Variável dependente (VD) Resposta / Característica fenotípica Outcome / Desfecho clínico

O pré-teste também pode criar dificuldades quando a intervenção muda o critério com que as pessoas se avaliam. O exemplo seguinte desenvolve esse problema; numa primeira leitura, podem avançar para Medição e Evidência e regressar aqui se forem planear uma avaliação pré-pós por auto-relato.

Pré-Teste Retrospectivo e Response Shift

Imaginem um programa de formação para voluntários que vão contar peixes de recife. Este exemplo é inventado. No primeiro dia, cada voluntário responde a «Quão confiante te sentes a identificar espécies de peixes de recife?» numa escala de 1 a 5. No último dia responde outra vez, à mesma pergunta. A média desce. A formação falhou?

Pode não ter falhado. No início, muitos voluntários não sabiam quanto não sabiam, e a confiança que declaravam assentava numa régua pouco exigente. Depois de dez sessões de identificação, a mesma palavra «confiante» passou a significar outra coisa. A competência subiu, mas a régua também mudou. Este deslocamento do critério interno de avaliação chama-se response shift (Howard, 1980; Sprangers & Schwartz, 1999).

O problema para o delineamento pré-pós é que a diferença entre os dois momentos mistura duas coisas: a mudança real naquilo que queremos medir e a mudança na forma de responder. Se a intervenção altera o critério das pessoas, o pré-teste deixa de ser uma referência estável. Howard e Dailey (1979) descreveram isto como uma fonte de contaminação das medidas de auto-relato. Howard e colaboradores (1979) notam que os delineamentos experimentais verdadeiros (os designs 4, 5 e 6 de Campbell e Stanley) são considerados internamente válidos, mas que o auto-relato num pré-pós pode introduzir uma fonte de invalidade interna. A aleatorização, por si só, não elimina uma mudança de critério.

Avaliar o Passado

Uma solução é o pré-teste retrospectivo (retrospective pretest). Depois da intervenção, pedimos à pessoa que avalie como estava antes, usando a mesma régua que usa no pós-teste. Howard (1980) recomenda estas avaliações retrospectivas como uma forma de atenuar o enviesamento de response shift. A lógica é simples: se o pós e o «antes» retrospectivo usam o mesmo critério, a diferença entre eles fica mais próxima da mudança real. Howard e colaboradores (1979) compararam a exactidão deste delineamento com o pré-pós tradicional em cinco estudos de avaliação de intervenções.

Um estudo de 2025 testou a mesma questão com equivalência de medida, em vez de comparar apenas médias. Crapo et al. (2025) aplicaram a 112 participantes de um programa de educação para relações um pré-teste tradicional, um pré-teste retrospectivo e um pós-teste, sobre confiança e conhecimento relacionais. Nos dois resultados, o pré-teste tradicional não mostrou equivalência com o pós-teste, enquanto o retrospectivo mostrou equivalência forte. Os autores restringem a conclusão à sua amostra e à sua medida, mas o resultado mostra porque é útil testar a equivalência antes de comparar médias.

Limites do Retrospectivo

O pré-teste retrospectivo tem pressupostos próprios. A memória reconstrói o passado à luz do presente, e as pessoas podem exagerar o progresso, sobretudo se o programa lhes pareceu bom. Essa expectativa é exactamente o que queríamos controlar.

Os estudos com then-test costumam obter estimativas de mudança maiores do que o pré-pós tradicional, mas a literatura ainda não decide qual dos dois é mais válido (Nieuwkerk & Sprangers, 2009). O próprio then-test está sujeito a enviesamentos como a resposta socialmente desejável, a justificação do esforço e a dissonância cognitiva. Queremos que o programa tenha valido a pena, e esse desejo pode influenciar a resposta sobre o passado.

Também não basta para provar que houve response shift. Mostra apenas que duas formas de estimar a mudança podem não coincidir. Piwowar e Thiel (2014) fizeram essa comparação num estudo com estudantes-professores que frequentaram formações de gestão de sala de aula, de curta ou de longa duração. O pré-teste retrospectivo e uma abordagem de invariância de medida (MIad) não produziram os mesmos resultados. A MIad identificou mais efeitos de response shift, alguns deles específicos de cada grupo. O retrospectivo é, portanto, uma escolha metodológica entre alternativas, não um oráculo.

DicaNa Prática
  • Meçam o pré-teste tradicional sempre que for possível, além do retrospectivo. A diferença entre as duas estimativas é informação.
  • Usem o mesmo item e a mesma escala nos três momentos.
  • Formulem a pergunta retrospectiva como «Antes da formação, quão…?», e não como um resumo vago do início.
  • Relatem as duas estimativas e expliquem o que pode justificar a diferença.

Se o delineamento incluir grupos sem pré-teste, como no delineamento de Solomon, podemos ver se o próprio pré-teste altera a resposta. O pré-teste retrospectivo responde a outra pergunta: se a régua das pessoas mudou.

3 Medição e Evidência

Ao escolher uma comparação, já tivemos de falar de medições. Agora vamos examinar o que essas observações significam e que evidência precisamos de ter para confiar nelas. Esta parte interessa tanto a estudos experimentais como a estudos observacionais, descritivos ou exploratórios.

O que sabemos já sobre medição? Quem estudou estatística ou métodos de investigação provavelmente encontrou variáveis nominais, ordinais e quantitativas, e talvez tenha aprendido a distinguir tipos de validade. Esse vocabulário é um ponto de partida útil. Ao preparar uma tese ou um artigo, conseguimos usá-lo para justificar a medida escolhida e a interpretação que queremos dar aos resultados?

Vamos começar pelas convenções que podem ser familiares, reler Stevens com as suas ressalvas e examinar as críticas à tipologia. Depois aprofundamos a fiabilidade, a validade e a combinação de fontes de evidência. No fim, juntaremos estas peças em decisões práticas de medição: o objectivo é passar de reconhecer os termos a justificar o que fazemos num estudo concreto.

Medir Também É Delinear

Uma variável não aparece pronta no mundo com o nome da coluna que vai ter no ficheiro. Temos de decidir o que conta como uma observação e que comparação essa observação permite.

Se chamamos «crescimento» à diferença de massa entre dois momentos, precisamos de confiar na balança, nos momentos escolhidos e na ideia de que essa diferença representa o processo que nos interessa. Se chamamos «ansiedade» a uma pontuação, há outra cadeia de decisões. E se contamos indivíduos, registamos uma proporção ou medimos um tempo, mudam também os modelos que fazem sentido.

A temperatura parece um caso mais simples: basta usar um termómetro. Mas o instrumento responde a uma propriedade física que tem de ser relacionada com a temperatura, e a leitura só ganha sentido por meio de calibração e de uma escala de referência. Os primeiros termoscópios permitiam comparar mudanças, mas não usavam uma escala comum; os modelos abertos também eram afectados pela pressão do ar. As primeiras escalas universais surgiram no início do século XVIII. A escala termodinâmica absoluta de Kelvin data de 1848; o kelvin tornou-se a unidade SI de temperatura em 1954 e a revisão do SI aprovada em 2018 fixou o valor da constante de Boltzmann, ligando a unidade de temperatura termodinâmica à energia. Isto não produz um termómetro universal: na prática, a termometria continua a recorrer a escalas de referência como a ITS-90 e a instrumentos diferentes consoante a gama de temperaturas (NIST, 2022a, 2022b, 2026).

Se contarmos do termoscópio de cerca de 1593 à redefinição do SI aprovada em 2018, são aproximadamente 425 anos: «cerca de quatro séculos» é mais exacto do que «500 anos», embora a resposta dependa do marco escolhido. A história ajuda a contrariar a ilusão de profundidade explicativa: saber usar um termómetro não significa saber explicar como a leitura se liga a uma grandeza física e a uma escala calibrada (Rozenblit & Keil, 2002).

Isto também ajuda a evitar que a dificuldade da medição pareça exclusiva da psicologia. Muitos constructos psicológicos têm histórias de operacionalização mais recentes, mas a medição em qualquer área depende de uma cadeia de decisões e de evidência. As pessoas também variam — e essa variação pode ser parte do fenómeno, não apenas ruído. Não há, porém, uma ordem geral segundo a qual «elefantes variam mais do que bactérias»: é preciso dizer que característica se compara, em que população e numa escala absoluta ou relativa.

As Quatro Escalas

A classificação habitual distingue quatro famílias:

  • Nominal: categorias sem ordem, como espécie ou grupo de tratamento.
  • Ordinal: categorias ordenadas, como uma classificação de severidade.
  • Intervalo: diferenças interpretáveis com um zero convencional, como temperatura Celsius.
  • Razão: diferenças e razões interpretáveis, como duração ou massa.

Se aprenderam a divisão em variáveis nominais, ordinais e quantitativas, «quantitativa» não é uma quinta escala de Stevens. Nessa divisão introdutória, as escalas de intervalo e de razão costumam ficar agrupadas como quantitativas. Mais adiante, Michell fará uma pergunta diferente: que evidência temos de que o próprio atributo tem estrutura quantitativa?

É uma orientação, não uma máquina que escolhe automaticamente o teste estatístico. A validade da medida, a sensibilidade, a distribuição produzida pelo procedimento e a pergunta científica continuam a importar. Para perceber porquê, vale a pena voltar à proposta de que esta classificação vem: o artigo de Stevens (1946).

Teoria da Medida

A tipologia dá-nos um vocabulário para falar dos números. A sua história ajuda a perceber os limites desse vocabulário: classificar uma escala, escolher uma análise e justificar uma interpretação são tarefas relacionadas, mas distintas.

O Que Stevens Propôs

Stevens (1946) entrou num debate da British Association sobre aquilo que se entende por medir e definiu medir como atribuir numerais a objectos ou acontecimentos segundo regras. Depois classificou as escalas (nominal, ordinal, de intervalo e de razão) pelas transformações que deixam o sentido da informação intacto, e daí tirou a regra famosa: as operações estatísticas legítimas dependem do tipo de escala.

O próprio artigo inclui ressalvas importantes. Stevens reconhece que a maior parte das escalas usadas com êxito pelos psicólogos é ordinal, que a média desses dados não se justifica em rigor, mas que a prática dá resultados úteis, e que proibir esse procedimento provavelmente não serviria nenhum bom propósito. Também nota que o coeficiente de ordens de Spearman pressupõe intervalos iguais entre postos e, por isso, exige uma escala de intervalo. Esta é a posição que Stevens enuncia, não uma recomendação nossa sobre Spearman.

Walker (2025) contrasta o original com muito do que lhe tinha sido ensinado ou que tinha lido. Uma receita como «dados ordinais → Spearman» perde precisamente aquela ressalva: o próprio Stevens exigia intervalos para essa correlação. Neste caso, a receita contradiz a proposta que a originou. Quando reduzimos a proposta a uma tabela de testes permitidos, perdemos as suas concessões à prática e a discussão do que cada cálculo pressupõe.

Onde a Regra Falha

Lord (1953), num texto curto que Gaito (1980) e Walker (2025) citam, imagina uns números de camisola de futebol que um estatístico trata como quantidades. Calcula médias, e a tentativa do professor de refutar a conclusão falha. O argumento não é que os números sejam quantidades; é que a análise depende da pergunta feita aos números, e não do nome da escala.

Gaito (1980) localiza o erro numa confusão entre teoria da medida e teoria estatística. A exigência de escalas de intervalo para os testes paramétricos, diz, não tem fundamento na estatística matemática, que pede que as suposições do procedimento sejam cumpridas ou aproximadas. O ponto que interessa aqui é essa distinção: justificar o sentido da medida e verificar as suposições de uma análise não são a mesma tarefa.

Velleman e Wilkinson (1993) acrescentam que a escala não é uma propriedade fixa dos dados. O número de cilindros de um motor pode ser tratado como nominal, como ordinal ou como de intervalo, consoante a pergunta. A tipologia, concluem, não descreve bem os dados de análise moderna. Notam também que vários autores de teoria da medida chegaram à conclusão contrária à dos estatísticos: a escolha dos métodos deveria ser limitada pelo tipo de escala. Estamos perante um debate, não perante uma regra consensual que uma crítica veio simplesmente substituir.

Gaito (1980) afirma não conhecer nenhum estatístico matemático que tenha aceite a regra de Stevens. O tom é polémico, e essa afirmação deve ser lida como a posição do autor. Velleman e Wilkinson (1993) notam que o debate foi por vezes pouco cordial e dão outro exemplo do que escapa à classificação: uma média aparada fica algures entre as categorias ordinal e de intervalo. A sua crítica não se limita, portanto, a trocar o rótulo de uma variável; questiona também se as quatro categorias descrevem as operações que fazemos na análise.

Medir Um Atributo Quantitativo?

Michell (1997) desloca a questão da estatística para a definição de medida. Para ele, estabelecer uma ciência quantitativa exige duas tarefas: uma científica, investigar se o atributo é de facto quantitativo, e outra instrumental, construir procedimentos que estimem as magnitudes. A definição de Stevens permite saltar a primeira, porque basta atribuir numerais segundo uma regra. Num levantamento de 44 manuais de psicologia de uma biblioteca universitária europeia, Michell encontrou uma definição desta forma em 39 deles.

A posição de Michell é mais exigente do que a da maioria dos estatísticos, e é controversa. Mas a pergunta que levanta é a que um investigador deve fazer antes de confiar numa diferença entre pontuações: há razões para pensar que o atributo tem estrutura quantitativa? Se não há, nenhuma escolha de estatística resolve o problema.

Aqui a filosofia da ciência ajuda a ver o que está em jogo. A hipótese de que um atributo é quantitativo é testável, e uma hipótese testável pode ser refutada, como nos critérios de falsificabilidade de Popper. Se tratarmos a mera existência de numerais como garantia de que o atributo é quantitativo, deixamos de testar essa hipótese. O teste deixa de poder falhar, e um teste que não pode falhar não é severo.

Das Escalas à Medição

Estas críticas não tornam a classificação inútil. Dizem-nos o que ainda falta justificar depois de atribuir um rótulo à escala. A literatura mais recente permite separar duas perguntas. As simulações de DeWees et al. (2020), que retomaremos em Respostas Tipo Likert, estudam o comportamento dos testes em condições definidas. Hussey e Hughes (2020) estudam a evidência que sustenta as medidas. Um procedimento estatístico pode funcionar nas condições simuladas sem que isso, por si só, valide a interpretação de uma pontuação concreta.

Voltemos à ansiedade. Uma pontuação resulta de um procedimento inteiro: um constructo, um instrumento, condições de administração, uma regra de codificação e um participante que lê e interpreta os itens. Saber que as respostas são ordenadas não nos diz quanto erro há, se representam ansiedade ou se têm o mesmo significado nos dois momentos. A classificação das escalas leva-nos, assim, à medição em geral.

Começaremos por fiabilidade, que pergunta quanto erro há nas pontuações, e validade, que pergunta o que podemos afirmar a partir delas. Depois, Triangulação mostra como combinar fontes com erros diferentes. Podem fazer uma pausa depois destas bases e regressar aos desenvolvimentos sobre interpretação, mudança de critério, contexto e invariância quando forem escolher ou adaptar uma medida.

Da Medida à Interpretação

Lembremo-nos da balança do capítulo de filosofia da ciência: a teoria prevê 500 g e a balança mostra 460 g. A falha pode estar na teoria, na calibração ou na preparação do objecto. Duhem não nos dá uma regra lógica para escolher. Na medição psicológica o pacote é ainda maior. Se uma pontuação de ansiedade desce entre dois momentos, a causa pode estar numa mudança do constructo, numa mudança do instrumento, numa diferença na administração ou numa mudança na forma como o participante lê os itens. A observação, sozinha, não separa estas causas.

Qualquer pontuação combina, portanto, variação real do constructo com erro de medida. Não é possível eliminar o erro, mas é possível estimar quanto da variação vem de cada fonte. Uma fonte de erro que foi medida deixa de ser ruído e passa a ser informação sobre o instrumento. Podemos então perguntar: «que parte deste procedimento teria falhado se a afirmação fosse falsa?».

Fiabilidade

Quanto das diferenças observadas corresponde a diferenças reais e quanto vem do erro de medida?

Uma pontuação observada soma duas partes: a pontuação verdadeira, que seria a média de muitas medições nas mesmas condições, e o erro de medida, que é a diferença entre a pontuação observada e essa média. A fiabilidade é a proporção da variância observada que corresponde a variância verdadeira. Quando é alta, as diferenças entre pessoas devem-se sobretudo a diferenças reais, e não ao erro.

Sijtsma (2009) define-a também como a correlação entre duas versões paralelas do teste:

\[ \rho = \frac{\sigma^2_T}{\sigma^2_X} = 1 - \frac{\sigma^2_E}{\sigma^2_X}. \]

Aqui, \(\sigma^2_T\) é a variância verdadeira, \(\sigma^2_X\) a variância observada e \(\sigma^2_E\) a variância do erro. A fórmula diz a mesma coisa: quanto maior for a parte de erro, menor será a fiabilidade.

Na prática, quase nunca há duas versões paralelas. A forma mais usada de estimar a fiabilidade a partir de uma só aplicação é o alfa de Cronbach, e é também a mais mal usada. Flake et al. (2017) verificaram, numa amostra de artigos do Journal of Personality and Social Psychology, que o alfa era muitas vezes a única evidência psicométrica reportada. Um alfa alto não prova que os itens medem o mesmo. Sijtsma (2009) mostra que o alfa não informa sobre a estrutura interna do teste. A regra prática é reportar o que se estimou e porquê, sem tratar o alfa como um selo de qualidade.

Sijtsma (2009) mostra que o alfa tem sempre um valor, que em geral não é a fiabilidade. Em muitos casos, é um limite inferior da fiabilidade, por vezes uma subestimação grosseira. McNeish (2018) acrescenta que, quando as suposições habituais não se verificam, o alfa tende a subestimar a fiabilidade, e apresenta alternativas como o ómega total, o glb e o coeficiente H. Revelle e Condon (2019) defendem que se reportem estimativas baseadas em modelos, como ωh e ωt. Clark e Watson (2019) pedem mais atenção à unidimensionalidade do que à consistência interna.

A fiabilidade teste-reteste pergunta outra coisa: se as pontuações se mantêm ao longo do tempo, ou seja, a estabilidade de que falam Hussey e Hughes (2020). O intervalo entre medições decide, porém, o que estamos a medir. Revelle e Condon (2019) mostram que retestes imediatos e atrasados permitem separar a variância específica, a de estado e a de traço. Um estado, como a ansiedade num dia de exame, deve mudar; um traço deve manter-se. Uma correlação teste-reteste baixa pode, portanto, indicar um instrumento pouco fiável ou uma mudança real de estado. A estabilidade é uma previsão, e o seu fracasso precisa de ser interpretado antes de ser atribuído ao instrumento.

Retenham esta distinção: a fiabilidade descreve as pontuações de uma população, num momento e num intervalo específicos, e não uma propriedade permanente do instrumento. Sijtsma (2009) nota que uma só aplicação restringe a fiabilidade a um intervalo, e não a um valor. Esse intervalo é informação que deve ser reportada, e não um defeito a esconder.

Validade

Que afirmação queremos sustentar com estas pontuações?

Validade não é uma propriedade de um instrumento. É uma propriedade de uma interpretação das pontuações. Hussey e Hughes (2020) descrevem a validação em três fases: a substantiva, que define o constructo e o conteúdo dos itens; a estrutural, que estuda consistência, estabilidade e invariância; e a externa, que verifica convergência, discriminação e critérios. Os tipos de validade que se seguem ocupam partes diferentes destas fases.

A validade de conteúdo (content validity) pergunta se os itens cobrem o constructo de forma relevante e representativa. Hussey e Hughes (2020) situam esta tarefa na fase substantiva da validação. Uma escala de satisfação que só pergunta pelo preço mede uma parte do constructo, e a pontuação total passa a querer dizer outra coisa. Antes de qualquer estatística, a pergunta é o que ficou de fora.

A validade facial (face validity) é a impressão de que um instrumento parece medir o que diz. É útil para a participação e para a comunicação com quem responde, mas não é evidência de validade. Hussey e Hughes (2020) mostram o perigo de confiar nessa impressão: quando se avalia apenas a consistência interna, 88% das escalas analisadas parecem ter boa validade; quando se avaliam também a estabilidade, a estrutura factorial e a invariância entre grupos, apenas 4% a demonstram. Uma escala que parece boa precisa de provas que a sustentem.

A validade de critério (criterion validity) pergunta se as pontuações antecipam ou acompanham um resultado externo conhecido. Hussey e Hughes (2020) descrevem estas verificações como preditivas ou de critério, com resultados conhecidos, ou como comparações entre grupos conhecidos. O estudo de Webb (2011) é um exemplo: a tarefa de conselhos previu comportamento discriminatório medido por outro método, e isso sustenta a sua validade de critério. O critério, porém, também tem erro. Um e-mail que não é devolvido é uma medida de comportamento, não a verdade sobre o preconceito. A validade de critério só vale tanto quanto o critério que usa.

A validade externa (external validity) pergunta se um resultado se mantém noutras pessoas, contextos e momentos. É a pergunta mais fácil de confundir com as outras. Mook (1983) defendeu que muitas críticas aos estudos de laboratório supõem uma generalização que o investigador nunca pretendeu: uma experiência pode mostrar o que pode acontecer, mesmo que raramente aconteça. Sherman (2025) acrescenta que as recomendações sobre diversidade amostral são, por vezes, aplicadas a investigação que não visa generalização entre pessoas. Kroupin et al. (2025) comentam que a generalização deve ser declarada explicitamente, porque é ela que orienta a interpretação e a aplicação. A consequência prática é dizer para que pessoas, contextos e momentos se pretende que o resultado valha, e testar essa afirmação em vez de a presumir.

Estes tipos não competem entre si. Cada um responde a uma afirmação diferente: o conteúdo ao que foi incluído, a aparência ao que se vê à primeira, o critério ao que se prevê, a validade externa ao que se generaliza e a validade de constructo ao que a pontuação significa. Quando uma validação falha, a falha pode estar no conteúdo, no instrumento, no critério ou na generalização. A resposta só se obtém com mais de uma fonte de evidência, como se verá adiante na triangulação.

Antes de seguir, vale a pena fazer uma pausa: uma escala pode dar respostas consistentes sem medir aquilo que nos interessa. Tentem explicar essa diferença com a escala de satisfação que só pergunta pelo preço. É esta distinção, e não a lista de coeficientes, que precisamos de levar para a triangulação.

Respostas Tipo Likert

Antes de perguntar se podemos calcular médias e usar testes t, precisamos de saber o que estamos a resumir. Na terminologia técnica posterior, convém distinguir três coisas: o formato de resposta, ou conjunto de categorias ordenadas; o item tipo Likert, que junta uma pergunta ou afirmação a essas categorias; e a escala de Likert, que combina vários itens numa pontuação por pessoa. Clason e Dormody (1994) explicitam a distinção entre item e escala somada. Ter cinco opções numa pergunta não basta para construir essa escala.

A proposta original era mais rica do que escolher um número de opções. Em A Technique for the Measurement of Attitudes, publicado em Junho de 1932, Likert procurava uma forma mais simples de construir medidas de atitudes do que os procedimentos de Thurstone com grupos de juízes. O estudo usou perguntas com três e cinco respostas, incluindo sim/indecisão/não, alternativas substantivas ordenadas e graus de aprovação. Não se limitava a concordar ou discordar de afirmações (Likert, 1932, pp. 14–15, 26–27). Os rótulos actuais ajudam-nos a identificar o que analisamos, mas não são uma taxonomia rígida prescrita pelo original.

O apêndice de construção da escala mostra o percurso que importa reter (Likert, 1932, pp. 44–52):

  1. Construir conteúdo relevante. Reunir mais afirmações do que as que vão ficar, sobre atitudes e comportamentos desejados, em linguagem clara e sem juntar duas questões na mesma afirmação.
  2. Experimentar no grupo pretendido. Aplicar os itens a esse grupo ou a uma amostra dele, antes de decidir quais entram na versão final.
  3. Alinhar as pontuações. Valores altos devem indicar o mesmo pólo da atitude em todos os itens. Aprovação pode receber um valor alto num item e baixo noutro, consoante o conteúdo.
  4. Examinar e seleccionar os itens. Verificar a direcção da codificação e se cada item distingue as pessoas de forma coerente com o conjunto. Um tema comum não garante que todos os itens devam ser somados.
  5. Combinar e avaliar. Formar uma pontuação por pessoa com os itens seleccionados e estudar a fiabilidade, por divisão em metades e também por teste-reteste, sem confundir fiabilidade com validade (pp. 28–33).

Há aqui uma ligação directa à validade de conteúdo: Likert avisou que eliminar itens sobre uma faceta restringe aquilo que a escala final pode medir (p. 51). Também recomendou reavaliar o conjunto em cada grupo, porque os itens podiam deixar de formar a mesma unidade noutra população (pp. 51–52). Esta preocupação aproxima-nos da questão de invariância que veremos adiante, mas não é ainda a metodologia moderna para a testar. Quanto à validade, o próprio autor delimitava a evidência ao comportamento verbal e deixava para investigação futura a relação com outras formas de comportamento (p. 32).

Likert começou por uma pontuação sigma: convertia as frequências de escolha das categorias em valores associados a intervalos de uma distribuição normal assumida provisoriamente. Não era simplesmente transformar os códigos 1–5 em valores z. Comparou-a depois com pontuações inteiras mais simples e obteve totais muito correlacionados nas amostras estudadas. A afirmação de unidades iguais que faz para o método sigma depende desse modelo; não estabelece intervalos psicológicos iguais para quaisquer códigos de resposta (Likert, 1932, pp. 21–27).

Para seleccionar itens, oferecia uma correlação item–bateria ou uma comparação das respostas de grupos com totais altos e baixos. Chamava a esta última um critério de consistência interna, não o alfa de Cronbach. O seguimento de Likert et al. (1934, p. 231) usou aproximadamente 25% em cada extremo, em vez dos cerca de 10% descritos em 1932 (pp. 50–51). São alternativas históricas, não regras universais de corte, nem prescrições de correlação item–resto corrigida ou de análise factorial moderna. O seguimento foi consultado numa transcrição do texto primário com marcas de página; as tabelas e figuras não ficaram acessíveis nessa consulta.

Na pontuação simples, Likert usou a soma em vez da média porque todos respondiam ao mesmo número de itens (1932, p. 26). Nesse caso, as duas diferem apenas por um factor constante. Isto não fornece uma regra para respostas em falta.

Voltemos então à análise. A média entre pessoas num único item resume os códigos das suas respostas. A média entre itens de uma pessoa pode formar uma pontuação composta, se houver justificação para combinar esses itens. Depois podemos comparar essas pontuações entre pessoas ou grupos. São operações e alvos diferentes: somar cria mais valores possíveis, mas não certifica um único constructo, intervalos iguais ou validade. O teorema do limite central também não transforma códigos ordinais em intervalos psicológicos iguais nem garante que uma soma de itens dependentes tenha distribuição normal.

A nossa posição prática continua a ser considerar médias e métodos paramétricos quando a pergunta e as condições do procedimento os justificam. Neste site, partimos das recomendações seguintes, sem as tratar como acordos universais. A evidência de robustez tem de corresponder ao alvo analisado; não se transfere automaticamente de um item para qualquer composto.

Para médias e testes t com respostas tipo Likert, as simulações de DeWees et al. (2020) são favoráveis ao uso paramétrico. Simularam populações contínuas agrupadas em escalas Likert, com amostras entre 5 e 150 observações. A distribuição amostral da média aproximou-se rapidamente da normal, os testes t mantiveram cobertura e erro de tipo I aceitáveis e tiveram mais poder do que os não paramétricos. Os autores concluem que os testes t podem ser usados com poucas restrições. O segundo estudo do artigo trata os efeitos de chão e de tecto, e as conclusões não se estendem a casos fora das condições simuladas.

A pressuposição de intervalos iguais, porém, é a que merece verificação. Norman (2010) reconhece que as escalas de Likert são ordinais «em sentido estrito», mas defende, com base em estudos desde os anos 1930, que os métodos paramétricos são robustos a esse desvio. Wakita et al. (2012) mostram o outro lado: o número de opções alterou a distância psicológica entre categorias, sobretudo na escala de 7 pontos, e só um algoritmo baseado em teoria de resposta ao item revelou esse efeito. As estatísticas descritivas e a fiabilidade não o mostraram. A robustez dos métodos não dispensa, assim, conhecer o instrumento: uma escala com categorias mal percebidas pode produzir médias estáveis que medem outra coisa.

A pergunta decisiva, portanto, não é em que família cai a escala, mas o que queremos afirmar com ela. Velleman e Wilkinson chegam ao mesmo ponto pelo outro lado: a escolha do método começa na pergunta. Os modelos ordinais latentes e a teoria de resposta ao item, que são a alternativa psicométrica moderna para dados ordinais, ficam fora deste capítulo, e convém estudá-los antes de os usar num artigo.

Erro Como Informação

Mayo (1996) defende que a aprendizagem experimental pode ser vista como aprendizagem sobre a presença ou ausência de erros; o teste severo desenvolve essa ideia em detalhe. Não se trata de provar uma hipótese, mas de a submeter a provas que a poderiam ter derrubado. Uma afirmação passa um teste severo quando o procedimento tinha uma boa oportunidade de revelar um erro relevante e não o revelou. Mayo e Spanos (2006) formalizam esta condição: se a hipótese fosse falsa, o teste teria produzido, com muito alta probabilidade, um resultado menos favorável a ela do que o observado.

Esta ideia tem uma consequência concreta para a medição. Suponha que um questionário de satisfação atinge o tecto da escala em quase todos os participantes depois de uma intervenção. Dizer que a intervenção não teve efeito nesse grupo passa por um teste pouco severo, porque o instrumento não conseguia mostrar uma melhoria acima do tecto. Comparemos duas situações: não observar melhoria com um instrumento sensível a melhorias relevantes e não observar melhoria com um instrumento em que quase todos já atingiram o tecto. A conclusão verbal pode ser a mesma, «não houve melhoria», mas o instrumento sensível teria podido contrariá-la, enquanto o instrumento com efeito de tecto não. A ausência de melhoria observada tem, por isso, força probatória diferente nos dois casos. Um estudo piloto, uma estimativa de fiabilidade ou uma análise da distribuição das respostas são formas de testar o instrumento antes de confiar nele.

O mesmo raciocínio aplica-se ao significado dos intervalos. Comparar formatos de resposta ou investigar como os participantes percebem a distância entre categorias põe à prova uma interpretação da medida. Não testa, por si só, a robustez estatística: essa pergunta exige avaliar o comportamento de um procedimento, por exemplo a cobertura e as taxas de erro em simulações com condições especificadas. Podemos ter inferência robusta para uma média de códigos sem que essa média represente a magnitude da atitude pretendida. Aprender com o erro é planear verificações que teriam revelado a falha relevante, se ela existisse. Essa ideia leva à validade e à triangulação.

Perspectivas de Validade

Já vimos o que a validade nos obriga a perguntar. A nota seguinte aprofunda duas formas de justificar a interpretação das pontuações. Podem passar directamente à triangulação e voltar a este debate quando precisarem de construir um argumento de validação.

Validade: Argumento ou Relação Causal?

Cronbach e Meehl (1955) associaram a validade de constructo a uma rede nomológica de relações teóricas. Um constructo, como ansiedade ou satisfação com a vida, ganha significado através dessas relações, e uma medida é válida quando o padrão observado corresponde ao que a teoria prevê. Colliver et al. (2012) lembram que estas redes completas raramente existem na prática, e que atributos e constructos não são a mesma coisa. A validação é, por isso, um processo de acumulação de evidência, não um teste que se passa uma vez.

Messick (1995) falou de um juízo avaliativo integrado sobre a validade. Kane (2013) torna essa ideia operacional: validar uma interpretação ou um uso das pontuações é avaliar a plausibilidade das afirmações que delas decorrem, organizadas como um argumento. Russell (2021) separa esse juízo em componentes, e Folger et al. (2023), num estudo Delphi, procuram uma linguagem comum para a validação, de modo a torná-la acessível a um público mais vasto. A consequência prática é clara: enuncie a interpretação que quer dar às pontuações e teste cada afirmação que dela decorre.

Borsboom et al. (2004) propõem uma versão mais estreita. Um teste é válido para medir um atributo quando o atributo existe e as suas variações produzem causalmente variações nas pontuações. A validação deve então estudar o processo que transmite o efeito do atributo às respostas, e não apenas as correlações com outros atributos. Um questionário preenchido à pressa no fim de uma aula não transmite nada do atributo que se quer medir, e nenhuma correlação posterior corrige esse problema. Markus e Borsboom (2013) alargam esta discussão à relação entre medida, causalidade e significado, e Gotch (2014) resume a questão central: até que ponto as pontuações podem ser interpretadas como medidas verdadeiras, e até que ponto essa interpretação é necessária para o uso pretendido.

Neste site, as duas perspectivas trabalham em conjunto. O argumento de Kane diz o que se deve afirmar; a relação causal diz o que tem de ser verdade para que essa afirmação se sustente. Quando a validação falha, a pergunta de Duhem volta: a falha está no constructo, no instrumento ou na ligação causal entre eles? Uma só medida não responde a essa pergunta. Para isso serve a triangulação.

Triangulação

Triangular é recolher evidência por métodos cujos erros são diferentes. Se duas fontes independentes concordam apesar de terem fontes de erro distintas, a afirmação passou um teste mais severo do que qualquer delas passaria sozinha. Se discordam, a discordância é informação: aponta para um método, um pressuposto ou um constructo que precisa de ser revisto. A tradição da validade convergente e discriminante, associada a Campbell e Fiske (1959), defende exactamente esta lógica: o mesmo constructo deve convergir quando medido por métodos diferentes, e constructos diferentes devem separar-se mesmo quando medidos pelo mesmo método.

Os exemplos seguintes mostram como isto funciona na prática. Webb (2011) propôs uma tarefa de aconselhamento sem autorrelato: os participantes escolhem entre caixas seguindo conselhos de pessoas identificadas por nome ou rosto. No Estudo 3, a proporção de conselhos seguidos de cada grupo correlacionou-se com o IAT e previu comportamento discriminatório, medido pela técnica do e-mail perdido, melhor do que outras medidas. No Estudo 4, a tarefa não foi contaminada por desejabilidade social nem por reactância. Campbell e Brauer (2020) combinam inquéritos a estudantes de grupos marginalizados com experiências de campo em que confederados mudavam de grupo social e se observava o comportamento de espectadores ingénuos. Os autores testam assim duas explicações concorrentes, a da discriminação dispersa e a da discriminação concentrada, com fontes de erro que não coincidem.

A tabela resume o que cada fonte acrescenta e o que a compromete:

Fonte de evidência Contributo para a severidade Compromisso
Autorrelato validado (PANAS; Watson et al., 1988) Consistência interna, estabilidade ao longo de dois meses e evidência de validade convergente e discriminante As respostas dependem do que o participante entende e admite
Tarefa comportamental (Webb, 2011) Previsão de comportamento discriminatório medido por outro método; resistência à desejabilidade social Mede confiança diferencial em conselheiros; ler isso como preconceito exige pressupostos
Experiência de campo (Campbell e Brauer, 2020) Observa o comportamento de espectadores em situações reais Limitada a um campus; a codificação do comportamento exige decisões

Nenhuma destas linhas é a «verdade» sobre o constructo. Cada uma acrescenta uma peça independente do pacote, e é a combinação que dá força à conclusão.

Relatado, Revelado e Observado

Uma crítica frequente, sobretudo vinda da economia, sustenta que a psicologia pergunta às pessoas o que pensam e confunde essas respostas com o que fazem. A crítica tem uma parte verdadeira e uma parte que não resiste aos factos. A parte verdadeira é que muitos estudos dependem de respostas em questionário. Baumeister et al. (2007), dentro da própria psicologia, queixam-se de que a observação directa do comportamento tem sido cada vez mais substituída por autorrelatos, cenários hipotéticos e avaliações em questionário, e defendem que a observação directa seja incluída sempre que possível. Isto é uma crítica interna, e é um argumento para ver mais comportamento, não para deixar de medir.

A parte que não resiste é a ideia de que a psicologia não observa comportamento. Crosby et al. (1980) reviram estudos não intrusivos sobre discriminação racial, em que se observou ajuda, agressão e comunicação não verbal. Concluíram que os sentimentos anti-negros eram muito mais prevalentes do que os dados de inquérito faziam esperar. Nesses estudos, a discrepância aparece porque se observou o que as pessoas fazem. Quando os dois conflituam, o comportamento não é automaticamente a verdade, mas é uma fonte de erro diferente que obriga a rever a afirmação.

A crítica também trata todo o autorrelato como se fosse o mesmo. Não é. Uma escala validada como a PANAS tem consistência interna, estabilidade ao longo de dois meses e evidência de validade convergente e discriminante. Um item solto, escrito para uma pesquisa específica, não tem nada disso. Dizer que ambos são «autorrelato» é como dizer que todos os instrumentos de medida são balanças por serem todos instrumentos de medida. O que importa é saber qual é a peça do pacote que está a ser usada e que evidência a sustenta.

Por fim, o comportamento também não é um dado sem interpretação. Uma escolha revela uma preferência apenas com pressupostos auxiliares sobre informação, restrições e contexto. A tarefa de Webb assume que confiar mais num grupo é um indicador de preconceito; essa ligação é uma hipótese, com o seu próprio erro. O comportamento é também um teste com pacote, e a discrepância entre o que se diz e o que se faz não se resolve declarando um dos lados verdadeiro. Resolve-se perguntando qual dos dois, com que pressupostos, sustenta a afirmação que queremos fazer.

Em resumo, a crítica falha em três pontos: a psicologia observa comportamento, o autorrelato não é uma coisa só, e o comportamento precisa de interpretação como qualquer outra medida. O que sobra é uma exigência prática: usar fontes com erros diferentes e perceber onde discordam.

Práticas Questionáveis

Flake e Fried (2020) chamam questionable measurement practices às decisões que levantam dúvidas sobre a validade das medidas e, por arrastamento, sobre as conclusões. Três exemplos típicos mostram o problema: alterar uma escala sem registar a alteração, adaptar um item sem relatar como foi traduzido e escolher a versão do instrumento depois de ver os resultados. Em cada caso, a afirmação fica mais fácil de passar, mesmo que seja falsa. É isso que lhe retira severidade: o teste deixou de ter uma boa oportunidade de falhar.

Não se trata de evitar toda a adaptação, mas de a tratar como parte do estudo, com justificação e registo. Uma adaptação documentada é uma decisão metodológica; uma adaptação escondida é um problema de validade.

Hussey e Hughes (2020) dão a esta família de escolhas um nome próprio. Os autores destacam os graus de liberdade que o investigador tem na avaliação e no relato da validade estrutural, e propõem o termo v-hacking, por analogia com o p-hacking. A correcção é a mesma que se aplica ao resultado estatístico: reportar o conjunto da evidência, incluindo os testes que o instrumento não passou.

Quando a Régua Muda

A secção sobre validade tratou a medida como uma relação com um constructo estável. O response shift quebra essa estabilidade, e coloca a pergunta de Duhem de forma muito concreta: a mudança observada está no constructo ou na régua? Vanier et al. (2021) definem o fenómeno como um efeito presente sempre que a mudança observada nas pontuações não é totalmente explicada pela mudança no constructo visado. Distinguem, por isso, a medida (o instrumento e os seus itens) do constructo subjacente, e concluem que é preciso pelo menos dois momentos para investigar o fenómeno.

A revisão sistemática de Sawatzky et al. (2024) sobre medidas de resultados reportados pelos doentes (PROMs) mostra o alcance do problema. Dos 150 estudos incluídos, 130 detectaram response shift, mas apenas 793 dos 4868 efeitos investigados (16.3%) o revelaram. A frequência do fenómeno depende, portanto, da forma como é detectado e de quantos efeitos se analisam. Um estudo que não detecta mudança de resposta não prova que a régua se manteve.

Huang et al. (2023) testaram estes efeitos em sobreviventes de cancro infantil cujas condições crónicas progrediram, distinguindo recalibração, repriorização e reconceptualização. Os autores concluem que o response shift deve ser considerado ao interpretar mudanças de qualidade de vida ao longo do tempo. Interpretar uma melhoria ou uma degradação sem esta correcção é tomar a régua por fixa. O pré-teste retrospectivo, tratado na nota opcional acima, é uma das formas de separar as duas causas.

Significado e Contexto

Walker (2025), no discurso presidencial do NCME de 2024, argumenta que a medida depende da cultura (culture-boundedness) e que essa dependência deve ser considerada ao planear testes. Uma escala validada num contexto não tem, por isso, garantido o mesmo significado noutro. A mudança de significado é também uma questão de medida, e tratá-la como detalhe de tradução é deixar de a verificar.

Equidade e Invariância

Meredith (1993) separa vários graus de invariância factorial e defende que, para haver equidade num teste de selecção, é necessária invariância factorial estrita. A ligação com a secção anterior é directa: uma diferença entre grupos só se interpreta se a escala mede o mesmo constructo do mesmo modo em todos eles. A aplicação deste critério exige modelos técnicos que este capítulo não desenvolve, mas a pergunta que o motiva deve estar presente desde o delineamento do estudo.

Decisões de Medição

Os debates deixam quatro decisões práticas, e cada uma responde a uma das ideias desfeitas acima.

  1. Definam o constructo e o instrumento separadamente: o que queremos medir e como o estamos a medir.
  2. Não assumam que a mesma escala significa o mesmo nos dois momentos. Verifiquem essa suposição com evidência, como a discutida no response shift e no significado cultural.
  3. Usem pelo menos dois momentos para estudar mudança e, quando a régua pode mover-se, considerem um pré-teste retrospectivo.
  4. Escolham o teste pelas suposições do procedimento e pela pergunta, não pelo nome da escala.

Uma pontuação resulta de várias decisões, e cada uma precisa de poder ser posta à prova. Triangular fontes com erros diferentes e medir o erro, sem tomar autorrelato ou comportamento como verdades automáticas, dá-nos uma base para interpretar as respostas. A tipologia de Stevens descreve como os números foram obtidos; o argumento, o delineamento e a severidade do teste delimitam o que podemos afirmar.

Este é um bom ponto para interromper a leitura. Antes de passar à análise, experimentem responder à lista Antes de Abrir o R para um estudo concreto. Se a dificuldade estiver nas medições da mesma unidade, continuem em Medidas Repetidas e Modelos Mistos.

4 Antes da Análise

Voltar à Severidade

Depois do delineamento e da medição, podemos recuperar a pergunta que orientou o planeamento do teste: se a hipótese estivesse errada de uma maneira relevante, este estudo teria uma boa oportunidade de o mostrar?

Na hipótese sobre sono e atenção com que começámos, precisávamos de separar o efeito previsto das explicações concorrentes. Agora podemos perguntar se as unidades, a alocação, a ordem e as medidas escolhidas permitem essa separação.

Mas o outro lado também conta: uma medida ruidosa, uma manipulação fraca ou poucas réplicas podem tornar um efeito real difícil de detectar. Nesse caso, um resultado negativo não constitui um teste exigente da ausência do fenómeno.

Num estudo descritivo ou exploratório, voltem à pergunta inicial: as unidades e as medidas permitem descrever o que queríamos conhecer? Que erros podem alterar essa descrição e até onde queremos generalizar?

Entre Disciplinas

Os nomes mudam e a pergunta estrutural mantém-se.

  • Psicologia. A condição é inter- ou intra-participantes? E relativamente aos estímulos? As listas trocam versões? A ordem cria aprendizagem?
  • Biologia e ecologia. O tratamento varia por organismo, tanque, local ou parcela? Quantos quadrados estão dentro de cada região?
  • Neurociência. O tratamento pode variar por animal enquanto células, eléctrodos e ensaios se repetem dentro dele. Dez mil neurónios em três animais continuam a vir de três animais para a comparação ao nível do animal (Lazic, 2010).
  • Física. Um eclipse pode testar uma previsão sem ser manipulado. Noutras experiências podemos variar campos, materiais, energia ou geometria e controlar directamente a ordem da intervenção e da medição.

Cada delineamento dá controlo sobre algumas coisas e deixa outras abertas. As perguntas úteis são que explicações concorrentes conseguimos separar com esta estrutura, que erros continuam capazes de produzir um falso sinal e que efeitos reais podemos não conseguir detectar?

Antes de Abrir o R

Se conseguirem responder a estas perguntas, a escolha da análise fica muito menos misteriosa.

  1. Qual é a comparação? Estamos a descrever, prever ou a tentar aprender o que aconteceria se mudássemos alguma coisa?
  2. De onde vêm unidades e materiais? Para que inferência foram seleccionados? Qual é a população-alvo ou o domínio de interesse, a que unidades tivemos acesso e que critérios usámos?
  3. Onde varia a condição? Pessoa, peixe, tanque, local, estímulo? É aí que devemos começar a procurar a réplica.
  4. O que se repete ou agrupa? Se houver factores a comparar, são intra- ou inter-participantes e intra- ou inter-estímulos? Que identidades estão cruzadas ou aninhadas? Há subamostras ou medições repetidas?
  5. Como decorre a apresentação? Como atribuímos listas e versões, ordenamos ensaios e blocos e definimos respostas? Que histórias rivais continuam abertas: confundimento, ordem, aprendizagem, fadiga ou causalidade inversa?
  6. O que medimos realmente? A medida é válida para a pergunta? A própria medição pode alterar o processo?
  7. Se testamos uma hipótese, que padrão a poria em dificuldades? E o delineamento tinha uma oportunidade razoável de o produzir se a hipótese estivesse errada? Se o estudo é descritivo ou exploratório, que observações respondem à pergunta e que erros podem comprometer a resposta?
  8. Em que direcção empurram as limitações? Podem criar um falso sinal, esconder um sinal real, alterar a magnitude, ou sobretudo limitar a generalização?
  9. Onde está a variabilidade? Que parte é sinal da pergunta científica e que parte é ruído, heterogeneidade ou dependência que a análise terá de representar?
  10. Há uma interacção na teoria? Se sim, o delineamento e o tamanho da amostra foram pensados para essa pergunta, ou apenas para efeitos principais?

Não precisamos de esperar pelos dados para responder a estas perguntas. Precisamos delas para planear a análise. A estatística representa a incerteza de uma comparação que o delineamento já criou. Não cria réplicas, randomização ou generalização retroactivamente.

Síntese

Começamos pela pergunta do estudo. Se queremos descrever ou explorar, precisamos de observações adequadas a esse objectivo e de explicitar o seu alcance. Se queremos testar uma explicação, precisamos também de dizer o que contaria contra ela.

Para testar uma hipótese, um bom delineamento cria uma comparação em que uma explicação errada tem oportunidades reais de falhar e em que um efeito cientificamente relevante continua a ter oportunidade de aparecer. Para avaliar isso, precisamos de saber qual é a unidade experimental, onde ocorre a variação, o que se repete, como as unidades chegaram ao estudo, o que medimos e que explicações concorrentes continuam abertas.

Amostragem, alocação e apresentação são decisões distintas. Escolhemos pessoas e materiais para uma inferência explícita, atribuímos condições ou versões e planeamos a ordem. Dizer «intra-participantes» ainda não diz o que aconteceu aos estímulos. E testar uma previsão com estes casos não autoriza, por si só, transferir a magnitude observada para outra população.

É aqui que delineamento encontra estatística. Parte da variabilidade vem do fenómeno que queremos estudar; parte vem de pessoas, organismos, estímulos, locais, aparelhos, momentos e erro de medição. A Estatística Descritiva ajuda-nos a vê-la, a Filosofia da Estatística explica que erros queremos controlar e Fundamentos da Inferência mostra como a variabilidade amostral entra matematicamente na inferência.

A análise pode representar a incerteza da estrutura que criámos. Não pode criar retroactivamente randomização, replicação, sensibilidade ou generalização que o delineamento nunca teve.

Continuar para a Estatística

O próximo passo depende da pergunta e dos dados. Os capítulos seguintes desenvolvem a análise; aqui ficámos pelas decisões que a tornam possível.

Antes de avançar, tentem usar a lista anterior num estudo concreto. Se não souberem o que representa uma linha ou o que a pontuação significa, é melhor voltar a essa decisão do que começar pela escolha de um teste.

5 Exercícios

  1. Para Que Lado Falha? Escolha três limitações de um estudo — por exemplo, medida ruidosa, confundimento e amostra pequena. Para cada uma, explique se pode criar um falso sinal, esconder um efeito real, alterar a magnitude ou sobretudo limitar a generalização. Diga também se essa limitação poderia explicar um resultado favorável observado.

  2. Observacional ou experimental? Um estudo mede horas de sono e atenção na mesma manhã. Liste quatro histórias compatíveis com a associação. Proponha depois uma experiência que esclareça uma delas.

  3. Experiência natural. Imagine que uma regra administrativa muda num lado de uma fronteira municipal e fica igual no outro. Que condições teriam de ser plausíveis para tratar essa diferença como uma experiência natural?

  4. Desenhe as setas. Represente (A C), (C A), uma causa comum (U), e (A B C). Diga que observação adicional ajudaria em cada caso.

  5. Mediação ou moderação? Para «temperatura altera metabolismo, que altera crescimento», identifique o mediador. Depois proponha uma variável que possa alterar a força do efeito da temperatura.

  6. Factorial ou duas experiências? Quer testar salinidade e temperatura, cada uma em dois níveis. Explique o que um (2 ) permite perguntar sobre a interacção.

  7. Misto. Dois grupos recebem treinos diferentes e todos são avaliados antes, depois e um mês mais tarde. Identifique o factor inter-participantes, o factor intra-participantes e a interacção de maior interesse.

  8. Quadrado latino. Quatro condições A–D são aplicadas à mesma unidade. Explique o que o quadrado latino desta página equilibra e dê um exemplo de efeito de transporte que pode continuar por resolver.

  9. Onde repetir? Compare três decisões. Muitas medições na mesma pessoa, muitas pessoas com poucas medições, ou muitos estímulos. Faça a mesma comparação para muitos quadrados na mesma região e poucos quadrados em muitas regiões.

  10. Unidade experimental. Desenhe peixe → tanque → tratamento para 30 peixes em seis tanques. Identifique a unidade experimental, a réplica e a subamostra.

  11. Verificação da manipulação. Imagine uma manipulação de ansiedade. Proponha uma forma simples de confirmar que ela alterou ansiedade e pense onde colocaria essa verificação no procedimento.

  12. Duas Perguntas, Uma Costa. Num exemplo inventado, um grupo quer estimar a cobertura média de algas numa costa e outro quer testar uma explicação sobre salinidade em locais deliberadamente contrastantes. Justifique os critérios de amostragem de cada grupo. O que falta se ambos só conseguem chegar às praias junto à estrada? Não presuma que os dois objectivos são incompatíveis.

  13. Listas Não São Ordens. Na tarefa inventada das palavras, cada pessoa recebe a lista 1 ou 2 e vê cada palavra uma vez. Classifique degradação relativamente aos participantes e aos estímulos. Explique o que a troca de versões resolve e o que a ordem aleatória dos ensaios resolve. Que conclusão sobre novos leitores ou palavras pouco familiares ainda precisa de evidência?

6 Referências

Angrist, J. D., & Krueger, A. B. (2001). Instrumental variables and the search for identification: From supply and demand to natural experiments. https://doi.org/10.1257/jep.15.4.69

Baumeister, R. F., Vohs, K. D., & Funder, D. C. (2007). Psychology as the science of self-reports and finger movements: Whatever happened to actual behavior? Perspectives on Psychological Science.

Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2004). The concept of validity. Psychological Review. https://doi.org/10.1037/0033-295X.111.4.1061

Calder, B. J., Brendl, C. M., Tybout, A. M., & Sternthal, B. (2020). Distinguishing constructs from variables in designing research. Journal of Consumer Psychology. https://doi.org/10.1002/jcpy.1204

Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin. https://doi.org/10.1037/h0046016

Campbell, M. R., & Brauer, M. (2020). Is discrimination widespread? Testing assumptions about bias on a university campus. Manuscrito revisto em março de 2020.

Clark, L. A., & Watson, D. (2019). Constructing validity: New developments in creating objective measuring instruments. Psychological Assessment. https://doi.org/10.1037/pas0000626

Clason, D. L., & Dormody, T. J. (1994). Analyzing data measured by individual Likert-type items. Journal of Agricultural Education, 35(4), 31–35. https://doi.org/10.5032/jae.1994.04031

Colliver, J. A., Conlee, M. J., & Verhulst, S. J. (2012). From test validity to construct validity … and back? Medical Education. https://doi.org/10.1111/j.1365-2923.2011.04194.x

Collins, L. M., Dziak, J. J., & Li, R. (2009). Design of experiments with multiple independent variables. https://pmc.ncbi.nlm.nih.gov/articles/PMC2796056/

Craig, P., Katikireddi, S. V., Leyland, A., & Popham, F. (2017). Natural experiments: An overview of methods, approaches, and contributions to public health intervention research. https://doi.org/10.1146/annurev-publhealth-031816-044327

Crapo, J. S., Bradford, K., & Higginbotham, B. J. (2025). Reconsidering the utility of mean comparisons in evaluative work. Family Relations. https://doi.org/10.1111/fare.13186

Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin. https://doi.org/10.1037/h0040957

Crosby, F., Bromley, S., & Saxe, L. (1980). Recent unobtrusive studies of Black and White discrimination and prejudice: A literature review. Psychological Bulletin, 87(3), 546–563.

D’Onofrio, B. M., Lahey, B. B., Turkheimer, E., & Lichtenstein, P. (2020). Accounting for confounding in observational studies. https://doi.org/10.1146/annurev-clinpsy-032816-045030

Davies, G. M., & Gray, A. (2015). Don’t let spurious accusations of pseudoreplication limit our ability to learn from natural experiments. https://doi.org/10.1002/ece3.1782

DeWees, T. A., Mazza, G. L., Golafshar, M. A., & Dueck, A. C. (2020). Investigation into the effects of using normal distribution theory methodology for Likert scale patient-reported outcome data from varying underlying distributions including floor/ceiling effects. Value in Health, 23(5), 625–631. https://doi.org/10.1016/j.jval.2020.01.007

Fiedler, K., McCaughey, L., & Prager, J. (2021). Quo vadis, methodology? The key role of manipulation checks for validity control and quality of science. https://doi.org/10.1177/1745691620970602

Flake, J. K., & Fried, E. I. (2020). Measurement schmeasurement: Questionable measurement practices and how to avoid them. Advances in Methods and Practices in Psychological Science. https://doi.org/10.1177/2515245920952393

Flake, J. K., Pek, J., & Hehman, E. (2017). Construct validation in social and personality research. Social Psychological and Personality Science. https://doi.org/10.1177/1948550617693063

Folger, T. D., Bostic, J., & Krupa, E. E. (2023). Defining test-score interpretation, use, and claims: Delphi study for the validity argument. Educational Measurement: Issues and Practice. https://doi.org/10.1111/emip.12569

Garcia-Marques, T., Lapa, A., & Santos, J. O. (2026). Why we should stop being prejudiced against non-representative samples: The myth of the representative sample. Collabra: Psychology, 12(1), 171636. https://doi.org/10.1525/collabra.171636

Gaito, J. (1980). Measurement scales and statistics: Resurgence of an old misconception. Psychological Bulletin, 87(3), 564–567.

Gotch, C. M. (2014). Review of Frontiers of test validity theory: Measurement, causation, and meaning (K. A. Markus & D. Borsboom, 2013). Journal of Educational Measurement. https://doi.org/10.1111/jedm.12055

Greenland, S., Pearl, J., & Robins, J. M. (1999). Causal diagrams for epidemiologic research. https://pubmed.ncbi.nlm.nih.gov/9888278/

Howard, G. S. (1980). Response-shift bias. Evaluation Review. https://doi.org/10.1177/0193841x8000400105

Howard, G. S., & Dailey, P. R. (1979). Response-shift bias: A source of contamination of self-report measures. Journal of Applied Psychology, 64(2), 144–150. https://doi.org/10.1037//0021-9010.64.2.144

Howard, G. S., Ralph, K. M., Gulanick, N. A., Maxwell, S. E., Nance, D. W., & Gerber, S. K. (1979). Internal invalidity in pretest-posttest self-report evaluations and a re-evaluation of retrospective pretests. Applied Psychological Measurement. https://doi.org/10.1177/014662167900300101

Hernán, M. A., & Robins, J. M. (2020). Causal inference: What if. https://miguelhernan.org/whatifbook

Huang, I., Sim, J., Srivastava, D., Krull, K. R., Ness, K. K., Robison, L. L., Baker, J. N., Hudson, M. M., & Schwartz, C. E. (2023). Response-shift effects in childhood cancer survivors: A prospective study. Psycho-Oncology. https://doi.org/10.1002/pon.6150

Hussey, I., & Hughes, S. (2020). Hidden invalidity among 15 commonly used measures in social and personality psychology. Advances in Methods and Practices in Psychological Science, 3(2), 166–184. https://doi.org/10.1177/2515245919882903

Judd, C. M., Westfall, J., & Kenny, D. A. (2012). Treating stimuli as a random factor in social psychology: A new and comprehensive solution to a pervasive but largely ignored problem. Journal of Personality and Social Psychology, 103(1), 54–69. https://doi.org/10.1037/a0028347

Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement. https://doi.org/10.1111/jedm.12000

Kroupin, I., Henrich, J., & Muthukrishna, M. (2025). Inconvenience and generalization in building a better psychology: Commentary on Sherman (2025). American Psychologist, 80(7), 1081–1085. https://doi.org/10.1037/amp0001569

Lazic, S. E. (2010). The problem of pseudoreplication in neuroscientific studies. https://doi.org/10.1186/1471-2202-11-5

Lesko, C. R., Buchanan, A. L., Westreich, D., Edwards, J. K., Hudgens, M. G., & Cole, S. R. (2017). Generalizing study results: A potential outcomes perspective. Epidemiology, 28(4), 553–561. https://doi.org/10.1097/EDE.0000000000000664

Lewis, C. (1989). Pairs of Latin squares to counterbalance sequential effects and pairing of conditions and stimuli. https://doi.org/10.1177/154193128903301812

Likert, R. (1932). A technique for the measurement of attitudes. Archives of Psychology, no. 140, Junho de 1932. https://archive.org/details/likert-1932

Likert, R., Roslow, S., & Murphy, G. (1934). A simple and reliable method of scoring the Thurstone attitude scales. The Journal of Social Psychology, 5(2), 228–238. https://doi.org/10.1080/00224545.1934.9919450 Transcrição do texto primário.

Lord, F. M. (1953). On the statistical treatment of football numbers. American Psychologist, 8, 750–751.

Markus, K. A., & Borsboom, D. (2013). Frontiers of test validity theory: Measurement, causation, and meaning. Routledge. (Sem DOI; citada aqui a partir da recensão de Gotch, 2014.)

Mayo, D. G., & Spanos, A. (2006). Severe testing as a basic concept in a Neyman–Pearson philosophy of induction. https://doi.org/10.1093/bjps/axl003

Mayo, D. G. (1996). Error and the growth of experimental knowledge. University of Chicago Press.

McGuire, W. J. (1997). Creative hypothesis generating in psychology. https://doi.org/10.1146/annurev.psych.48.1.1

McNeish, D. (2018). Thanks coefficient alpha, we’ll take it from here. Psychological Methods.

Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika, 58(4), 525–543.

Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist. https://doi.org/10.1037/0003-066X.50.9.741

Michell, J. (1997). Quantitative science and the definition of measurement in psychology. British Journal of Psychology. https://doi.org/10.1111/j.2044-8295.1997.tb02641.x

Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., Elbourne, D., Egger, M., & Altman, D. G. (2010). CONSORT 2010 explanation and elaboration: Updated guidelines for reporting parallel group randomised trials. https://doi.org/10.1136/bmj.c869

Mook, D. G. (1983). In defense of external invalidity. American Psychologist, 38(4), 379–387. https://doi.org/10.1037/0003-066X.38.4.379

Nieuwkerk, P. T., & Sprangers, M. A. G. (2009). Each measure of patient-reported change provides useful information and is susceptible to bias: The need to combine methods to assess their relative validity. Arthritis Care & Research. https://doi.org/10.1002/art.25030

National Institute of Standards and Technology. (2022a). Kelvin: History. SI Redefinition. https://www.nist.gov/si-redefinition/kelvin/kelvin-history

National Institute of Standards and Technology. (2022b). Kelvin: ITS-90. SI Redefinition. https://www.nist.gov/si-redefinition/kelvin/kelvin-its-90

National Institute of Standards and Technology. (2026). Kelvin: Introduction. SI Redefinition. https://www.nist.gov/si-redefinition/kelvin-introduction

Norman, G. (2010). Likert scales, levels of measurement and the “laws” of statistics. Advances in Health Sciences Education. https://doi.org/10.1007/s10459-010-9222-y

Piwowar, V., & Thiel, F. (2014). Evaluating response shift in training evaluation. Evaluation Review. https://doi.org/10.1177/0193841x14546932

Preacher, K. J. (2015). Advances in mediation analysis: A survey and synthesis of new developments. https://doi.org/10.1146/annurev-psych-010814-015258

Reese, H. W. (1997). Counterbalancing and other uses of repeated-measures Latin-square designs. https://doi.org/10.1006/jecp.1996.2333

Revelle, W., & Condon, D. M. (2019). Reliability from α to ω: A tutorial. Psychological Assessment. https://doi.org/10.1037/pas0000754

Reynolds, P. S. (2026). Experimental designs for preclinical neuroscience experiments: Part 2—Blocking and blocked designs. https://doi.org/10.1523/ENEURO.0006-26.2026

Rozenblit, L., & Keil, F. (2002). The misunderstood limits of folk science: An illusion of explanatory depth. Cognitive Science, 26(5), 521–562. https://doi.org/10.1207/s15516709cog2605_1

Russell, M. (2021). Clarifying the terminology of validity and the investigative stages of validation. Educational Measurement: Issues and Practice, 41(2), 25–35. https://doi.org/10.1111/emip.12453

Sawatzky, R. G., Sajobi, T. T., Russell, L. B., Awosoga, O., Ademola, A., Boehnke, J. R., Lawal, O. A., Brobbey, A., Lix, L. M., Anota, A., Sebille, V., Sprangers, M. A. G., & Verdam, M. G. E. (2024). Response shift results of quantitative research using patient-reported outcome measures: A descriptive systematic review. Quality of Life Research. https://doi.org/10.1007/s11136-023-03495-x

Schwartz, C. E., & Sprangers, M. A. G. (1999). Methodological approaches for assessing response shift in longitudinal health-related quality-of-life research. Social Science & Medicine. https://doi.org/10.1016/s0277-9536(99)00047-7

Sherman, J. W. (2025). There is nothing WEIRD about basic research: The critical role of convenience samples in psychological science. American Psychologist, 80(7), 1073–1080. https://doi.org/10.1037/amp0001443

Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach’s alpha. Psychometrika, 74(1), 107–120. https://doi.org/10.1007/s11336-008-9101-0

Sprangers, M. A. G., & Schwartz, C. E. (1999). Integrating response shift into health-related quality of life research: A theoretical model. Social Science & Medicine. https://doi.org/10.1016/s0277-9536(99)00045-3

Stevens, S. S. (1946). On the theory of scales of measurement. https://doi.org/10.1126/science.103.2684.677

Solomon, R. L. (1949). An extension of control group design. Psychological Bulletin, 46(2), 137–150. https://doi.org/10.1037/h0062958

Stoner, J. L., Felix, R., & Stadler Blank, A. (2022). Best practices for implementing experimental research methods. International Journal of Consumer Studies. https://doi.org/10.1111/ijcs.12878

Strevens, M. (2020). The knowledge machine. https://books.google.com/books?id=ISXWDwAAQBAJ

Thistlethwaite, D. L., & Campbell, D. T. (1960). Regression-discontinuity analysis: An alternative to the ex post facto experiment. Journal of Educational Psychology, 51(6), 309–317. https://doi.org/10.1037/h0044319

Vanier, A., Oort, F. J., McClimans, L. M., Ow, N., Gulek, B. G., Boehnke, J. R., Sprangers, M. A. G., Sebille, V., & Mayo, N. E. (2021). Response shift in patient-reported outcomes: Definition, theory, and a revised model. Quality of Life Research. https://doi.org/10.1007/s11136-021-02846-w

Velleman, P. F., & Wilkinson, L. (1993). Nominal, ordinal, interval, and ratio typologies are misleading. The American Statistician. https://doi.org/10.1080/00031305.1993.10475938

Wakita, T., Ueshima, N., & Noguchi, H. (2012). Psychological distance between categories in the Likert scale: Comparing different numbers of options. Educational and Psychological Measurement, 72(4), 533–546. https://doi.org/10.1177/0013164411431162

Walker, M. E. (2025). 2024 NCME presidential address: Challenging traditional views of measurement. Educational Measurement: Issues and Practice, 44(2), 32–38. https://doi.org/10.1111/emip.12673

Watson, D., Clark, L. A., & Tellegen, A. (1988). Development and validation of brief measures of positive and negative affect: The PANAS scales. Journal of Personality and Social Psychology, 54(6), 1063–1070.

Webb, T. L. (2011). Advice-taking as an unobtrusive measure of prejudice. Behavior Research Methods, 43, 953–963. https://doi.org/10.3758/s13428-011-0122-8

Westfall, J., Judd, C. M., & Kenny, D. A. (2015). Replicating studies in which samples of participants respond to samples of stimuli. https://doi.org/10.1177/1745691614564879

Willik, E. M., Terwee, C. B., Bos, W. J., Hemmelder, M. H., Jager, K. J., Zoccali, C., Dekker, F. W., & Meuleman, Y. (2020). Patient-reported outcome measures (PROMs): Making sense of individual PROM scores and changes in PROM scores over time. Nephrology. https://doi.org/10.1111/nep.13843

Yarkoni, T. (2022). The generalizability crisis. https://doi.org/10.1017/S0140525X20001685

Zimmerman, K. D., Espeland, M. A., & Langefeld, C. D. (2021). A practical solution to pseudoreplication bias in single-cell studies. https://doi.org/10.1038/s41467-021-21038-1