Delineamento da Investigação

Como construir comparações que dêem trabalho às nossas hipóteses

Como planear um estudo, da pergunta e amostragem à comparação e medição.

0 Pergunta e Hipótese

Queremos realizar um estudo. Por onde começamos? Pela pergunta, antes de escolher um questionário, uma experiência ou um teste estatístico. Podemos querer descrever uma população, explorar um fenómeno, prever um resultado ou pôr uma explicação à prova. Estas perguntas não pedem todas o mesmo estudo.

Se queremos testar a hipótese de que a privação de sono reduz a atenção, precisamos de dizer que padrão esperamos observar e que resultado poria a hipótese em dificuldades. Horário, expectativas, motivação e fadiga geral podem imitar esse resultado. Em biologia, qualidade da água ou densidade podem imitar um efeito de temperatura. A hipótese orienta a comparação; as explicações concorrentes dizem-nos o que precisamos de separar.

Precisamos também de decidir o que conta como atenção neste estudo. Numa tarefa, podemos registar o tempo de resposta e os erros; num questionário, podemos pedir às pessoas que avaliem a sua concentração. São observações diferentes. Se escolhermos uma tarefa, que alteração nos tempos ou nos erros esperamos com a privação de sono, e por que a interpretaríamos como menor atenção? A comparação e a medida têm de responder à mesma pergunta.

Antes de tudo isto precisamos de hipóteses que valham a pena testar. Há estratégias para gerar hipóteses e procurar os seus limites, moderadores e explicações alternativas (McGuire, 1997). Gerar uma ideia é o início; o delineamento decide se conseguimos pô-la realmente à prova.

Nem sempre partimos de uma hipótese específica. Podemos querer estimar a cobertura de uma região ou procurar um fenómeno replicável que ainda não sabemos explicar. Nesse caso, comecemos por definir o que queremos descrever ou explorar, em que unidades e com que alcance. A distinção entre detectar um fenómeno e discriminar explicações será importante ao planear o estudo.

Percursos de Leitura

Podemos entrar neste capítulo por caminhos diferentes. Para planear um primeiro estudo, comecem por Como Obter Evidência: que observações poderiam distinguir a hipótese das explicações concorrentes? Sigam para Manipulação e Delineamento: quem ou o que vamos comparar, e que unidades se repetem? Por fim, Medição e Evidência pergunta o que as respostas registadas nos permitem afirmar. Usem a hipótese inicial sobre sono e atenção para ligar as três partes.

Se o estudo já estiver planeado, experimentem primeiro a lista Antes de Abrir o R. Cada pergunta que não consigam responder indica uma secção a revisitar. Para escolher ou adaptar uma medida, podem entrar directamente em Fiabilidade, Validade ou Triangulação. Para a história e o debate sobre escalas, visitem Teoria da Medida; para mudança ao longo do tempo, sigam para Quando a Régua Muda. As caixas que começam fechadas guardam exemplos especializados e pormenores técnicos; abram-nas quando forem úteis.

Ao longo da leitura, as caixas Até Aqui juntam o que já estabelecemos às decisões acabadas de discutir. São bons pontos para fazer uma pausa. Quando regressarem, podem reler essa caixa antes de continuar. A primeira pausa fecha a passagem da pergunta ao teste.

No fim, Continuar para a Estatística encaminha para as análises. Por agora, basta reconhecer a comparação, as suas unidades e a interpretação que a medida permite sustentar.

1 Como Obter Evidência

É tentador começar pelo fim: «isto é uma ANOVA ou uma regressão?». Ainda não. Antes de escolher uma análise, precisamos de decidir como obter observações que respondam à pergunta. Quando testamos uma hipótese, queremos uma comparação que possa ensinar-nos alguma coisa se a hipótese estiver errada e também se estiver certa.

Método, Delineamento e Análise

Estas três coisas aparecem muitas vezes na mesma frase e depois pagamos a conta mais tarde.

• Método é a forma de obter observações: questionário, experiência, amostragem de campo, registo fisiológico, imagem, sensor, entrevista.
• Delineamento é a arquitectura da comparação: o que varia, em que unidade, o que se repete, o que fica junto e em que ordem.
• Análise é a representação matemática dessa comparação e da sua incerteza quando os dados já existem.

A distinção importa porque não podemos transformar um delineamento numa coisa diferente escolhendo outro comando no R.

Numa experiência, manipulamos uma condição e medimos os resultados. Num estudo observacional, medimos sem introduzir essa manipulação. Manipular e medir não são alternativas mutuamente exclusivas: precisamos de medir também nas experiências, incluindo, por vezes, o que a manipulação alterou. E podemos medir sem ter uma variável independente a comparar, como quando estimamos a cobertura local.

A análise tem de acompanhar estas decisões. Podemos descrever as observações, estimar relações ou testar uma hipótese estatística, conforme a pergunta. Convém pensar nisso durante o planeamento, não apenas depois da recolha. Aqui vamos desenvolver o delineamento e a medição; os capítulos seguintes tratam da incerteza e dos testes.

Construir Um Teste

Na Filosofia da Ciência vimos que uma hipótese ganha valor quando corre risco. Na Filosofia da Estatística, a ideia de teste severo torna isso mais preciso: um resultado favorável é informativo quando o procedimento teria tido uma boa oportunidade de mostrar um problema caso a afirmação estivesse errada de uma forma relevante (Mayo & Spanos, 2006; Mayo, 2018).

Antes da recolha, escolham uma discrepância relevante para a pergunta e avaliem o poder previsto para diferentes tamanhos de amostra, variâncias e estruturas de dependência plausíveis. Se o tamanho da amostra já estiver fixado, perguntem que efeitos o plano teria uma boa oportunidade de detectar. Comparem cenários, incluindo perdas previstas, e usem-nos para decidir onde vale a pena acrescentar réplicas ou melhorar a medida. A secção Poder Como Curva desenvolve este planeamento; a severidade de uma afirmação concreta é avaliada depois dos dados.

O delineamento é onde começamos a comprar essa severidade. Tentamos fazer duas coisas ao mesmo tempo:

1. dificultar a passagem de uma explicação errada: reduzir confundimento, enviesamento, pseudorreplicação, efeitos de ordem, artefactos de medição e outras maneiras de produzir um resultado favorável sem que a hipótese seja a explicação;
2. preservar a capacidade para detectar uma discrepância real: reduzir ruído desnecessário, medir com sensibilidade, usar réplicas genuínas e criar comparações capazes de revelar efeitos cientificamente relevantes.

Estas duas metas correspondem, de forma aproximada, às duas direcções de erro que reaparecem na estatística: uma ideia falsa parecer passar e uma ideia ou efeito real não conseguir aparecer. A analogia é útil, mas não confundam estas duas direcções gerais com erros de Tipo I e Tipo II. Esses nomes pertencem a procedimentos estatísticos formais.

Nenhum estudo elimina todas as fragilidades. Tempo, dinheiro, acesso, bem-estar dos participantes ou animais, capacidade dos instrumentos e simples logística obrigam-nos a escolher.

Um modelo muito sofisticado aplicado a um delineamento que não permite responder à pergunta continua a não responder à pergunta. Só demora mais tempo a explicar porquê. Por isso, além de perguntar «qual é a falha?», perguntem sempre em que direcção esta falha empurra o teste?

Uma falha que torna um efeito real mais difícil de detectar reduz a sensibilidade do estudo. Pode deixar os resultados negativos pouco informativos e as estimativas mais instáveis. Mas, se o efeito apareceu apesar dela, precisamos de explicar como essa falha põe em causa o resultado positivo. Queremos dificultar a vida a uma hipótese falsa sem tornar o estudo surdo ao fenómeno que queremos estudar.

Este raciocínio aplica-se tanto a pessoas como a peixes, tanques, parcelas, preparações ou aparelhos. Em cada caso, perguntamos que comparação criámos, que erros ela exclui e que erros ainda deixa passar.

Duas Falhas

Podemos usar uma grelha simples antes de entrar nos nomes clássicos dos delineamentos.

Fragilidade	Pode tornar mais fácil…	Consequência principal
confundimento	uma explicação errada produzir o padrão esperado	apoio espúrio
enviesamento de selecção	grupos diferirem antes da exposição	apoio espúrio ou generalização errada
efeito de ordem não controlado	posição ser confundida com condição	apoio espúrio
medição enviesada	o instrumento favorecer uma condição	apoio espúrio
muita variabilidade irrelevante	um efeito real ficar escondido	menor sensibilidade
medida pouco fiável	o sinal ser diluído por ruído	menor sensibilidade
poucas réplicas genuínas	diferenças reais serem difíceis de distinguir da variação	menor sensibilidade e estimativas instáveis
controlo excessivamente heterogéneo	aumentar a variância sem responder a outra pergunta	menor sensibilidade

A tabela é uma heurística, não uma classificação universal. A mesma decisão pode ter consequências diferentes consoante o mecanismo e a pergunta. O ponto é obrigar-nos a perguntar como uma limitação poderia produzir o resultado que observámos.

A direcção importa também quando avaliamos um resultado. Um revisor pode criticar a falta de poder de um estudo que obteve um resultado significativo. Mas que falha pretende explicar com essa crítica? O baixo poder pode ajudar a explicar por que não detectámos um efeito. Se o teste o detectou, essa objecção está mal dirigida: o baixo poder não é, por si só, razão para desconfiar de uma detecção observada.

Detectar uma discrepância relativamente a zero não basta para lhe atribuir uma magnitude cientificamente relevante ou uma causa. Estas afirmações exigem que examinemos a incerteza da estimativa, a medição, o delineamento e o alcance do estudo. Um resultado significativo não demonstra elevado poder, precisão ou ausência de enviesamento, mas essas críticas precisam de ser dirigidas à conclusão que está em causa.

Convém separar o risco do erro que realmente ocorreu. O poder descreve a probabilidade de rejeitar a hipótese nula sob um valor alternativo e condições especificados. Não diagnostica retrospectivamente o sucesso ou fracasso de um teste. Do mesmo modo, uma fragilidade que aumenta o risco de falso positivo não prova que este resultado seja falso, nem explica uma ausência de detecção. Para interpretar um resultado negativo, precisamos de saber que efeitos relevantes o procedimento conseguiria revelar.

A discussão de Neyman–Pearson, erro e poder explica por que o poder é uma curva, e a secção sobre severidade distingue as propriedades do procedimento da avaliação de uma afirmação depois dos dados (Mayo & Spanos, 2006). Para visualizar a distinção entre sensibilidade e tendência para dizer «há sinal», vejam a Teoria da Detecção de Sinal. Essa distinção ajuda-nos a pensar nas duas direcções de falha, embora a sensibilidade de uma tarefa de detecção não seja o poder de um teste estatístico.

DicaUma Regra de Diagnóstico

Quando encontrarem uma fraqueza no estudo, perguntem:

1. Pode esta fraqueza criar um efeito quando não existe?
2. Pode esconder um efeito que existe?
3. Pode alterar a magnitude ou a direcção do efeito?
4. Pode limitar apenas a generalização, sem destruir a comparação interna?

Uma crítica metodológica torna-se muito mais informativa quando especifica a direcção do erro em vez de apenas listar «limitações».

Detectar Um Fenómeno

Em fases iniciais de uma investigação, podemos querer sobretudo saber se existe algum fenómeno replicável que valha a pena explicar. Nessa fase, um delineamento sensível é especialmente importante: se a manipulação é fraca, a medida é ruidosa ou há poucas réplicas, um resultado negativo diz pouco.

Quando aparece um sinal, a pergunta muda. Queremos saber se a hipótese específica explica o fenómeno melhor do que alternativas plausíveis. Entram controlos mais exigentes, manipulações mais específicas, medições independentes, replicações e testes que discriminem explicações concorrentes.

Descoberta e teste não são mundos separados. Mas podem pôr pesos diferentes sobre sensibilidade e discriminação entre explicações. Um bom programa de investigação costuma precisar das duas.

NotaAté Aqui: Pergunta e Teste

Partimos da pergunta para escolher observações que lhe possam responder. Ao testar uma explicação, procuramos separar rivais e conservar a sensibilidade ao fenómeno. Uma limitação merece uma pergunta concreta: que resultado poderia criar, esconder ou alterar?

2 Manipulação e Delineamento

Já distinguimos o que queremos saber e como podemos obter observações. Vejamos agora o que cada forma de comparação permite concluir. Começamos pela associação sem manipulação, passamos à comparação experimental e depois escolhemos as unidades e a estrutura do delineamento.

Observar Sem Manipular

Um exemplo ajuda. Imaginem que medimos o bem-estar dos leitores e quantas secções deste site já leram. Talvez a leitura do NRB destrua lentamente a alegria de viver. Ou talvez só quem já estava muito mal tenha a perseverança necessária para chegar à secção 47. A associação pode ser exactamente a mesma. A história causal não é.

Uma regressão não faz magia. Se apenas observámos duas variáveis, escrever lm() não introduz uma manipulação que nunca aconteceu. Um estudo observacional longitudinal pode ajudar-nos a estabelecer ordem temporal e a eliminar algumas histórias. Não elimina todas.

Experiências Naturais

Às vezes acontece alguma coisa fora do controlo do investigador que cria grupos muito semelhantes com exposições diferentes. Uma alteração de política, uma lotaria, uma regra administrativa, uma mudança ambiental ou outro acontecimento pode aproximar a comparação da lógica de uma experiência. Em economia estes casos são muitas vezes chamados experiências naturais (Angrist & Krueger, 2001). A ideia também é útil em psicologia, epidemiologia e biologia.

A palavra experiência pode enganar. O investigador não fez a alocação. Temos de justificar por que razão a exposição criada pelo acontecimento ficou suficientemente desligada das características anteriores das unidades. É essa hipótese de uma alocação «como se fosse aleatória» que dá força ao delineamento (Craig et al., 2017).

É fácil imaginar a versão biológica. Uma tempestade pode abrir uma clareira numa parcela e deixar uma parcela próxima quase intacta. A comparação torna-se interessante se houver boas razões para pensar que o impacto da tempestade não escolheu a parcela em função do resultado que queremos estudar. Psicologia e saúde pública encontram oportunidades semelhantes em mudanças de regras, políticas ou acesso a serviços. A natureza fez a intervenção. Nós ainda temos de fazer o trabalho de delineamento.

Empírico também é mais amplo do que experimental. Um eclipse, uma população selvagem ou uma coorte podem fornecer evidência empírica sem qualquer manipulação feita pelo investigador. A ciência dá um lugar especial à evidência empírica mesmo quando uma teoria parece simples, elegante ou bonita. Strevens (2020) chama a esta disciplina da argumentação científica a «regra de ferro».

flowchart LR
    O["Observacional<br/>medimos A e C"] --> OA["estimamos associação<br/>e declaramos pressupostos"]
    N["Experiência natural<br/>o mundo cria uma exposição"] --> NA["avaliamos se a comparação<br/>se aproxima de uma alocação aleatória"]
    E["Experimental<br/>manipulamos A"] --> R["alocação aleatória<br/>quando possível"]
    R --> EA["comparamos resultados<br/>depois da manipulação"]

flowchart LR
    O["Observacional<br/>medimos A e C"] --> OA["estimamos associação<br/>e declaramos pressupostos"]
    N["Experiência natural<br/>o mundo cria uma exposição"] --> NA["avaliamos se a comparação<br/>se aproxima de uma alocação aleatória"]
    E["Experimental<br/>manipulamos A"] --> R["alocação aleatória<br/>quando possível"]
    R --> EA["comparamos resultados<br/>depois da manipulação"]

Três formas gerais de produzir uma comparação.

Uma Associação, Várias Histórias

Suponhamos que observamos uma associação entre \(A\) e \(C\). Há várias histórias possíveis.

flowchart LR
    subgraph d["Efeito directo"]
      A1["A"] --> C1["C"]
    end
    subgraph r["Causalidade inversa"]
      C2["C"] --> A2["A"]
    end
    subgraph u["Causa comum"]
      U["U"] --> A3["A"]
      U --> C3["C"]
    end
    subgraph m["Mediação"]
      A4["A"] --> B4["B"] --> C4["C"]
    end

    style d fill:transparent
    style r fill:transparent
    style u fill:transparent
    style m fill:transparent

flowchart LR
    subgraph d["Efeito directo"]
      A1["A"] --> C1["C"]
    end
    subgraph r["Causalidade inversa"]
      C2["C"] --> A2["A"]
    end
    subgraph u["Causa comum"]
      U["U"] --> A3["A"]
      U --> C3["C"]
    end
    subgraph m["Mediação"]
      A4["A"] --> B4["B"] --> C4["C"]
    end

    style d fill:transparent
    style r fill:transparent
    style u fill:transparent
    style m fill:transparent

A mesma associação pode nascer de estruturas causais diferentes.

Na mediação, \(A\) altera \(B\) e \(B\) altera \(C\). Uma cadeia causal pode ter muitos passos e vários caminhos em paralelo. A moderação faz outra pergunta. Queremos saber se o efeito de \(A\) muda consoante uma terceira variável (Preacher, 2015).

Também pode haver ciclos ao longo do tempo. \(A_t\) afecta \(B_{t+1}\), que depois afecta \(A_{t+2}\). Os diagramas ajudam a tornar a hipótese visível. As setas continuam a ser hipóteses sobre o mundo (Greenland et al., 1999).

Conhecimento Prévio

Uma associação medida no mesmo momento deixa muitas histórias abertas. O resto do que sabemos também entra no raciocínio.

Imaginem que sexo cromossómico está associado a uma preferência de cor medida anos depois. A própria ordem do desenvolvimento torna biologicamente incoerente a história «preferência de cor adquirida anos depois → sexo cromossómico do embrião». Isso ainda deixa muitas explicações possíveis para a associação. Socialização, expectativas, cultura e experiências podem estar no caminho.

É assim que uma investigação observacional pode contribuir para um argumento causal. Juntamos a associação observada à ordem temporal, conhecimento substantivo, estudos anteriores, mecanismos plausíveis e comparações adicionais. Confundimento, selecção, erro de medição e causalidade inversa continuam a merecer atenção (D’Onofrio et al., 2020).

Comparação Experimental

Numa experiência fazemos variar deliberadamente uma condição. A manipulação acontece antes do resultado, por isso ganhamos precedência temporal para essa parte da história causal. Quando a alocação é aleatória, ganhamos também uma forma muito forte de tornar os grupos comparáveis relativamente ao que aconteceu antes da experiência.

flowchart LR
    R["alocação aleatória"] --> A["manipulação de A"]
    A --> B["processo B<br/>(possível mediador)"]
    B --> C["resultado C"]
    A --> C

flowchart LR
    R["alocação aleatória"] --> A["manipulação de A"]
    A --> B["processo B<br/>(possível mediador)"]
    B --> C["resultado C"]
    A --> C

A lógica causal mínima de uma experiência aleatorizada.

Ainda há trabalho a fazer. A manipulação pode mexer em mais do que uma coisa. Podem existir desistências, incumprimento ou contaminação entre condições. A medição também pode alterar o que estamos a medir. E o efeito pode depender muito das pessoas, organismos, estímulos, aparelhos ou locais escolhidos.

Se uma manipulação de ansiedade não alterou ansiedade, perdeu-se uma premissa importante do teste da hipótese. É por isso que precisamos de verificar a manipulação. Convém pensar onde e como o fazemos, porque a própria pergunta pode influenciar o participante.

Verificar a Manipulação

Numa experiência, precisamos de saber se a manipulação alterou aquilo que queríamos alterar. Um indutor de ansiedade pode mudar também o humor, a atenção, a motivação ou a sensação de estar a ser testado. Uma verificação da manipulação (manipulation check) mede directamente o constructo que a manipulação devia alterar. Mostrar um efeito no resultado final não resolve, por si só, esta questão.

Uma verificação da manipulação permite examinar uma premissa importante: a intervenção alterou realmente aquilo que o teste da hipótese pressupõe? Uma análise de práticas de relato no Journal of Personality and Social Psychology sublinha a utilidade destas verificações para avaliar e melhorar o delineamento (Fiedler et al., 2021).

Há, porém, uma dificuldade conceptual. Medir a variável que julgamos corresponder ao constructo não demonstra, por si só, que a teoria foi validada. Convém distinguir hipóteses sobre constructos de previsões sobre efeitos observados e não pedir a uma verificação mais do que ela pode mostrar (Calder et al., 2020). As verificações da manipulação e da atenção integram também recomendações práticas para experiências (Stoner et al., 2022).

DicaNa Prática

• Planeiem a verificação antes da recolha, e não depois de ver que o efeito não apareceu.
• Formulem a pergunta sem revelar a hipótese, para que a resposta não seja só o que o participante acha que deve responder.
• Interpretem a verificação com o delineamento: uma resposta positiva não prova sozinha que a manipulação actuou no constructo pretendido.

NotaAté Aqui: Comparar Explicações

A pergunta inicial levou-nos a procurar comparações informativas. Vimos agora como ordem temporal, conhecimento prévio, manipulação e alocação aleatória ajudam a separar histórias causais. Verificar o que a manipulação alterou faz parte desse argumento.

Amostragem e Alocação

Há duas setas que os manuais às vezes desenham demasiado depressa.

Amostragem selecciona as unidades que entram no estudo. Alocação atribui condições às unidades seleccionadas. Sortear quem recebe uma intervenção não é sortear quem entra na amostra.

Uma amostra de conveniência pode permitir uma comparação interna forte se a alocação e o restante procedimento forem adequados. Isso não torna o efeito médio observado igual ao de qualquer outra população. O inverso também acontece: recrutar muitas pessoas não salva uma comparação em que tratamento e outra diferença importante ficaram colados. Ao relatar uma experiência, descrevemos recrutamento e alocação separadamente (Moher et al., 2010).

Procedimentos de Amostragem

Os nomes descrevem como seleccionamos unidades, não uma garantia automática sobre todas as conclusões:

• Aleatória simples (simple random): sorteamos unidades de um quadro de amostragem; numa amostra de tamanho fixo, cada conjunto desse tamanho tem a mesma probabilidade de ser seleccionado.
• Estratificada (stratified): dividimos a população em estratos definidos antes da selecção e sorteamos unidades dentro de cada um. Podemos usar proporções diferentes das populacionais, desde que a estimação tenha em conta as probabilidades de inclusão.
• Aleatória sistemática (systematic random): sorteamos o início numa lista e seleccionamos depois a cada \(k\) unidades. Uma periodicidade na lista alinhada com esse intervalo pode prejudicar a amostra.
• Por conglomerados (cluster): sorteamos grupos, como escolas ou troços de costa, e observamos todas as unidades desses grupos ou sorteamos unidades numa segunda etapa. A análise deve atender à dependência dentro dos grupos e às probabilidades de selecção.
• De conveniência (convenience): recrutamos unidades acessíveis. O acesso não dá, por si só, probabilidades de inclusão conhecidas.
• Intencional (purposive): escolhemos casos por critérios ligados à pergunta, como locais com salinidades contrastantes. A justificação desses critérios faz parte do argumento científico.

Estratificar pode assegurar que há observações nos grupos escolhidos. Para isso precisamos de identificar a pertença aos estratos no quadro usado. Para estimar uma média populacional combinando médias de estrato, precisamos também dos respectivos pesos populacionais, ou de informação que permita estimá-los. Não precisamos de conhecer a composição da população em todas as características para que um plano probabilístico estratificado seja válido. Cobertura incompleta, não resposta e pesos inadequados são problemas que temos de avaliar no plano concreto.

Há outra pergunta: os estratos escolhidos cobrem as características relevantes para a nossa explicação? Reproduzir idade e género, por exemplo, não assegura que foram consideradas todas as condições que alteram um efeito. É neste sentido mais amplo, relativo à pergunta, que Garcia-Marques et al. (2026) questionam a exigência universal de representatividade. Essa discussão não dispensa as regras de um plano probabilístico quando queremos estimar quantidades numa população.

Amostrar Para Quê?

A escolha começa no que queremos concluir. Representativa de quê, e para que pergunta? Uma amostra não recebe um selo de representatividade que sirva para todas as inferências. Os critérios de selecção devem corresponder ao objectivo do estudo; uma miniatura demográfica da população não é uma exigência universal (Garcia-Marques et al., 2026).

Num exemplo inventado de ecologia, queremos estimar a cobertura média de algas num troço de costa, nesta estação. A população-alvo é o conjunto de locais sobre o qual queremos essa estimativa. A população acessível inclui os locais a que conseguimos chegar. O quadro de amostragem é a lista ou outra forma operacional de identificar os locais a seleccionar. Se só conseguimos visitar praias junto à estrada, falta justificar a passagem dessas praias para toda a costa. Muitos quadrados nessas praias não resolvem essa falta de cobertura.

Para esta estimativa, precisamos de saber como foram seleccionados os locais, quais ficaram de fora e se os locais seleccionados foram efectivamente observados. Numa amostragem probabilística, as unidades têm probabilidades de inclusão conhecidas e positivas; não têm de ser todas iguais. Na amostragem aleatória simples, são iguais. Podemos também amostrar separadamente em estratos, como costa rochosa e arenosa, para assegurar observações em ambos. A estimativa para a costa deve respeitar o plano e o peso de cada estrato, não apenas juntar todas as linhas.

Agora queremos testar uma explicação sobre a resposta das algas à salinidade. Podemos escolher deliberadamente locais contrastantes que tornem essa explicação mais fácil de distinguir das alternativas. É amostragem intencional: os critérios servem a pergunta, não a frequência de cada tipo de local na costa. Ainda teremos de separar salinidade de outras diferenças entre os locais. A selecção, sozinha, não cria controlo experimental.

O mesmo vale para participantes. Uma amostra de conveniência reúne quem está disponível; uma amostra intencional selecciona por critérios relevantes. Podem sobrepor-se: alunos disponíveis podem, por exemplo, ser adequados para testar uma previsão sobre aprendizagem de palavras familiares, se compreenderem a língua e a tarefa. Precisamos de explicar essa ligação à hipótese, além de indicar elegibilidade, recrutamento, recusas e exclusões. Para estimar um efeito noutra população, teremos de justificar também a passagem para esse grupo (Garcia-Marques et al., 2026; Mook, 1983).

Por fim, aplicar uma intervenção noutro contexto pede outra passagem: esperamos que se mantenha o mecanismo, a direcção ou a magnitude do efeito? Estas conclusões não são equivalentes. Um estudo pode testar bem uma previsão local sem estimar a magnitude média numa população mais ampla. Também pode ter ambos os objectivos, desde que o plano responda a ambos. Mesmo sem uma condição experimental, descrever ou explorar exige justificar as unidades seleccionadas e o alcance das observações.

NotaOpcional: Estimar Com Selecção Não Aleatória

Uma amostra não aleatória não proíbe toda a estimação para uma população-alvo. Por exemplo, a ponderação ou a padronização podem combinar o estudo com informação sobre essa população. Exigem pressupostos sobre a selecção, características relevantes medidas, sobreposição suficiente e modelos adequados. Não basta ajustar um modelo aos participantes disponíveis e declarar resolvida a generalização (Lesko et al., 2017).

Participantes e Materiais

Seleccionamos também palavras, fotografias, rostos, vídeos ou cenários. A mesma lógica aplica-se à amostragem de estímulos e à escolha das condições operacionalizadas (Garcia-Marques et al., 2026, p. 10). Precisamos, portanto, de justificar quem participa e a que materiais responde.

Vamos acompanhar uma tarefa inventada: medimos o tempo necessário para identificar uma palavra apresentada com nitidez ou numa imagem degradada. Recrutamos adultos que lêem português e seleccionamos palavras familiares de uma base lexical. Restringir a familiaridade pode ajudar a estudar o efeito da degradação sem o misturar com desconhecimento da palavra. Também restringe o que podemos concluir sobre palavras pouco familiares.

Registamos a origem dos participantes e dos materiais, os critérios de inclusão e exclusão, e o número de identidades distintas. A palavra é o estímulo de base; a imagem nítida e a degradada são duas versões desse estímulo. Dois ficheiros não significam necessariamente dois itens independentes. Repetir a imagem de «mar» cem vezes também não dá cem palavras amostradas.

Se escolhermos um conjunto de palavras para a condição nítida e outro para a degradada, comprimento ou frequência lexical podem imitar o efeito pretendido. Pré-testar e controlar características dos materiais pode ajudar, mas a forma como ligamos itens a condições merece uma decisão própria. Ignorar a variação dos estímulos pode subestimar a incerteza quando queremos concluir para além dos itens escolhidos (Judd et al., 2012). Mais participantes com as mesmas poucas palavras não substituem mais palavras.

Já temos as unidades seleccionadas. Falta perceber a que nível recebem condições, o que se repete e como apresentamos os materiais.

NotaAté Aqui: Escolher os Casos

Já ligámos a pergunta à comparação e a comparação à escolha dos casos. Amostramos pessoas, organismos, locais e materiais para uma inferência explícita. A selecção delimita o alcance do estudo; a alocação determina quem recebe cada condição. Registar identidades permite acompanhar o que se repete.

Unidades e Replicação

Antes de escolher entre grupos diferentes ou medidas repetidas, precisamos de saber onde ocorre a variação. Uma manipulação pode ser aplicada ao tanque e as medições recolhidas nos peixes; essas duas unidades não são a mesma coisa.

Unidade Experimental e Réplica

A unidade experimental é a menor unidade que recebeu uma condição de forma independente para a pergunta em causa. O número dessas unidades dá o número de réplicas genuínas da comparação (Zimmerman et al., 2021).

Uma linha da base de dados pode ser uma réplica, uma subamostra ou uma medição repetida. O formato do ficheiro não decide isso.

• Se a intervenção é atribuída a cada pessoa, a pessoa pode ser a unidade experimental.
• Se a temperatura é aplicada ao tanque, o tanque é a unidade experimental mesmo que meçamos muitos peixes.
• Se comparamos locais inteiros, os locais são as réplicas da comparação entre locais. Muitos quadrados dentro de um local descrevem melhor esse local.

A pergunta «o que representa uma linha?» ajuda. Depois perguntem que linhas partilham a mesma unidade e a que nível varia o preditor.

Ao preparar a tabela no R, vejam como a passagem de largo para longo muda o significado de uma linha sem criar novas unidades independentes.

Subamostra e Pseudorreplicação

Uma subamostra é uma observação recolhida dentro de uma unidade que já foi amostrada ou alocada. Podem ser vários peixes no mesmo tanque, várias células do mesmo animal ou várias respostas da mesma pessoa. Essas observações ajudam a estimar a variação dentro da unidade (Lazic, 2010).

Há pseudorreplicação quando tratamos observações dependentes como réplicas independentes. Quarenta peixes em quatro tanques continuam a dar quatro tanques para uma pergunta sobre o tratamento aplicado ao tanque.

NotaRepetir Um Rótulo Não É Repetir Uma Unidade

Nem toda a repetição numa coluna cria dependência. Suponham que cada linha é um espécime diferente e queremos comparar duas espécies. Se os espécimes podem ser tratados como unidades independentes para essa pergunta, species é simplesmente um factor inter-unidades. Ter vinte linhas com o rótulo da mesma espécie é precisamente o que permite estimar a média dessa espécie. Não são vinte medidas repetidas da mesma unidade.

O problema aparece quando várias linhas partilham uma unidade relevante que estamos a ignorar. Se dez espécimes de cada espécie vierem todos do mesmo tanque, ninho, recife ou população local, esse agrupamento pode ter de entrar no delineamento e no modelo. Incluir species como efeito fixo permite testar a diferença entre espécies. Não corrige automaticamente outro agrupamento que tenha ficado escondido.

Por isso, não perguntem apenas «há valores repetidos nesta variável?». Perguntem que entidade se repete, que linhas podem ser tratadas como unidades independentes e a que nível varia o preditor que queremos testar.

Há ainda um caso traiçoeiro: a mesma unidade pode aparecer várias vezes sem sabermos que é a mesma. Se um peixe marcado é observado em duas ocasiões e recebe o mesmo identificador, a repetição é visível. Se dois registos do mesmo animal forem tratados como dois espécimes diferentes, a base de dados esconde a dependência.

Às vezes a identidade é relativamente fácil de preservar: anilhas, etiquetas, chips, fotografia individual, códigos de participante ou outro identificador persistente. Noutros casos é muito mais difícil. Organismos visualmente muito semelhantes podem ser recapturados sem reconhecimento. Num website, o mesmo visitante em dois dispositivos pode parecer duas pessoas, enquanto várias pessoas num dispositivo partilhado podem parecer uma só.

Se a pergunta for «quantos indivíduos distintos existem?», isto é também um problema de medição ou contagem. Se esses registos forem depois tratados como réplicas independentes numa análise, torna-se também um problema de dependência. O ficheiro não resolve a identidade das unidades por nós.

As subamostras continuam a ser úteis. Podemos resumir por unidade ou modelar a hierarquia. Um modelo misto reconhece agrupamento. A quantidade de unidades que receberam o tratamento continua a ser uma propriedade do delineamento (Zimmerman et al., 2021).

AvisoContar Linhas Pode Enganar

Façam um esquema como peixe → tanque → tratamento ou resposta → participante → condição. Acrescentar peixes ao mesmo tanque dá mais informação sobre esse tanque. Para comparar mais tanques, precisamos de mais tanques.

Estruturas de Delineamento

Os nomes clássicos são atalhos para estruturas que aparecem em muitas áreas. Vale a pena conhecê-los porque ajudam a ver onde está a variação.

Inter-, Intra- e Mistos

Com pessoas, dizemos inter-participantes (between-subjects) quando participantes diferentes recebem níveis diferentes de um factor. Dizemos intra-participantes (within-subjects, também chamado intra-sujeitos) quando os mesmos participantes contribuem para vários níveis. Inter-sujeitos é o sinónimo correspondente para o primeiro caso. Um delineamento misto combina factores dos dois tipos.

Com organismos, tanques ou aparelhos, usamos os termos mais gerais inter-unidades e intra-unidades. Convém sempre indicar a unidade: um factor pode ser intra-peixes e outro inter-tanques.

flowchart TB
    subgraph b["Inter-participantes"]
      P1["Pessoa 1"] --> A1["A"]
      P2["Pessoa 2"] --> B1["B"]
    end
    subgraph w["Intra-participantes"]
      P3["Pessoa 3"] --> A2["A"]
      P3 --> B2["B"]
    end
    subgraph mx["Misto"]
      G1["Grupo 1"] --> P4["Pessoa"]
      G2["Grupo 2"] --> P5["Pessoa"]
      P4 --> A3["A"]
      P4 --> B3["B"]
      P5 --> A4["A"]
      P5 --> B4["B"]
    end

    style b fill:transparent
    style w fill:transparent
    style mx fill:transparent

flowchart TB
    subgraph b["Inter-participantes"]
      P1["Pessoa 1"] --> A1["A"]
      P2["Pessoa 2"] --> B1["B"]
    end
    subgraph w["Intra-participantes"]
      P3["Pessoa 3"] --> A2["A"]
      P3 --> B2["B"]
    end
    subgraph mx["Misto"]
      G1["Grupo 1"] --> P4["Pessoa"]
      G2["Grupo 2"] --> P5["Pessoa"]
      P4 --> A3["A"]
      P4 --> B3["B"]
      P5 --> A4["A"]
      P5 --> B4["B"]
    end

    style b fill:transparent
    style w fill:transparent
    style mx fill:transparent

Três estruturas frequentes. Pessoa pode ser substituída por animal, tanque, preparação ou aparelho.

Num factor intra-unidades, cada pessoa, animal ou preparação serve em parte como o seu próprio controlo. Isso é especialmente útil quando existe muita variação entre unidades. O preço pode ser fadiga, aprendizagem, habituação ou efeitos de ordem.

Num factor inter-unidades, não há passagem da mesma unidade entre os níveis desse factor. Evitamos esse transporte entre condições, mas precisamos de informação suficiente para lidar com as diferenças entre unidades. A ordem de ensaios pode continuar a importar mesmo num estudo inter-participantes.

Nos delineamentos mistos, um factor pode ser inter-unidades e outro intra-unidades. Dois grupos podem receber intervenções diferentes e todos serem medidos antes e depois. Um animal pode receber um tratamento e ser observado em vários momentos. Um tanque pode receber uma temperatura e os organismos serem medidos ao longo de dias.

Participantes e Estímulos

Voltemos às palavras nítidas e degradadas. Se cada pessoa responde nas duas condições, degradação é um factor intra-participantes. Mas isso ainda não nos diz se cada palavra aparece nas duas condições. Precisamos de fazer a mesma pergunta relativamente à identidade do estímulo.

Um factor é inter-estímulos se cada item de base aparece apenas num dos seus níveis. É intra-estímulos se o mesmo item aparece em vários níveis no conjunto do estudo. Não é obrigatório que a mesma pessoa veja as duas versões da mesma palavra. Podemos trocar as versões entre participantes através de listas, como veremos em Apresentar os Estímulos (Judd et al., 2012, p. 62).

NotaOpcional: Quatro Combinações

Para a tarefa inventada, estas são quatro arquitecturas possíveis:

Degradação	Arranjo
Inter-participantes, inter-estímulos	Um grupo vê só palavras nítidas de X; outro só palavras degradadas de Y.
Inter-participantes, intra-estímulos	Um grupo vê as versões nítidas e outro as degradadas das mesmas palavras.
Intra-participantes, inter-estímulos	Todos vêem X nítido e Y degradado; cada palavra fica presa à mesma condição.
Intra-participantes, intra-estímulos	Todos vêem ambas as condições; as versões de cada palavra trocam entre pessoas.

Nos arranjos inter-estímulos, precisamos de justificar que diferenças entre conjuntos não explicam a comparação. Isto não torna inválida toda a comparação inter-estímulos: uma característica como frequência lexical não pode ser simplesmente trocada mantendo a identidade da palavra. A selecção de vários itens e o controlo das suas características tornam-se especialmente importantes.

Há ainda outra relação: participantes e estímulos estão cruzados quando cada participante responde a vários itens e os mesmos itens recebem respostas de vários participantes. Se cada pessoa tiver um conjunto exclusivo de itens, os itens estão aninhados nas pessoas. Um cruzamento pode ser parcial: não exige que todos vejam todos os itens.

Este cruzamento entre identidades não é o mesmo que dizer que um factor é intra-participantes ou intra-estímulos. Por exemplo, grupos diferentes podem ver versões diferentes das mesmas palavras: há cruzamento participante–estímulo, mas a condição é inter-participantes. A análise deve representar as fontes de variação relevantes para a pergunta; os modelos ficam no capítulo de medidas repetidas e modelos mistos. Um modelo com participantes e itens não alarga, por si só, o domínio amostrado.

Onde Vale a Pena Repetir?

A pergunta geral é onde está a variação que mais importa para a nossa inferência?

Em psicologia podemos escolher entre mais participantes, mais ensaios por participante ou mais estímulos. Se as pessoas diferem muito e cada pessoa é estável, mais participantes ajudam bastante. Se os estímulos variam muito, meia dúzia de itens pode deixar o resultado preso a esses exemplos. Mais ensaios ajudam quando existe muito ruído dentro da mesma pessoa (Westfall et al., 2015).

A mesma lógica aparece em ecologia. Cinquenta quadrados (quadrats) dentro da mesma pequena região descrevem essa região com detalhe. Cinco quadrados em dez regiões dizem muito mais sobre variação entre regiões. A escolha depende da pergunta. Se queremos estimar a cobertura local, concentrar medições pode ser sensato. Se queremos generalizar para a costa, precisamos de replicação ao nível da costa.

Em neurociência, mais células por animal dão informação sobre variação celular. Mais animais dão informação sobre variação entre animais. Em física, muitas leituras do mesmo sensor reduzem um tipo de incerteza e vários aparelhos ou lotes podem revelar outro.

Há sempre custos. Mais ensaios podem trazer fadiga ou habituação. Mais locais aumentam logística. Mais materiais podem alongar a experiência. O número total de linhas raramente resume esta decisão. Ao indicar o tamanho da amostra, distingam participantes, estímulos de base, ensaios e locais.

Replicar com as mesmas palavras testa a estabilidade do resultado com esses materiais; usar palavras novas testa também o seu alcance. Se mudarmos pessoas e materiais ao mesmo tempo e o resultado mudar, ainda não sabemos qual dessas dimensões explica a mudança. Variar deliberadamente populações, materiais e contextos ao longo de estudos ajuda a testar os limites da explicação (Garcia-Marques et al., 2026).

NotaAté Aqui: Unidades e Repetições

Escolhidos os casos, seguimos as suas identidades e localizamos a variação: entre unidades, dentro delas e entre materiais. É essa estrutura que permite contar réplicas, reconhecer subamostras e decidir onde vale a pena recolher mais informação.

Delineamentos Factoriais

Um delineamento factorial cruza dois ou mais factores. Um factorial \(2 \times 2\) dá-nos quatro combinações:

	B1	B2
A1	A1 + B1	A1 + B2
A2	A2 + B1	A2 + B2

Isto compra-nos uma pergunta que dois estudos separados não conseguem responder da mesma maneira: a diferença entre A1 e A2 muda quando passamos de B1 para B2? Essa diferença de diferenças é a interacção.

Se A e B aparecem na nossa teoria precisamente porque admitimos que um possa mudar o efeito do outro, a interacção não é um extra para experimentar no fim. O delineamento tem de conter as quatro células e a análise deve continuar a permitir essa interacção quando perguntamos por diferenças médias de A ou de B.

Por outras palavras, podemos perguntar «há, em média, uma diferença entre A1 e A2?» sem obrigar primeiro o modelo a assumir que essa diferença é exactamente igual em B1 e B2. Mais à frente, esta será uma das razões para preferirmos testes Tipo III em modelos factoriais com interacções.

Também não precisamos de cruzar tudo com tudo. Cada factor acrescenta células, custos e interacções possíveis. O objectivo é incluir as combinações de que a teoria precisa, não construir a maior ANOVA que caiba no papel (Collins et al., 2009).

Bloqueio, Emparelhamento e Níveis

Dia de recolha, lote, gaiola, local, aparelho ou experimentador podem introduzir variação previsível. Bloquear significa formar conjuntos comparáveis com base nessa fonte e distribuir aleatoriamente as condições dentro de cada conjunto. Isso pode evitar uma confusão desnecessária e melhorar a precisão (Reynolds, 2026).

No emparelhamento, juntamos unidades semelhantes numa característica relevante antes da alocação. A estratégia é útil quando essa característica prediz bem o resultado.

Num delineamento de parcelas subdivididas (split-plot), factores diferentes são manipulados em níveis diferentes. Podemos aplicar temperatura ao tanque inteiro e outra intervenção a subunidades dentro do tanque. Cada factor tem a sua unidade experimental. A análise precisa de respeitar esses dois níveis de randomização (Reynolds, 2026).

Apresentar os Estímulos

Na nossa tarefa inventada, dividimos as palavras em dois conjuntos, X e Y. Construímos duas listas que trocam as versões. Vejamos quatro palavras de uma lista maior: «mar» e «luz» pertencem a X; «sal» e «rio» pertencem a Y.

Palavra de Base	Lista 1	Lista 2
mar (X)	Nítida	Degradada
luz (X)	Nítida	Degradada
sal (Y)	Degradada	Nítida
rio (Y)	Degradada	Nítida

Cada pessoa recebe uma lista e vê cada palavra uma só vez, mas responde nas duas condições. Entre as pessoas das duas listas, cada palavra aparece nítida e degradada. Temos, assim, um factor intra-participantes e intra-estímulos sem repetir a mesma palavra na mesma pessoa. É a arquitectura de contrabalançamento de conjuntos descrita por Judd et al. (2012, p. 62), aplicada aqui a um exemplo nosso.

Alocamos participantes às listas por um procedimento aleatório planeado para equilibrar os seus números. Depois sorteamos a ordem dos ensaios em cada lista. A primeira decisão equilibra a ligação item–condição; a segunda evita fixar a ligação condição–posição. Baralhar os ensaios de uma lista em que X é sempre nítido não troca as versões de X.

Registamos lista, identidade da palavra, versão, posição e resposta em cada ensaio. Declaramos também instruções, treino, duração da apresentação, pausas e eventuais blocos. Estas decisões podem mudar a tarefa: responder depois de praticar não é necessariamente o mesmo que responder no primeiro contacto.

Ordem e Contrabalançamento

Quando a mesma unidade passa por várias condições, a ordem pode entrar na comparação. Se toda a gente fizer A → B → C → D, condição e posição ficam coladas uma à outra.

Com poucas condições podemos usar todas as ordens, mas o seu número cresce muito depressa à medida que acrescentamos condições. Um quadrado latino reduz o problema e coloca cada condição uma vez em cada posição.

Sequência	1.ª	2.ª	3.ª	4.ª
1	A	B	C	D
2	B	C	D	A
3	C	D	A	B
4	D	A	B	C

Este quadrado equilibra a posição. Alguns efeitos de transporte dependem do par de condições consecutivas e precisam de contrabalançamento adicional (Reese, 1997).

O objectivo aqui é perceber que a ordem faz parte do delineamento. Randomização, bloqueio e contrabalançamento resolvem problemas diferentes. Uma ordem aleatória pode ficar desequilibrada numa realização concreta. Restrições, como impedir sequências longas da mesma condição, devem ser planeadas e relatadas; podem também tornar a sequência previsível. Contrabalançar exige dizer o que equilibramos: itens por condição, condições por posição, blocos ou teclas de resposta, por exemplo.

Contrabalançar distribui uma influência da ordem; não garante que a elimina. Se A ensina irreversivelmente a resposta a B, trocar A → B por B → A não recupera automaticamente a comparação sem aprendizagem. Podemos precisar de participantes diferentes, de um intervalo de recuperação plausível ou de reformular a pergunta para incluir o período e a ordem.

Delineamentos Especiais

Mergulhar Mais Fundo

Esta secção é de leitura opcional. Numa primeira leitura, podem avançar para Medição e Evidência e regressar quando precisarem de consultar estes delineamentos.

Alguns planos combinam condições ou sequências para separar fontes de variação. A escolha depende do que precisamos de equilibrar e das comparações que queremos estimar.

Referência de Delineamentos Especiais

Quatro grupos de Solomon. Cruzamos a intervenção (sim ou não) com a presença ou ausência de pré-teste, atribuindo aleatoriamente as pessoas aos quatro grupos. Todos fazem o pós-teste; apenas dois fazem o pré-teste. As comparações no pós-teste permitem estimar o efeito da intervenção com e sem pré-teste, bem como examinar se o pré-teste altera as respostas e se modifica o efeito da intervenção (Solomon, 1949). A interacção pode exigir uma amostra considerável. Este problema de sensibilização pelo teste não é o mesmo que uma mudança no critério de resposta: voltaremos a esta última no pré-teste retrospectivo.

Descontinuidade da regressão (regression discontinuity design, RDD). Quando a intervenção é atribuída por um limiar estrito de uma variável contínua, como uma nota de corte para uma bolsa ou um limiar de biomarcador para iniciar medicação, comparamos unidades imediatamente acima e abaixo da fronteira. Sob os pressupostos do delineamento, essa comparação permite estimar localmente o efeito causal da atribuição (Thistlethwaite & Campbell, 1960).

Delineamento cruzado (crossover design). Cada unidade recebe sequencialmente dois ou mais tratamentos, por exemplo A depois B ou B depois A. É preciso considerar efeitos residuais: períodos de lavagem (washout periods) podem reduzi-los quando forem adequados, mas a possibilidade de um efeito persistente pode tornar o cruzamento inapropriado.

Cunha escalonada (stepped-wedge cluster randomized trial). Todos os grupos ou comunidades acabam por receber a intervenção, mas a transição do controlo para a intervenção ocorre de forma aleatorizada e desfasada no tempo. Pode ser útil quando a implementação faseada é necessária ou aceitável; não dispensa separar o efeito da intervenção das tendências temporais.

Ensaio N-de-1 (N-of-1 trial). Uma unidade individual recebe períodos alternados de tratamento e controlo ou placebo, idealmente com ordem aleatorizada. A comparação pode informar sobre a resposta dessa unidade, desde que a condição seja reversível, os períodos sejam comparáveis e os efeitos residuais sejam considerados. Não estima, por si só, o efeito médio numa população.

Quadrado latino. O exemplo anterior distribui quatro condições por quatro posições: cada condição aparece uma vez em cada posição. É mais económico do que usar todas as ordens, mas equilibrar posições não equivale a equilibrar todos os pares de condições consecutivas. A escolha das sequências depende da fonte de ordem que queremos controlar (Reese, 1997).

Troca de listas. Na tarefa das palavras, duas listas trocam as versões dos itens entre condições. Esta combinação equilibra item e condição entre listas, sem obrigar cada pessoa a ver ambas as versões da palavra. Não substitui o planeamento da ordem dos ensaios, que responde a outra fonte de variação.

Glossário de Sinónimos e Falsos Amigos

Os termos variam entre disciplinas. A tabela aproxima vocabulários, mas alguns nomes referem-se a estruturas mais específicas: um delineamento longitudinal, por exemplo, não é necessariamente cruzado.

Conceito	Psicologia / Ciências Sociais	Biologia / Ecologia / Agronomia	Medicina / Epidemiologia
Mesma unidade medida várias vezes	Intra-participantes / Intra-sujeitos / Within-subjects	Intra-unidades / Medidas repetidas	Delineamento longitudinal / Cruzado (crossover)
Unidades diferentes por condição	Inter-participantes / Inter-sujeitos / Between-subjects	Inter-unidades / Parcelas independentes	Grupos paralelos (parallel group trial)
Agrupamento de unidades semelhantes	Emparelhamento (matching)	Blocos casualizados (randomized blocks)	Estratificação / Emparelhamento
Estrutura hierárquica	Delineamento multinível / Aninhado	Parcelas subdivididas (split-plot) / Amostragem aninhada	Delineamento por agregados (cluster design)
Intervenção manipulada	Variável independente (VI)	Tratamento / Factor experimental	Exposição / Intervenção
Desfecho medido	Variável dependente (VD)	Resposta / Característica fenotípica	Outcome / Desfecho clínico

NotaAté Aqui: O Plano da Comparação

Temos uma pergunta, critérios para escolher casos e uma estrutura de unidades e condições. Acrescentámos as combinações entre factores, os níveis de alocação e a ordem de apresentação. Cada decisão ajuda a separar explicações e a localizar fontes de variação.

3 Medição e Evidência

Ao escolher uma comparação, já tivemos de falar de medições. Agora vamos examinar o que essas observações significam e que evidência precisamos de ter para confiar nelas. Esta parte interessa tanto a estudos experimentais como a estudos observacionais, descritivos ou exploratórios.

O que sabemos já sobre medição? Quem estudou estatística ou métodos de investigação provavelmente encontrou variáveis nominais, ordinais e quantitativas, e talvez tenha aprendido a distinguir tipos de validade. Esse vocabulário é um ponto de partida útil. Ao preparar uma tese ou um artigo, conseguimos usá-lo para justificar a medida escolhida e a interpretação que queremos dar aos resultados?

O percurso completo começa pelas escalas de Stevens e pelo debate sobre a sua tipologia. Se procuram decisões para uma medida concreta, podem passar directamente a Fiabilidade, Validade e Triangulação, seguindo depois para Quando a Régua Muda. Os detalhes históricos sobre escalas e respostas tipo Likert ficam disponíveis para consulta.

Medir Também É Delinear

Uma variável não aparece pronta no mundo com o nome da coluna que vai ter no ficheiro. Temos de decidir o que conta como uma observação e que comparação essa observação permite.

Se chamamos «crescimento» à diferença de massa entre dois momentos, precisamos de confiar na balança, nos momentos escolhidos e na ideia de que essa diferença representa o processo que nos interessa. Se chamamos «ansiedade» a uma pontuação, há outra cadeia de decisões. E se contamos indivíduos, registamos uma proporção ou medimos um tempo, mudam também os modelos que fazem sentido.

A temperatura parece um caso mais simples: basta usar um termómetro. Mas o instrumento responde a uma propriedade física que tem de ser relacionada com a temperatura, e a leitura só ganha sentido por meio de calibração e de uma escala de referência. Os primeiros termoscópios permitiam comparar mudanças, mas não usavam uma escala comum; os modelos abertos também eram afectados pela pressão do ar. As primeiras escalas universais surgiram no início do século XVIII. A escala termodinâmica absoluta de Kelvin data de 1848; o kelvin tornou-se a unidade SI de temperatura em 1954 e a revisão do SI aprovada em 2018 fixou o valor da constante de Boltzmann, ligando a unidade de temperatura termodinâmica à energia. Isto não produz um termómetro universal: na prática, a termometria continua a recorrer a escalas de referência como a ITS-90 e a instrumentos diferentes consoante a gama de temperaturas (NIST, 2022a, 2022b, 2026).

Entre o termoscópio de cerca de 1593 e a redefinição do SI aprovada em 2018 passaram aproximadamente 425 anos. Esta longa história ajuda a contrariar a ilusão de profundidade explicativa: saber usar um termómetro não significa saber explicar como a leitura se liga a uma grandeza física e a uma escala calibrada (Rozenblit & Keil, 2002).

Isto também ajuda a evitar que a dificuldade da medição pareça exclusiva da psicologia. Muitos constructos psicológicos têm histórias de operacionalização mais recentes, mas a medição em qualquer área depende de uma cadeia de decisões e de evidência. As pessoas também variam — e essa variação pode ser parte do fenómeno, não apenas ruído. Para comparar a variabilidade entre organismos, precisamos de dizer que característica se compara, em que população e se usamos uma escala absoluta ou relativa.

As Quatro Escalas

A classificação habitual distingue quatro famílias:

• Nominal: categorias sem ordem, como espécie ou grupo de tratamento.
• Ordinal: categorias ordenadas, como uma classificação de severidade.
• Intervalo: diferenças interpretáveis com um zero convencional, como temperatura Celsius.
• Razão: diferenças e razões interpretáveis, como duração ou massa.

Se aprenderam a divisão em variáveis nominais, ordinais e quantitativas, «quantitativa» não é uma quinta escala de Stevens. Nessa divisão introdutória, as escalas de intervalo e de razão costumam ficar agrupadas como quantitativas. Mais adiante, Michell fará uma pergunta diferente: que evidência temos de que o próprio atributo tem estrutura quantitativa?

É uma orientação, não uma máquina que escolhe automaticamente o teste estatístico. A validade da medida, a sensibilidade, a distribuição produzida pelo procedimento e a pergunta científica continuam a importar. Para perceber porquê, vale a pena voltar à proposta de que esta classificação vem: o artigo de Stevens (1946).

Teoria da Medida

A tipologia dá-nos um vocabulário para falar dos números. A sua história ajuda a perceber os limites desse vocabulário: classificar uma escala, escolher uma análise e justificar uma interpretação são tarefas relacionadas, mas distintas.

O Que Stevens Propôs

Stevens (1946) entrou num debate da British Association sobre aquilo que se entende por medir e definiu medir como atribuir numerais a objectos ou acontecimentos segundo regras. Depois classificou as escalas (nominal, ordinal, de intervalo e de razão) pelas transformações que deixam o sentido da informação intacto, e daí tirou a regra famosa: as operações estatísticas legítimas dependem do tipo de escala.

O próprio artigo inclui ressalvas importantes. Stevens reconhece que a maior parte das escalas usadas com êxito pelos psicólogos é ordinal, que a média desses dados não se justifica em rigor, mas que a prática dá resultados úteis, e que proibir esse procedimento provavelmente não serviria nenhum bom propósito. Também nota que o coeficiente de ordens de Spearman pressupõe intervalos iguais entre postos e, por isso, exige uma escala de intervalo. Esta é a posição que Stevens enuncia, não uma recomendação nossa sobre Spearman.

Walker (2025) contrasta o original com muito do que lhe tinha sido ensinado ou que tinha lido. Uma receita como «dados ordinais → Spearman» perde precisamente aquela ressalva: o próprio Stevens exigia intervalos para essa correlação. Neste caso, a receita contradiz a proposta que a originou. Quando reduzimos a proposta a uma tabela de testes permitidos, perdemos as suas concessões à prática e a discussão do que cada cálculo pressupõe.

Onde a Regra Falha

Lord (1953), num texto curto que Gaito (1980) e Walker (2025) citam, imagina uns números de camisola de futebol que um estatístico trata como quantidades. Calcula médias, e a tentativa do professor de refutar a conclusão falha. O argumento não é que os números sejam quantidades; é que a análise depende da pergunta feita aos números, e não do nome da escala.

Gaito (1980) localiza o erro numa confusão entre teoria da medida e teoria estatística. A exigência de escalas de intervalo para os testes paramétricos, diz, não tem fundamento na estatística matemática, que pede que as suposições do procedimento sejam cumpridas ou aproximadas. O ponto que interessa aqui é essa distinção: justificar o sentido da medida e verificar as suposições de uma análise não são a mesma tarefa.

Velleman e Wilkinson (1993) acrescentam que a escala não é uma propriedade fixa dos dados. O número de cilindros de um motor pode ser tratado como nominal, como ordinal ou como de intervalo, consoante a pergunta. A tipologia, concluem, não descreve bem os dados de análise moderna. Notam também que vários autores de teoria da medida chegaram à conclusão contrária à dos estatísticos: a escolha dos métodos deveria ser limitada pelo tipo de escala. Estamos perante um debate, não perante uma regra consensual que uma crítica veio simplesmente substituir.

NotaOs Limites da Tipologia

Gaito (1980) afirma não conhecer nenhum estatístico matemático que tenha aceite a regra de Stevens. O tom é polémico, e essa afirmação deve ser lida como a posição do autor. Velleman e Wilkinson (1993) notam que o debate foi por vezes pouco cordial e dão outro exemplo do que escapa à classificação: uma média aparada fica algures entre as categorias ordinal e de intervalo. A sua crítica não se limita, portanto, a trocar o rótulo de uma variável; questiona também se as quatro categorias descrevem as operações que fazemos na análise.

Medir Um Atributo Quantitativo?

Michell (1997) desloca a questão da estatística para a definição de medida. Para ele, estabelecer uma ciência quantitativa exige duas tarefas: uma científica, investigar se o atributo é de facto quantitativo, e outra instrumental, construir procedimentos que estimem as magnitudes. A definição de Stevens permite saltar a primeira, porque basta atribuir numerais segundo uma regra. Num levantamento de 44 manuais de psicologia de uma biblioteca universitária europeia, Michell encontrou uma definição desta forma em 39 deles.

A posição de Michell é controversa e mais exigente do que a da maioria dos estatísticos. Obriga-nos a fazer uma pergunta antes de confiar numa diferença entre pontuações: há razões para pensar que o atributo tem estrutura quantitativa? Se não há, escolher outra estatística não resolve o problema.

NotaOpcional: Quantificação e Falsificabilidade

Aqui a filosofia da ciência ajuda a ver o que está em jogo. A hipótese de que um atributo é quantitativo é testável, e uma hipótese testável pode ser refutada, como nos critérios de falsificabilidade de Popper. Se tratarmos a mera existência de numerais como garantia de que o atributo é quantitativo, deixamos de testar essa hipótese. O teste deixa de poder falhar, e um teste que não pode falhar não é severo.

Das Escalas à Medição

Estas críticas não tornam a classificação inútil. Dizem-nos o que ainda falta justificar depois de atribuir um rótulo à escala. A literatura mais recente permite separar duas perguntas. As simulações estudam o comportamento dos testes em condições definidas (DeWees et al., 2020); voltaremos a elas em Respostas Tipo Likert. Já a avaliação da validade exige evidência sobre o que os instrumentos medem (Hussey & Hughes, 2020). Um procedimento estatístico pode funcionar nas condições simuladas sem que isso, por si só, valide a interpretação de uma pontuação concreta.

Voltemos à ansiedade. Uma pontuação resulta de um procedimento inteiro: um constructo, um instrumento, condições de administração, uma regra de codificação e um participante que lê e interpreta os itens. Saber que as respostas são ordenadas não nos diz quanto erro há, se representam ansiedade ou se têm o mesmo significado nos dois momentos. A classificação das escalas leva-nos, assim, à medição em geral.

Começaremos por fiabilidade, que pergunta quanto erro há nas pontuações, e validade, que pergunta o que podemos afirmar a partir delas. Depois, Triangulação mostra como combinar fontes com erros diferentes. Podem fazer uma pausa depois destas bases e regressar aos desenvolvimentos sobre interpretação, mudança de critério, contexto e invariância quando forem escolher ou adaptar uma medida.

NotaAté Aqui: Dar Sentido aos Números

Ao plano da comparação juntámos uma nova exigência: justificar como a observação se liga à característica estudada. As escalas descrevem relações entre os valores; a medição exige também conhecer o instrumento, a codificação e as condições em que as respostas foram obtidas.

Da Medida à Interpretação

Lembremo-nos da balança do capítulo de filosofia da ciência: a teoria prevê 500 g e a balança mostra 460 g. A falha pode estar na teoria, na calibração ou na preparação do objecto. Duhem não nos dá uma regra lógica para escolher.

Na medição psicológica, há outras partes do procedimento a considerar. Se uma pontuação de ansiedade desce entre dois momentos, pode ter mudado o constructo, o instrumento, a administração ou a forma como o participante lê os itens. A observação, sozinha, não separa estas causas.

Qualquer pontuação combina, portanto, variação real do constructo com erro de medida. Não é possível eliminar o erro, mas é possível estimar quanto da variação vem de cada fonte. Uma fonte de erro que foi medida deixa de ser ruído e passa a ser informação sobre o instrumento. Podemos então perguntar: «que parte deste procedimento teria falhado se a afirmação fosse falsa?».

Fiabilidade

Quanto das diferenças observadas corresponde a diferenças reais e quanto vem do erro de medida?

Uma pontuação observada soma duas partes: a pontuação verdadeira, que seria a média de muitas medições nas mesmas condições, e o erro de medida, que é a diferença entre a pontuação observada e essa média. A fiabilidade é a proporção da variância observada que corresponde a variância verdadeira. Quando é alta, as diferenças entre pessoas reflectem sobretudo diferenças verdadeiras na pontuação definida pelo procedimento. Essas diferenças podem incluir características estáveis alheias ao constructo pretendido: uma balança consistentemente descalibrada pode ser fiável sem medir correctamente a massa. A interpretação exige evidência de validade.

Sijtsma (2009) define-a também como a correlação entre duas versões paralelas do teste:

\[ \rho = \frac{\sigma^2_T}{\sigma^2_X} = 1 - \frac{\sigma^2_E}{\sigma^2_X}. \]

Aqui, \(\sigma^2_T\) é a variância verdadeira, \(\sigma^2_X\) a variância observada e \(\sigma^2_E\) a variância do erro. A fórmula diz a mesma coisa: quanto maior for a parte de erro, menor será a fiabilidade.

Na prática, quase nunca há duas versões paralelas. A forma mais usada de estimar a fiabilidade a partir de uma só aplicação é o alfa de Cronbach, e é também a mais mal usada. Numa amostra de artigos do Journal of Personality and Social Psychology, o alfa era muitas vezes a única evidência psicométrica reportada (Flake et al., 2017).

Um alfa alto não prova que os itens medem o mesmo. O alfa não informa sobre a estrutura interna do teste (Sijtsma, 2009). A regra prática é reportar o que se estimou e porquê, sem tratar o alfa como um selo de qualidade.

NotaEstimar a Fiabilidade

O alfa pode ser calculado mesmo quando não estima adequadamente a fiabilidade. Em muitos casos funciona como limite inferior, por vezes com uma subestimação importante (Sijtsma, 2009). Quando as pressuposições habituais não se verificam, há alternativas como o ómega total, o glb e o coeficiente H (McNeish, 2018). Estimativas baseadas em modelos, como ωh e ωt, permitem distinguir componentes da fiabilidade (Revelle & Condon, 2019). A unidimensionalidade merece uma avaliação própria; não se deduz da consistência interna (Clark & Watson, 2019).

A fiabilidade teste-reteste pergunta outra coisa: se as pontuações se mantêm ao longo do tempo, isto é, se mostram estabilidade (Hussey & Hughes, 2020). O intervalo entre medições influencia o que essa correlação nos diz. Retestes imediatos e atrasados ajudam a separar a variância específica, a de estado e a de traço (Revelle & Condon, 2019). Esperamos que um estado, como a ansiedade num dia de exame, possa mudar, enquanto um traço deverá ser mais estável. Uma correlação teste-reteste baixa pode, portanto, indicar um instrumento pouco fiável ou uma mudança real de estado. A estabilidade é uma previsão, e o seu fracasso precisa de ser interpretado antes de ser atribuído ao instrumento.

Retenham esta distinção: a fiabilidade descreve as pontuações de uma população, num momento e num intervalo específicos, e não uma propriedade permanente do instrumento. Uma só aplicação permite delimitar a fiabilidade por um intervalo, sem fixar um valor definitivo (Sijtsma, 2009). Reportar esse intervalo comunica o que conseguimos saber.

Validade

Que afirmação queremos sustentar com estas pontuações?

Validade não é uma propriedade de um instrumento. É uma propriedade de uma interpretação das pontuações. Uma proposta organiza a validação em três fases: a substantiva, que define o constructo e o conteúdo dos itens; a estrutural, que estuda consistência, estabilidade e invariância; e a externa, que verifica convergência, discriminação e critérios (Hussey & Hughes, 2020). Os tipos de validade que se seguem ocupam partes diferentes destas fases.

A validade de conteúdo (content validity) pergunta se os itens cobrem o constructo de forma relevante e representativa. Esta tarefa pertence à fase substantiva da validação (Hussey & Hughes, 2020). Uma escala de satisfação que só pergunta pelo preço deixa de fora outras razões para estar satisfeito ou insatisfeito. Antes de calcular a pontuação total, precisamos de perguntar o que ficou por medir.

A validade facial (face validity) é a impressão de que um instrumento parece medir o que diz. É útil para a participação e para a comunicação com quem responde, mas não é evidência de validade.

A avaliação exclusiva da consistência interna pode dar uma impressão enganadora: 88% das escalas analisadas pareciam satisfatórias segundo esse critério, mas apenas 4% demonstraram evidência suficiente quando se examinaram também a estabilidade, a estrutura factorial e a invariância entre grupos (Hussey & Hughes, 2020). A aparência da escala não substitui estas verificações.

A validade de critério (criterion validity) pergunta se as pontuações antecipam ou acompanham um resultado externo conhecido. Podemos estudar critérios externos mediante resultados conhecidos ou comparações entre grupos conhecidos (Hussey & Hughes, 2020). O estudo de Webb (2011) é um exemplo: a tarefa de conselhos previu comportamento discriminatório medido por outro método, e isso sustenta a sua validade de critério. O critério, porém, também tem erro. Um e-mail que não é devolvido é uma medida de comportamento, não a verdade sobre o preconceito. A validade de critério só vale tanto quanto o critério que usa.

A validade externa (external validity) pergunta se um resultado se mantém noutras pessoas, contextos e momentos. Antes de a avaliar, precisamos de dizer que generalização pretendemos.

Mook (1983) defendeu que muitas críticas aos estudos de laboratório supõem uma generalização que o investigador nunca pretendeu: uma experiência pode mostrar o que pode acontecer, mesmo que raramente aconteça. As recomendações sobre diversidade amostral nem sempre correspondem ao objectivo de investigações que não pretendem generalizar entre pessoas (Sherman, 2025). É preciso explicitar a generalização pretendida, porque ela orienta a interpretação e a aplicação dos resultados (Kroupin et al., 2025). Precisamos, portanto, de testar o alcance que atribuímos ao resultado, em vez de o presumir.

Estas perguntas complementam-se. Uma escala pode cobrir bem o conteúdo pretendido e, ainda assim, falhar na previsão de um critério ou ter outro significado noutro grupo. Quando a validação falha, precisamos de localizar o problema no conteúdo, no instrumento, no critério ou na generalização. A triangulação ajuda-nos a investigar essas possibilidades com mais de uma fonte de evidência.

NotaAté Aqui: Fiabilidade e Validade

A comparação depende de medidas interpretáveis. A fiabilidade descreve a proporção da variância das pontuações atribuída à variância verdadeira nas condições consideradas; a validade pede evidência para a interpretação que queremos fazer dessas pontuações.

Antes de seguir, vale a pena fazer uma pausa: uma escala pode dar respostas consistentes sem medir aquilo que nos interessa. Tentem explicar essa diferença com a escala de satisfação que só pergunta pelo preço. Levem esta distinção convosco para a triangulação.

Respostas Tipo Likert

Antes de perguntar se podemos calcular médias e usar testes t, precisamos de saber o que estamos a resumir. Na terminologia técnica posterior, convém distinguir três coisas: o formato de resposta, ou conjunto de categorias ordenadas; o item tipo Likert, que junta uma pergunta ou afirmação a essas categorias; e a escala de Likert, que combina vários itens numa pontuação por pessoa. Clason e Dormody (1994) explicitam a distinção entre item e escala somada: «To distinguish individual items from the summated Likert scale, we will refer to the individual items as Likert-type items» (p. 31). Ter cinco opções numa pergunta não basta para construir essa escala.

A proposta original era mais rica do que escolher um número de opções. Em A Technique for the Measurement of Attitudes, publicado em Junho de 1932, Likert procurava uma forma mais simples de construir medidas de atitudes do que os procedimentos de Thurstone com grupos de juízes. O estudo usou perguntas com três e cinco respostas, incluindo sim/indecisão/não, alternativas substantivas ordenadas e graus de aprovação. Não se limitava a concordar ou discordar de afirmações (Likert, 1932, pp. 14–15, 26–27). Os rótulos actuais ajudam-nos a identificar o que analisamos, mas não são uma taxonomia rígida prescrita pelo original.

A questão era também teórica: o que justifica tratar respostas a questões diferentes como manifestações da mesma atitude? Likert queria testar se essas respostas formavam os agrupamentos que os investigadores supunham (pp. 7–10). A escolha dos itens, a pontuação e a interpretação tinham, por isso, de ser confrontadas com as respostas do grupo, não apenas com a lógica de quem construía a escala: «After all, we are interested in measuring the attitudes of the members of the group, not those of the experimenter» (p. 49). Teoria, construção do instrumento e estatística eram partes do mesmo problema.

O apêndice de construção da escala mostra o percurso que importa reter (Likert, 1932, pp. 44–52):

1. Construir conteúdo relevante. Reunir mais afirmações do que as que vão ficar, sobre atitudes e comportamentos desejados, em linguagem clara e sem juntar duas questões na mesma afirmação.
2. Experimentar no grupo pretendido. Aplicar os itens a esse grupo ou a uma amostra dele, antes de decidir quais entram na versão final.
3. Alinhar as pontuações. Valores altos devem indicar o mesmo pólo da atitude em todos os itens. Aprovação pode receber um valor alto num item e baixo noutro, consoante o conteúdo.
4. Examinar e seleccionar os itens. Verificar a direcção da codificação e se cada item distingue as pessoas de forma coerente com o conjunto. Um tema comum não garante que todos os itens devam ser somados.
5. Combinar e avaliar. Formar uma pontuação por pessoa com os itens seleccionados e estudar a fiabilidade, por divisão em metades e também por teste-reteste, sem confundir fiabilidade com validade (pp. 28–33).

Há aqui uma ligação directa à validade de conteúdo: Likert avisou que eliminar itens sobre uma faceta restringe aquilo que a escala final pode medir (p. 51). Também recomendou reavaliar o conjunto em cada grupo, porque os itens podiam deixar de formar a mesma unidade noutra população (pp. 51–52). Esta preocupação aproxima-nos da questão de invariância que veremos adiante, mas não é ainda a metodologia moderna para a testar. Quanto à validade, o próprio autor delimitava a evidência ao comportamento verbal e deixava para investigação futura a relação com outras formas de comportamento (p. 32).

Para passar estas decisões de pontuação ao R, vejam como preservar o original e documentar a escala ao recodificar respostas. O código regista a regra; a justificação para combinar os itens continua a fazer parte da medição.

NotaPontuar e Seleccionar

Para tornar comparáveis respostas em formatos diferentes, Likert examinou as suas distribuições, incluindo assimetrias e alguma bimodalidade. Começou por uma pontuação sigma: convertia as frequências de escolha das categorias em valores associados a intervalos de uma distribuição normal assumida provisoriamente para as atitudes. A hipótese era parte da investigação, não um facto estabelecido: «Perhaps this assumption is not correct; its correctness or incorrectness can best be determined by further experiment» (p. 22). Não era simplesmente transformar os códigos 1–5 em valores z. Comparou depois esta pontuação com pontuações inteiras mais simples e obteve totais quase perfeitamente correlacionados, com fiabilidade semelhante, nas amostras estudadas. Também comparou maneiras de integrar respostas de três e cinco opções: a simplificação foi testada, não apenas prescrita. A afirmação de unidades iguais que faz para o método sigma depende desse modelo; não estabelece intervalos psicológicos iguais para quaisquer códigos de resposta (Likert, 1932, pp. 21–27).

Para seleccionar itens, oferecia uma correlação item–bateria ou uma comparação das respostas de grupos com totais altos e baixos. Chamava a esta última um critério de consistência interna, não o alfa de Cronbach. O seguimento de Likert et al. (1934, p. 231) usou aproximadamente 25% em cada extremo, em vez dos cerca de 10% descritos em 1932 (pp. 50–51). São alternativas históricas, não regras universais de corte, nem prescrições de correlação item–resto corrigida ou de análise factorial moderna.¹

Na pontuação simples, Likert usou a soma em vez da média porque todos respondiam ao mesmo número de itens (1932, p. 26). Nesse caso, as duas diferem apenas por um factor constante. Isto não fornece uma regra para respostas em falta.

¹ O seguimento de 1934 foi consultado numa transcrição do texto primário com marcas de página; as tabelas e figuras não ficaram acessíveis nessa consulta.

Voltemos então à análise. A média entre pessoas num único item resume os códigos das suas respostas. A média entre itens de uma pessoa pode formar uma pontuação composta, se houver justificação para combinar esses itens. Depois podemos comparar essas pontuações entre pessoas ou grupos. São operações e alvos diferentes: somar cria mais valores possíveis, mas não certifica um único constructo, intervalos iguais ou validade. O teorema do limite central também não transforma códigos ordinais em intervalos psicológicos iguais nem garante que uma soma de itens dependentes tenha distribuição normal.

A nossa posição prática continua a ser considerar médias e métodos paramétricos quando a pergunta e as condições do procedimento os justificam. Neste site, partimos das recomendações seguintes, sem as tratar como acordos universais. A evidência de robustez tem de corresponder ao alvo analisado; não se transfere automaticamente de um item para qualquer composto.

Para médias e testes t com respostas tipo Likert, há resultados favoráveis ao uso paramétrico em simulações de populações contínuas agrupadas em categorias, com amostras entre 5 e 150 observações (DeWees et al., 2020). A distribuição amostral da média aproximou-se rapidamente da normal, os testes t mantiveram cobertura e erro de tipo I aceitáveis e tiveram mais poder do que os não paramétricos. Os autores concluem que os testes t podem ser usados com poucas restrições. O segundo estudo do artigo trata os efeitos de chão e de tecto, e as conclusões não se estendem a casos fora das condições simuladas.

A pressuposição de intervalos iguais, porém, é a que merece verificação. Embora as respostas tipo Likert sejam ordinais «em sentido estrito», há evidência de robustez de procedimentos paramétricos em condições relevantes (Norman, 2010). Isso não garante distâncias psicológicas iguais entre categorias. O número de opções pode alterar essas distâncias, sobretudo em escalas de 7 pontos; neste caso, só um algoritmo baseado em teoria de resposta ao item revelou a alteração (Wakita et al., 2012). As estatísticas descritivas e a fiabilidade não o mostraram. A robustez dos métodos não dispensa, assim, conhecer o instrumento: uma escala com categorias mal percebidas pode produzir médias estáveis que medem outra coisa.

Voltemos à pergunta que orienta a escolha da medida: o que queremos afirmar com estas pontuações? Para Velleman e Wilkinson, também é por aí que começa a escolha da análise. Os modelos ordinais latentes e a teoria de resposta ao item, que são a alternativa psicométrica moderna para dados ordinais, ficam fora deste capítulo, e convém estudá-los antes de os usar num artigo.

Erro Como Informação

Mayo (1996) defende que a aprendizagem experimental pode ser vista como aprendizagem sobre a presença ou ausência de erros; o teste severo desenvolve essa ideia em detalhe. Aprendemos ao submeter uma hipótese a provas com capacidade de revelar os seus erros. Uma afirmação passa um teste severo quando o procedimento tinha uma boa oportunidade de revelar um erro relevante e não o revelou. Mayo e Spanos (2006) formalizam esta condição: se a hipótese fosse falsa, o teste teria produzido, com muito alta probabilidade, um resultado menos favorável a ela do que o observado.

Esta ideia tem uma consequência concreta para a medição. Suponhamos que um questionário de satisfação já está no tecto da escala em quase todos os participantes antes de uma intervenção e continua no tecto depois. Dizer que a intervenção não teve efeito nesse grupo passa por um teste pouco severo, porque o instrumento não conseguia mostrar uma melhoria acima do tecto. Comparemos duas situações: não observar melhoria com um instrumento sensível a melhorias relevantes e não observar melhoria com um instrumento em que quase todos já atingiram o tecto. A conclusão verbal pode ser a mesma, «não houve melhoria», mas o instrumento sensível teria podido contrariá-la, enquanto o instrumento com efeito de tecto não. A ausência de melhoria observada tem, por isso, força probatória diferente nos dois casos. Um estudo piloto, uma estimativa de fiabilidade ou uma análise da distribuição das respostas são formas de testar o instrumento antes de confiar nele.

O mesmo raciocínio aplica-se ao significado dos intervalos. Comparar formatos de resposta ou investigar como os participantes percebem a distância entre categorias põe à prova uma interpretação da medida. Não testa, por si só, a robustez estatística: essa pergunta exige avaliar o comportamento de um procedimento, por exemplo a cobertura e as taxas de erro em simulações com condições especificadas. Podemos ter inferência robusta para uma média de códigos sem que essa média represente a magnitude da atitude pretendida. Aprender com o erro é planear verificações que teriam revelado a falha relevante, se ela existisse. Na triangulação, procuramos essas verificações em fontes de evidência diferentes.

Perspectivas de Validade

Já vimos o que a validade nos obriga a perguntar. A nota seguinte aprofunda duas formas de justificar a interpretação das pontuações. Podem passar directamente à triangulação e voltar a este debate quando precisarem de construir um argumento de validação.

NotaOpcional: Argumento e Causalidade

Validade: Argumento ou Relação Causal?

Cronbach e Meehl (1955) associaram a validade de constructo a uma rede nomológica de relações teóricas. Um constructo, como ansiedade ou satisfação com a vida, ganha significado através dessas relações, e uma medida é válida quando o padrão observado corresponde ao que a teoria prevê. Na prática, estas redes completas são raras e a distinção entre atributos e constructos importa para a validação (Colliver et al., 2012). A validação é, por isso, um processo de acumulação de evidência, não um teste que se passa uma vez.

Messick (1995) falou de um juízo avaliativo integrado sobre a validade. Kane (2013) torna essa ideia operacional: validar uma interpretação ou um uso das pontuações é avaliar a plausibilidade das afirmações que delas decorrem, organizadas como um argumento. Esse juízo pode ser decomposto em componentes (Russell, 2021), e há também tentativas de desenvolver uma linguagem comum, mais acessível, para o processo de validação (Folger et al., 2023). A consequência prática é clara: enuncie a interpretação que quer dar às pontuações e teste cada afirmação que dela decorre.

Borsboom et al. (2004) propõem uma versão mais estreita. Um teste é válido para medir um atributo quando o atributo existe e as suas variações produzem causalmente variações nas pontuações. A validação deve então estudar o processo que transmite o efeito do atributo às respostas, e não apenas as correlações com outros atributos. Se alguém preencher um questionário ao acaso só para sair da aula, as respostas não resultam do atributo que queremos medir. Encontrar depois uma correlação com outra variável não corrige essa falha. Markus e Borsboom (2013), citados na recensão de Gotch (2014), alargam esta discussão à relação entre medida, causalidade e significado, e Gotch (2014) resume a questão central: até que ponto as pontuações podem ser interpretadas como medidas verdadeiras, e até que ponto essa interpretação é necessária para o uso pretendido.

Neste site, as duas perspectivas trabalham em conjunto. Com Kane, explicitamos e avaliamos as afirmações que queremos fazer. A perspectiva causal obriga-nos a examinar o processo que liga o atributo às pontuações. Quando a validação falha, a pergunta de Duhem volta: a falha está no constructo, no instrumento ou na ligação causal entre eles? Uma só medida não responde a essa pergunta. Para isso serve a triangulação.

Triangulação

Triangular é investigar uma mesma afirmação com fontes que tenham fragilidades diferentes. A convergência pode reforçar a conclusão quando os métodos enfrentam erros distintos; para avaliar essa força, precisamos de identificar também os pressupostos e enviesamentos que partilham. Uma discordância ajuda a investigar o instrumento, o contexto ou a explicação. A tradição da validade convergente e discriminante, associada a Campbell e Fiske (1959), defende exactamente esta lógica: o mesmo constructo deve convergir quando medido por métodos diferentes, e constructos diferentes devem separar-se mesmo quando medidos pelo mesmo método.

Webb (2011) propôs uma tarefa de aconselhamento sem autorrelato: os participantes escolhem entre caixas seguindo conselhos de pessoas identificadas por nome ou rosto. No Estudo 3, a proporção de conselhos seguidos de cada grupo correlacionou-se com o IAT e previu comportamento discriminatório, medido pela técnica do e-mail perdido, melhor do que outras medidas. No Estudo 4, a tarefa não foi contaminada por desejabilidade social nem por reactância.

Campbell e Brauer (2020) combinam inquéritos a estudantes de grupos marginalizados com experiências de campo em que confederados mudavam de grupo social e se observava o comportamento de espectadores ingénuos. Os autores testam assim duas explicações concorrentes, a da discriminação dispersa e a da discriminação concentrada, com fontes de erro que não coincidem.

A tabela resume o que cada fonte acrescenta e o que a compromete:

Fonte de evidência	Contributo para a severidade	Compromisso
Autorrelato validado (PANAS; Watson et al., 1988)	Consistência interna, estabilidade ao longo de dois meses e evidência de validade convergente e discriminante	As respostas dependem do que o participante entende e admite
Tarefa comportamental (Webb, 2011)	Previsão de comportamento discriminatório medido por outro método; resistência à desejabilidade social	Mede confiança diferencial em conselheiros; ler isso como preconceito exige pressupostos
Experiência de campo (Campbell & Brauer, 2020)	Observa o comportamento de espectadores em situações reais	Limitada a um campus; a codificação do comportamento exige decisões

Estes estudos ilustram métodos diferentes, mas não constituem um único estudo de triangulação: a PANAS mede afecto, enquanto os outros exemplos investigam discriminação. Para triangular uma afirmação concreta sobre preconceito, poderíamos comparar autorrelato, aconselhamento e observação comportamental na mesma população e explicitar o que cada medida permite inferir. A concordância seria mais informativa se os erros relevantes fossem distintos; contexto e expectativas podem afectar mais do que uma fonte.

NotaAté Aqui: Cruzar Evidência

Partimos da justificação das pontuações e aplicámo-la aos itens e escalas que usamos. Passámos depois a combinar métodos com erros diferentes. Convergências e desacordos entre medidas ajudam a investigar o instrumento, os seus pressupostos e a explicação do fenómeno.

Relatado, Revelado e Observado

Uma crítica frequente, sobretudo vinda da economia, sustenta que a psicologia pergunta às pessoas o que pensam e confunde essas respostas com o que fazem. Há razões para criticar a dependência excessiva de questionários. Isso, porém, não descreve toda a investigação em psicologia. Baumeister et al. (2007), dentro da própria psicologia, queixam-se de que a observação directa do comportamento tem sido cada vez mais substituída por autorrelatos, cenários hipotéticos e avaliações em questionário, e defendem que a observação directa seja incluída sempre que possível. Isto é uma crítica interna, e é um argumento para ver mais comportamento, não para deixar de medir.

Também existe uma tradição de observação directa do comportamento. Crosby et al. (1980) reviram estudos não intrusivos sobre discriminação racial, em que se observou ajuda, agressão e comunicação não verbal. Concluíram que os sentimentos anti-negros eram muito mais prevalentes do que os dados de inquérito faziam esperar. Nesses estudos, a discrepância aparece porque se observou o que as pessoas fazem. Quando os dois conflituam, o comportamento não é automaticamente a verdade, mas é uma fonte de erro diferente que obriga a rever a afirmação.

A crítica também trata todo o autorrelato como se fosse o mesmo. Não é. Uma escala validada como a PANAS tem consistência interna, estabilidade ao longo de dois meses e evidência de validade convergente e discriminante. Um item solto, escrito para um estudo específico, não tem automaticamente essa evidência. Agrupá-los sob o rótulo «autorrelato» esconde essa diferença. Precisamos de saber que medida foi usada e que evidência sustenta a sua interpretação.

A observação do comportamento exige igualmente interpretação. Uma escolha revela uma preferência apenas com pressupostos auxiliares sobre informação, restrições e contexto. A tarefa de Webb assume que confiar mais num grupo é um indicador de preconceito; essa ligação é uma hipótese, com o seu próprio erro. Quando o que se diz diverge do que se faz, precisamos de examinar as duas medidas e os seus pressupostos. Que afirmação consegue cada uma sustentar?

A crítica ao excesso de questionários é útil quando nos leva a observar mais comportamento e a comparar medidas. Para isso, precisamos de fontes com erros diferentes e de investigar os pontos em que discordam.

Práticas Questionáveis

Flake e Fried (2020) chamam questionable measurement practices às decisões que levantam dúvidas sobre a validade das medidas e, por arrastamento, sobre as conclusões. Três exemplos típicos mostram o problema: alterar uma escala sem registar a alteração, adaptar um item sem relatar como foi traduzido e escolher a versão do instrumento depois de ver os resultados. Em cada caso, a afirmação fica mais fácil de passar, mesmo que seja falsa. É isso que lhe retira severidade: o teste deixou de ter uma boa oportunidade de falhar.

A adaptação de uma escala faz parte do estudo e exige justificação e registo. Uma adaptação documentada é uma decisão metodológica; uma adaptação escondida é um problema de validade.

A avaliação e o relato da validade estrutural também envolvem graus de liberdade que podem ser explorados de forma selectiva. Esta prática foi designada v-hacking, por analogia com o p-hacking (Hussey & Hughes, 2020). A correcção é a mesma que se aplica ao resultado estatístico: reportar o conjunto da evidência, incluindo os testes que o instrumento não passou.

Quando a Régua Muda

Ao comparar pontuações ao longo do tempo, precisamos de perguntar se a mesma resposta continua a ter o mesmo significado. O response shift coloca a pergunta de Duhem de forma concreta: a mudança observada está no constructo ou na régua? Vanier et al. (2021) definem o fenómeno como um efeito presente sempre que a mudança observada nas pontuações não é totalmente explicada pela mudança no constructo visado. Distinguem, por isso, a medida (o instrumento e os seus itens) do constructo subjacente, e concluem que são precisos pelo menos dois momentos para investigar o fenómeno.

Uma revisão sistemática de medidas de resultados reportados pelos doentes (PROMs) mostra o alcance do problema (Sawatzky et al., 2024). Dos 150 estudos incluídos, 130 detectaram response shift, mas apenas 793 dos 4868 efeitos investigados (16.3%) o revelaram. A frequência do fenómeno depende, portanto, da forma como é detectado e de quantos efeitos se analisam. Um estudo que não detecta mudança de resposta não prova que a régua se manteve.

Em sobreviventes de cancro infantil com progressão de condições crónicas, foram estudadas a recalibração, a repriorização e a reconceptualização. Estes efeitos de response shift importam na interpretação de mudanças da qualidade de vida ao longo do tempo (Huang et al., 2023). Interpretar uma melhoria ou uma degradação sem considerar esse fenómeno é tomar a régua por fixa.

Pré-Teste Retrospectivo e Response Shift

Imaginem um programa de formação para voluntários que vão contar peixes de recife. Neste exemplo inventado, avaliam de 1 a 5 a confiança na identificação de espécies antes e depois de dez sessões. A média desce. A formação falhou? Não necessariamente: os voluntários podem ter aprendido que identificar espécies é mais difícil do que julgavam. A competência pode ter aumentado enquanto o critério para se dizerem confiantes se alterou. Esta recalibração é uma forma de response shift (Howard, 1980; Sprangers & Schwartz, 1999). Uma medida independente de identificação ajudaria a investigar a competência; a descida da confiança, sozinha, não demonstra nenhuma destas explicações.

Numa comparação pré-pós, uma mudança de critério pode misturar-se com a mudança no constructo. Howard e Dailey (1979) descreveram esta fonte de contaminação do auto-relato; Howard et al. (1979) discutiram-na mesmo em delineamentos experimentais. A aleatorização, por si só, não garante que a régua se mantém.

A análise detalhada do pré-teste retrospectivo é opcional. Para continuar com as decisões de medição, avancem para Significado e Contexto.

Avaliar o Passado

O pré-teste retrospectivo (retrospective pretest ou then-test) pede, depois da intervenção, uma avaliação de como a pessoa estava antes. A proposta é que essa avaliação e o pós-teste usem a mesma régua, atenuando o enviesamento de mudança de critério (Howard, 1980). Se assim for, e se a recordação for adequada, a diferença pode aproximar-se mais da mudança pretendida. Howard et al. (1979) compararam as avaliações retrospectivas e tradicionais em cinco estudos.

Um estudo de 112 participantes num programa de educação para relações examinou equivalência de medida para além das médias: o pré-teste tradicional não mostrou equivalência com o pós-teste para confiança e conhecimento relacionais, enquanto o retrospectivo mostrou equivalência forte (Crapo et al., 2025). A conclusão respeita à amostra e às medidas estudadas; ilustra a importância de examinar equivalência, não uma garantia para outros estudos.

Limites do Retrospectivo

O retrospectivo tem pressupostos próprios. A memória reconstrói o passado à luz do presente, e a desejabilidade social ou a justificação do esforço podem influenciar a resposta. Estimativas de mudança maiores do que as do pré-pós tradicional não provam maior validade (Nieuwkerk & Sprangers, 2009). Uma diferença entre estimativas é informação a investigar, não uma prova por si só de response shift.

Num estudo com estudantes-professores em formações de gestão de sala de aula, o retrospectivo e uma abordagem de invariância de medida (MIad) produziram resultados diferentes; a MIad identificou mais efeitos de response shift, alguns específicos de cada grupo (Piwowar & Thiel, 2014). O retrospectivo é, portanto, uma alternativa que também precisa de ser avaliada.

DicaNa Prática

• Quando possível, recolham o pré-teste tradicional além do retrospectivo.
• Usem o mesmo item e escala no pré-teste, no pós-teste e na avaliação retrospectiva, formulando esta como «Antes da formação, quão…?».
• Relatem as duas estimativas e investiguem possíveis razões para a diferença, incluindo com outras medidas quando disponíveis.

Os quatro grupos de Solomon ajudam a examinar se o próprio pré-teste altera as respostas ou o efeito da intervenção. O retrospectivo procura lidar com uma pergunta diferente: se o critério de resposta mudou. Nenhum dos dois identifica automaticamente todas as fontes de mudança.

Significado e Contexto

Walker (2025), no discurso presidencial do NCME de 2024, argumenta que a medida depende da cultura (culture-boundedness) e que essa dependência deve ser considerada ao planear testes. Uma escala validada num contexto não tem, por isso, garantido o mesmo significado noutro. A mudança de significado é também uma questão de medida, e tratá-la como detalhe de tradução é deixar de a verificar.

Equidade e Invariância

Meredith (1993) separa vários graus de invariância factorial e defende que, para haver equidade num teste de selecção, é necessária invariância factorial estrita. A ligação com a secção anterior é directa: uma comparação de um constructo entre grupos exige atenção à forma como a escala funciona em cada um. As condições de invariância necessárias dependem da comparação que queremos fazer. A sua avaliação exige modelos técnicos que este capítulo não desenvolve, mas a pergunta deve estar presente desde o delineamento do estudo.

Decisões de Medição

Ao escolher uma medida, podemos traduzir estes debates em quatro decisões:

1. Definam o constructo e o instrumento separadamente: o que queremos medir e como o estamos a medir.
2. Não assumam que a mesma escala significa o mesmo nos dois momentos. Verifiquem essa suposição com evidência, como a discutida no response shift e no significado cultural.
3. Usem pelo menos dois momentos para estudar mudança e, quando a régua pode mover-se, considerem um pré-teste retrospectivo.
4. Escolham o teste pelas suposições do procedimento e pela pergunta, não pelo nome da escala.

Uma pontuação resulta de várias decisões, e cada uma precisa de poder ser posta à prova. Triangular fontes com erros diferentes e medir o erro, sem tomar autorrelato ou comportamento como verdades automáticas, dá-nos uma base para interpretar as respostas. A tipologia de Stevens descreve como os números foram obtidos; o argumento, o delineamento e a severidade do teste delimitam o que podemos afirmar.

NotaAté Aqui: Do Estudo à Análise

O percurso ligou a pergunta, a comparação, os casos e as medidas. Acrescentámos os cuidados com adaptação, contexto e mudança de critério: o significado das pontuações também precisa de ser examinado entre grupos e momentos. O plano de análise terá de respeitar estas decisões.

Este é um bom ponto para interromper a leitura. Antes de passar à análise, experimentem responder à lista Antes de Abrir o R para um estudo concreto. Se a dificuldade estiver nas medições da mesma unidade, continuem em Medidas Repetidas e Modelos Mistos.

4 Antes da Análise

Voltar à Severidade

Depois do delineamento e da medição, podemos recuperar a pergunta que orientou o planeamento do teste: se a hipótese estivesse errada de uma maneira relevante, este estudo teria uma boa oportunidade de o mostrar?

Retomemos o exemplo inventado do sono e da atenção. Podemos distribuir aleatoriamente participantes por duas oportunidades de sono, quando isso for eticamente aceitável, e aplicar a mesma tarefa à mesma hora. Cada participante é uma unidade de alocação; registamos tempos e erros para examinar também uma possível troca entre rapidez e exactidão. Uma medida de sonolência ajuda a verificar o que a condição alterou. Antes da recolha, planeamos réplicas suficientes para efeitos relevantes e consideramos perdas. A comparação pode informar sobre o efeito das condições estudadas no desempenho da tarefa; o seu alcance para outras pessoas e outras formas de atenção exige justificação.

Mas o outro lado também conta: uma medida ruidosa, uma manipulação fraca ou poucas réplicas podem tornar um efeito real difícil de detectar. Nesse caso, um resultado negativo não constitui um teste exigente da ausência do fenómeno.

Num estudo descritivo ou exploratório, voltem à pergunta inicial: as unidades e as medidas permitem descrever o que queríamos conhecer? Que erros podem alterar essa descrição e até onde queremos generalizar?

Entre Disciplinas

Os nomes mudam e a pergunta estrutural mantém-se.

• Psicologia. A condição é inter- ou intra-participantes? E relativamente aos estímulos? As listas trocam versões? A ordem cria aprendizagem?
• Biologia e ecologia. O tratamento varia por organismo, tanque, local ou parcela? Quantos quadrados estão dentro de cada região?
• Neurociência. O tratamento pode variar por animal enquanto células, eléctrodos e ensaios se repetem dentro dele. Dez mil neurónios em três animais continuam a vir de três animais para a comparação ao nível do animal (Lazic, 2010).
• Física. Um eclipse pode testar uma previsão sem ser manipulado. Noutras experiências podemos variar campos, materiais, energia ou geometria e controlar directamente a ordem da intervenção e da medição.

Cada delineamento dá controlo sobre algumas coisas e deixa outras abertas. As perguntas úteis são que explicações concorrentes conseguimos separar com esta estrutura, que erros continuam capazes de produzir um falso sinal e que efeitos reais podemos não conseguir detectar?

Antes de Abrir o R

Se conseguirem responder a estas perguntas, a escolha da análise fica muito menos misteriosa.

1. Qual é a comparação? Estamos a descrever, prever ou a tentar aprender o que aconteceria se mudássemos alguma coisa?
2. De onde vêm unidades e materiais? Para que inferência foram seleccionados? Qual é a população-alvo ou o domínio de interesse, a que unidades tivemos acesso e que critérios usámos?
3. Onde varia a condição? Pessoa, peixe, tanque, local, estímulo? É aí que devemos começar a procurar a réplica.
4. O que se repete ou agrupa? Se houver factores a comparar, são intra- ou inter-participantes e intra- ou inter-estímulos? Que identidades estão cruzadas ou aninhadas? Há subamostras ou medições repetidas?
5. Como decorre a apresentação? Como atribuímos listas e versões, ordenamos ensaios e blocos e definimos respostas? Que histórias rivais continuam abertas: confundimento, ordem, aprendizagem, fadiga ou causalidade inversa?
6. O que medimos realmente? A medida é válida para a pergunta? A própria medição pode alterar o processo?
7. Se testamos uma hipótese, que padrão a poria em dificuldades? E o delineamento tinha uma oportunidade razoável de o produzir se a hipótese estivesse errada? Se o estudo é descritivo ou exploratório, que observações respondem à pergunta e que erros podem comprometer a resposta?
8. Em que direcção empurram as limitações? Podem criar um falso sinal, esconder um sinal real, alterar a magnitude, ou sobretudo limitar a generalização?
9. Onde está a variabilidade? Que parte é sinal da pergunta científica e que parte é ruído, heterogeneidade ou dependência que a análise terá de representar?
10. Há uma interacção na teoria? Se sim, o delineamento e o tamanho da amostra foram pensados para essa pergunta, ou apenas para efeitos principais?

Não precisamos de esperar pelos dados para responder a estas perguntas. Precisamos delas para planear a análise. A estatística representa a incerteza de uma comparação que o delineamento já criou. Não cria réplicas, randomização ou generalização retroactivamente.

Quando estas decisões estiverem claras, o fluxo mínimo de importação mostra como ler e inspeccionar o ficheiro antes de guardar uma cópia. Usem as respostas à lista para verificar se a tabela conserva as unidades e as medidas que planearam.

Síntese

Começamos pela pergunta do estudo. Se queremos descrever ou explorar, precisamos de observações adequadas a esse objectivo e de explicitar o seu alcance. Se queremos testar uma explicação, precisamos também de dizer o que contaria contra ela.

Para testar uma hipótese, um bom delineamento cria uma comparação em que uma explicação errada tem oportunidades reais de falhar e em que um efeito cientificamente relevante continua a ter oportunidade de aparecer. Para avaliar isso, precisamos de saber qual é a unidade experimental, onde ocorre a variação, o que se repete, como as unidades chegaram ao estudo, o que medimos e que explicações concorrentes continuam abertas.

É aqui que o delineamento se liga à estatística. Parte da variabilidade vem do fenómeno que queremos estudar; parte vem de pessoas, organismos, estímulos, locais, aparelhos, momentos e erro de medição. A Estatística Descritiva ajuda-nos a vê-la, a Filosofia da Estatística explica que erros queremos controlar e Fundamentos da Inferência mostra como a variabilidade amostral entra matematicamente na inferência.

Continuar para a Estatística

O próximo passo depende da pergunta e dos dados. Os capítulos seguintes desenvolvem a análise; aqui ficámos pelas decisões que a tornam possível.

• Para descrever os dados e examinar a variabilidade, continuem em Estatística Descritiva.
• Para perceber como passamos da variação amostral à inferência e aos testes, leiam Fundamentos da Inferência. A interpretação desses testes é discutida em Filosofia da Estatística.
• Para representar e testar as comparações planeadas, sigam para Comparação de Modelos. Contagens, proporções e outras respostas levam-nos também aos Modelos Lineares Generalizados.
• Para medidas repetidas e agrupamentos, consultem o capítulo teórico e o tutorial prático.

Antes de avançar, tentem usar a lista anterior num estudo concreto. Se não souberem o que representa uma linha ou o que a pontuação significa, é melhor voltar a essa decisão do que começar pela escolha de um teste.

5 Exercícios

Os exemplos são inventados. Não é preciso já saber planear um estudo inteiro. Comecem por identificar uma pergunta, uma comparação e o que foi realmente medido. É suficiente responder a cada situação com algumas frases; podem voltar às secções do capítulo quando surgir uma dúvida.

Começar Com Estudos Pequenos

1. Dormir e Prestar Atenção. Uma equipa pergunta a quarenta estudantes quantas horas dormiram na noite anterior. De manhã, todos completam uma tarefa que mede tempos de resposta. Quem declarou ter dormido menos respondeu, em média, mais devagar.

   • O que foi observado? O que os investigadores gostariam de concluir?
   • Será possível que haja outra explicação para a diferença? Proponham uma, sem precisarem de encontrar todas.
   • Os tempos de resposta representam toda a atenção de uma pessoa? O que mais poderiam medir, e que nova pergunta isso ajudaria a responder?
   • Que pequena alteração ao estudo vos ajudaria a distinguir melhor uma das explicações rivais?

Solução 1 — Uma Resposta Possível

Observámos uma associação entre horas de sono declaradas e tempos de resposta. Gostaríamos de saber se dormir menos piora a atenção. Stress, por exemplo, poderia afectar ambos. Tempos de resposta medem uma parte do desempenho; contar também erros ajuda a perceber se houve uma troca entre rapidez e exactidão. Medir stress permitiria examinar essa alternativa, embora o ajuste não garantisse eliminar toda a confusão. Uma comparação com alocação aleatória de oportunidades de sono, se eticamente aceitável, seria uma maneira mais forte de separar as explicações.

2. Trinta Plantas, Seis Tabuleiros. Temos seis tabuleiros, cada um com cinco plantas. Sorteamos três tabuleiros para receber mais luz e deixamos os outros três com menos luz. Medimos a altura de cada planta ao fim de duas semanas.

   • A luz varia entre plantas individuais ou entre tabuleiros? Quantas unidades receberam independentemente uma condição de luz?
   • Se puséssemos dez plantas em cada tabuleiro, teríamos mais réplicas independentes da luz?
   • E se acrescentássemos mais tabuleiros e voltássemos a sortear as condições? O que mudaria?
   • A altura das plantas é uma medida razoável de crescimento? Que informação inicial ajudaria a interpretá-la?

Solução 2 — Uma Resposta Possível

A condição foi atribuída a seis tabuleiros, três por condição, não a trinta plantas independentemente. Mais plantas no mesmo tabuleiro dão mais informação dentro dele, mas não mais réplicas independentes da luz. Mais tabuleiros com alocação independente aumentam essas réplicas. A altura final descreve tamanho; medir a altura inicial permite calcular a mudança no período e distinguir crescimento de diferenças já existentes.

3. Treinar e Voltar a Testar. Doze pessoas resolvem um conjunto de problemas, frequentam uma sessão de treino e resolvem depois outro conjunto. Todas melhoram, mas o segundo conjunto de problemas também pode ser mais fácil.

   • O que queremos saber? Que duas explicações poderiam produzir a melhoria observada?
   • Porque é importante verificar se os conjuntos têm dificuldade semelhante?
   • Que comparação adicional ajudaria a separar o efeito do treino de uma melhoria por prática ou por mudança de material?
   • Estamos a comparar pessoas diferentes ou as mesmas pessoas em dois momentos?

Solução 3 — Uma Resposta Possível

Queremos saber se o treino melhora o desempenho. Treino, prática e menor dificuldade do segundo conjunto podem produzir melhoria. Precisamos de materiais comparáveis e de um grupo sem o treino, testado nos mesmos momentos; a alocação aleatória ajudaria a tornar os grupos comparáveis. Contrabalançar conjuntos pode separar material de momento. A comparação inicial é intra-participantes, pois são as mesmas pessoas.

4. Duas Perguntas Sobre Praias. Uma equipa quer estimar a proporção de uma costa ocupada por algas. Outra quer saber se a salinidade está associada à abundância de algas. Ambas só conseguem visitar praias junto à estrada.

   • As equipas precisam exactamente do mesmo modo de escolher praias? Porquê?
   • Que problema pode criar o acesso limitado às praias?
   • Contar algas e medir a percentagem de área coberta por algas seriam duas maneiras equivalentes de medir o mesmo fenómeno? Que informação perderíamos em cada uma?
   • Uma associação entre salinidade e algas bastaria para concluir que a salinidade causa a diferença?

Solução 4 — Uma Resposta Possível

A estimativa de cobertura exige justificar a selecção e o peso dos locais na costa-alvo. O teste de uma explicação pode beneficiar de locais contrastantes em salinidade, sem os escolher nas proporções da costa. O acesso pela estrada limita a cobertura e pode seleccionar locais com outras características. Contagens medem número de algas; percentagem de área mede ocupação, que também depende do tamanho. Uma associação não separa salinidade de nutrientes, luz ou outras explicações rivais.

5. Um Questionário Muito Consistente. Uma escola quer medir «satisfação com a escola». O questionário tem dez perguntas, todas sobre a qualidade das refeições, e as respostas são muito consistentes entre si.

   • Que aspecto da experiência escolar foi medido?
   • A consistência das respostas prova que o questionário representa toda a satisfação escolar? Que outras dimensões poderiam faltar?
   • Se usássemos as pontuações para comparar duas escolas, que diferença de contexto poderia alterar o significado da comparação?

Solução 5 — Uma Resposta Possível

Medimos sobretudo satisfação com as refeições. Respostas consistentes não demonstram que o conteúdo cobre toda a satisfação escolar: podem faltar ensino, relações e segurança. Entre escolas, diferenças na oferta ou nas expectativas acerca das refeições podem mudar a interpretação das pontuações. A comparação pede evidência sobre o significado das medidas, não apenas consistência interna.

Para Explorar Mais Tarde

Estes desafios retomam técnicas especializadas do capítulo. São úteis para uma segunda leitura, mas não são necessários para resolver os primeiros cinco.

6. Uma Mudança Municipal. Uma regra muda numa vila e mantém-se na vila vizinha. Em que condições essa situação poderia funcionar como uma experiência natural? Que diferença anterior entre as vilas poria em causa a comparação? Voltem a Experiências Naturais.

Solução 6 — Uma Resposta Possível

A mudança pode permitir uma comparação informativa se a exposição à regra for determinada por um processo plausivelmente independente de outras causas do resultado, e se conseguirmos justificar a vila de comparação. Tendências anteriores diferentes, outra intervenção simultânea ou efeitos que atravessem a fronteira fragilizam a interpretação. Ser vizinha não basta para tornar uma vila um contrafactual adequado.

7. Dois Factores. Um estudo sobre crescimento de algas considera dois níveis de luz e dois níveis de salinidade. Desenhem as quatro combinações. Como perceberiam que o efeito da luz depende da salinidade? Vejam Delineamentos Factoriais.

Solução 7 — Uma Resposta Possível

As quatro combinações são luz baixa/salinidade baixa, luz baixa/salinidade alta, luz alta/salinidade baixa e luz alta/salinidade alta. Há interacção quando a diferença entre níveis de luz muda com a salinidade. Por exemplo, a luz pode aumentar o crescimento com salinidade baixa e quase não o alterar com salinidade alta. Precisamos de replicação adequada em cada combinação para avaliar essa diferença de diferenças.

8. Trocar a Ordem. Uma pessoa experimenta quatro versões de uma tarefa, A, B, C e D. Que problema surge se todos fizerem sempre A, depois B, depois C, depois D? Como se poderiam distribuir ordens diferentes entre pessoas? Voltem a Ordem e Contrabalançamento.

Solução 8 — Uma Resposta Possível

Com uma ordem fixa, versão e posição ficam confundidas: aprendizagem, fadiga ou efeitos da versão anterior podem parecer diferenças entre versões. Podemos distribuir aleatoriamente as 24 ordens possíveis, se houver participantes suficientes, ou usar um plano de contrabalançamento parcial, como um quadrado latino. Equilibrar posições não elimina por si só todos os efeitos de transferência; o plano deve atender ao problema.

6 Referências

Angrist, J. D., & Krueger, A. B. (2001). Instrumental variables and the search for identification: From supply and demand to natural experiments. https://doi.org/10.1257/jep.15.4.69

Baumeister, R. F., Vohs, K. D., & Funder, D. C. (2007). Psychology as the science of self-reports and finger movements: Whatever happened to actual behavior? Perspectives on Psychological Science.

Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2004). The concept of validity. Psychological Review. https://doi.org/10.1037/0033-295X.111.4.1061

Calder, B. J., Brendl, C. M., Tybout, A. M., & Sternthal, B. (2020). Distinguishing constructs from variables in designing research. Journal of Consumer Psychology. https://doi.org/10.1002/jcpy.1204

Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin. https://doi.org/10.1037/h0046016

Campbell, M. R., & Brauer, M. (2020). Is discrimination widespread? Testing assumptions about bias on a university campus. Manuscrito revisto em março de 2020.

Clark, L. A., & Watson, D. (2019). Constructing validity: New developments in creating objective measuring instruments. Psychological Assessment. https://doi.org/10.1037/pas0000626

Clason, D. L., & Dormody, T. J. (1994). Analyzing data measured by individual Likert-type items. Journal of Agricultural Education, 35(4), 31–35. https://doi.org/10.5032/jae.1994.04031

Colliver, J. A., Conlee, M. J., & Verhulst, S. J. (2012). From test validity to construct validity … and back? Medical Education. https://doi.org/10.1111/j.1365-2923.2011.04194.x

Collins, L. M., Dziak, J. J., & Li, R. (2009). Design of experiments with multiple independent variables. https://pmc.ncbi.nlm.nih.gov/articles/PMC2796056/

Craig, P., Katikireddi, S. V., Leyland, A., & Popham, F. (2017). Natural experiments: An overview of methods, approaches, and contributions to public health intervention research. https://doi.org/10.1146/annurev-publhealth-031816-044327

Crapo, J. S., Bradford, K., & Higginbotham, B. J. (2025). Reconsidering the utility of mean comparisons in evaluative work. Family Relations. https://doi.org/10.1111/fare.13186

Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin. https://doi.org/10.1037/h0040957

Crosby, F., Bromley, S., & Saxe, L. (1980). Recent unobtrusive studies of Black and White discrimination and prejudice: A literature review. Psychological Bulletin, 87(3), 546–563.

D’Onofrio, B. M., Lahey, B. B., Turkheimer, E., & Lichtenstein, P. (2020). Accounting for confounding in observational studies. https://doi.org/10.1146/annurev-clinpsy-032816-045030

Davies, G. M., & Gray, A. (2015). Don’t let spurious accusations of pseudoreplication limit our ability to learn from natural experiments. https://doi.org/10.1002/ece3.1782

DeWees, T. A., Mazza, G. L., Golafshar, M. A., & Dueck, A. C. (2020). Investigation into the effects of using normal distribution theory methodology for Likert scale patient-reported outcome data from varying underlying distributions including floor/ceiling effects. Value in Health, 23(5), 625–631. https://doi.org/10.1016/j.jval.2020.01.007

Fiedler, K., McCaughey, L., & Prager, J. (2021). Quo vadis, methodology? The key role of manipulation checks for validity control and quality of science. https://doi.org/10.1177/1745691620970602

Flake, J. K., & Fried, E. I. (2020). Measurement schmeasurement: Questionable measurement practices and how to avoid them. Advances in Methods and Practices in Psychological Science. https://doi.org/10.1177/2515245920952393

Flake, J. K., Pek, J., & Hehman, E. (2017). Construct validation in social and personality research. Social Psychological and Personality Science. https://doi.org/10.1177/1948550617693063

Folger, T. D., Bostic, J., & Krupa, E. E. (2023). Defining test-score interpretation, use, and claims: Delphi study for the validity argument. Educational Measurement: Issues and Practice. https://doi.org/10.1111/emip.12569

Garcia-Marques, T., Lapa, A., & Santos, J. O. (2026). Why we should stop being prejudiced against non-representative samples: The myth of the representative sample. Collabra: Psychology, 12(1), 171636. https://doi.org/10.1525/collabra.171636

Gaito, J. (1980). Measurement scales and statistics: Resurgence of an old misconception. Psychological Bulletin, 87(3), 564–567.

Gotch, C. M. (2014). Review of Frontiers of test validity theory: Measurement, causation, and meaning (K. A. Markus & D. Borsboom, 2013). Journal of Educational Measurement. https://doi.org/10.1111/jedm.12055

Greenland, S., Pearl, J., & Robins, J. M. (1999). Causal diagrams for epidemiologic research. https://pubmed.ncbi.nlm.nih.gov/9888278/

Howard, G. S. (1980). Response-shift bias. Evaluation Review. https://doi.org/10.1177/0193841x8000400105

Howard, G. S., & Dailey, P. R. (1979). Response-shift bias: A source of contamination of self-report measures. Journal of Applied Psychology, 64(2), 144–150. https://doi.org/10.1037//0021-9010.64.2.144

Howard, G. S., Ralph, K. M., Gulanick, N. A., Maxwell, S. E., Nance, D. W., & Gerber, S. K. (1979). Internal invalidity in pretest-posttest self-report evaluations and a re-evaluation of retrospective pretests. Applied Psychological Measurement. https://doi.org/10.1177/014662167900300101

Hernán, M. A., & Robins, J. M. (2020). Causal inference: What if. https://miguelhernan.org/whatifbook

Huang, I., Sim, J., Srivastava, D., Krull, K. R., Ness, K. K., Robison, L. L., Baker, J. N., Hudson, M. M., & Schwartz, C. E. (2023). Response-shift effects in childhood cancer survivors: A prospective study. Psycho-Oncology. https://doi.org/10.1002/pon.6150

Hussey, I., & Hughes, S. (2020). Hidden invalidity among 15 commonly used measures in social and personality psychology. Advances in Methods and Practices in Psychological Science, 3(2), 166–184. https://doi.org/10.1177/2515245919882903

Judd, C. M., Westfall, J., & Kenny, D. A. (2012). Treating stimuli as a random factor in social psychology: A new and comprehensive solution to a pervasive but largely ignored problem. Journal of Personality and Social Psychology, 103(1), 54–69. https://doi.org/10.1037/a0028347

Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement. https://doi.org/10.1111/jedm.12000

Kroupin, I., Henrich, J., & Muthukrishna, M. (2025). Inconvenience and generalization in building a better psychology: Commentary on Sherman (2025). American Psychologist, 80(7), 1081–1085. https://doi.org/10.1037/amp0001569

Lazic, S. E. (2010). The problem of pseudoreplication in neuroscientific studies. https://doi.org/10.1186/1471-2202-11-5

Lesko, C. R., Buchanan, A. L., Westreich, D., Edwards, J. K., Hudgens, M. G., & Cole, S. R. (2017). Generalizing study results: A potential outcomes perspective. Epidemiology, 28(4), 553–561. https://doi.org/10.1097/EDE.0000000000000664

Lewis, C. (1989). Pairs of Latin squares to counterbalance sequential effects and pairing of conditions and stimuli. https://doi.org/10.1177/154193128903301812

Likert, R. (1932). A technique for the measurement of attitudes. Archives of Psychology, no. 140, Junho de 1932. https://archive.org/details/likert-1932

Likert, R., Roslow, S., & Murphy, G. (1934). A simple and reliable method of scoring the Thurstone attitude scales. The Journal of Social Psychology, 5(2), 228–238. https://doi.org/10.1080/00224545.1934.9919450 Transcrição do texto primário.

Lord, F. M. (1953). On the statistical treatment of football numbers. American Psychologist, 8, 750–751.

Markus, K. A., & Borsboom, D. (2013). Frontiers of test validity theory: Measurement, causation, and meaning. Routledge. https://doi.org/10.4324/9780203501207 (Citada aqui a partir da recensão de Gotch, 2014.)

Mayo, D. G., & Spanos, A. (2006). Severe testing as a basic concept in a Neyman–Pearson philosophy of induction. https://doi.org/10.1093/bjps/axl003

Mayo, D. G. (1996). Error and the growth of experimental knowledge. University of Chicago Press.

Mayo, D. G. (2018). Statistical inference as severe testing: How to get beyond the statistics wars. Cambridge University Press. https://doi.org/10.1017/9781107286184

McGuire, W. J. (1997). Creative hypothesis generating in psychology. https://doi.org/10.1146/annurev.psych.48.1.1

McNeish, D. (2018). Thanks coefficient alpha, we’ll take it from here. Psychological Methods.

Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika, 58(4), 525–543.

Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist. https://doi.org/10.1037/0003-066X.50.9.741

Michell, J. (1997). Quantitative science and the definition of measurement in psychology. British Journal of Psychology. https://doi.org/10.1111/j.2044-8295.1997.tb02641.x

Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., Elbourne, D., Egger, M., & Altman, D. G. (2010). CONSORT 2010 explanation and elaboration: Updated guidelines for reporting parallel group randomised trials. https://doi.org/10.1136/bmj.c869

Mook, D. G. (1983). In defense of external invalidity. American Psychologist, 38(4), 379–387. https://doi.org/10.1037/0003-066X.38.4.379

Nieuwkerk, P. T., & Sprangers, M. A. G. (2009). Each measure of patient-reported change provides useful information and is susceptible to bias: The need to combine methods to assess their relative validity. Arthritis Care & Research. https://doi.org/10.1002/art.25030

National Institute of Standards and Technology. (2022a). Kelvin: History. SI Redefinition. https://www.nist.gov/si-redefinition/kelvin/kelvin-history

National Institute of Standards and Technology. (2022b). Kelvin: ITS-90. SI Redefinition. https://www.nist.gov/si-redefinition/kelvin/kelvin-its-90

National Institute of Standards and Technology. (2026). Kelvin: Introduction. SI Redefinition. https://www.nist.gov/si-redefinition/kelvin-introduction

Norman, G. (2010). Likert scales, levels of measurement and the “laws” of statistics. Advances in Health Sciences Education. https://doi.org/10.1007/s10459-010-9222-y

Piwowar, V., & Thiel, F. (2014). Evaluating response shift in training evaluation. Evaluation Review. https://doi.org/10.1177/0193841x14546932

Preacher, K. J. (2015). Advances in mediation analysis: A survey and synthesis of new developments. https://doi.org/10.1146/annurev-psych-010814-015258

Reese, H. W. (1997). Counterbalancing and other uses of repeated-measures Latin-square designs. https://doi.org/10.1006/jecp.1996.2333

Revelle, W., & Condon, D. M. (2019). Reliability from α to ω: A tutorial. Psychological Assessment. https://doi.org/10.1037/pas0000754

Reynolds, P. S. (2026). Experimental designs for preclinical neuroscience experiments: Part 2—Blocking and blocked designs. https://doi.org/10.1523/ENEURO.0006-26.2026

Rozenblit, L., & Keil, F. (2002). The misunderstood limits of folk science: An illusion of explanatory depth. Cognitive Science, 26(5), 521–562. https://doi.org/10.1207/s15516709cog2605_1

Russell, M. (2021). Clarifying the terminology of validity and the investigative stages of validation. Educational Measurement: Issues and Practice, 41(2), 25–35. https://doi.org/10.1111/emip.12453

Sawatzky, R. G., Sajobi, T. T., Russell, L. B., Awosoga, O., Ademola, A., Boehnke, J. R., Lawal, O. A., Brobbey, A., Lix, L. M., Anota, A., Sebille, V., Sprangers, M. A. G., & Verdam, M. G. E. (2024). Response shift results of quantitative research using patient-reported outcome measures: A descriptive systematic review. Quality of Life Research. https://doi.org/10.1007/s11136-023-03495-x

Schwartz, C. E., & Sprangers, M. A. G. (1999). Methodological approaches for assessing response shift in longitudinal health-related quality-of-life research. Social Science & Medicine. https://doi.org/10.1016/s0277-9536(99)00047-7

Sherman, J. W. (2025). There is nothing WEIRD about basic research: The critical role of convenience samples in psychological science. American Psychologist, 80(7), 1073–1080. https://doi.org/10.1037/amp0001443

Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach’s alpha. Psychometrika, 74(1), 107–120. https://doi.org/10.1007/s11336-008-9101-0

Sprangers, M. A. G., & Schwartz, C. E. (1999). Integrating response shift into health-related quality of life research: A theoretical model. Social Science & Medicine. https://doi.org/10.1016/s0277-9536(99)00045-3

Stevens, S. S. (1946). On the theory of scales of measurement. https://doi.org/10.1126/science.103.2684.677

Solomon, R. L. (1949). An extension of control group design. Psychological Bulletin, 46(2), 137–150. https://doi.org/10.1037/h0062958

Stoner, J. L., Felix, R., & Stadler Blank, A. (2022). Best practices for implementing experimental research methods. International Journal of Consumer Studies. https://doi.org/10.1111/ijcs.12878

Strevens, M. (2020). The knowledge machine. https://books.google.com/books?id=ISXWDwAAQBAJ

Thistlethwaite, D. L., & Campbell, D. T. (1960). Regression-discontinuity analysis: An alternative to the ex post facto experiment. Journal of Educational Psychology, 51(6), 309–317. https://doi.org/10.1037/h0044319

Vanier, A., Oort, F. J., McClimans, L. M., Ow, N., Gulek, B. G., Boehnke, J. R., Sprangers, M. A. G., Sebille, V., & Mayo, N. E. (2021). Response shift in patient-reported outcomes: Definition, theory, and a revised model. Quality of Life Research. https://doi.org/10.1007/s11136-021-02846-w

Velleman, P. F., & Wilkinson, L. (1993). Nominal, ordinal, interval, and ratio typologies are misleading. The American Statistician. https://doi.org/10.1080/00031305.1993.10475938

Wakita, T., Ueshima, N., & Noguchi, H. (2012). Psychological distance between categories in the Likert scale: Comparing different numbers of options. Educational and Psychological Measurement, 72(4), 533–546. https://doi.org/10.1177/0013164411431162

Walker, M. E. (2025). 2024 NCME presidential address: Challenging traditional views of measurement. Educational Measurement: Issues and Practice, 44(2), 32–38. https://doi.org/10.1111/emip.12673

Watson, D., Clark, L. A., & Tellegen, A. (1988). Development and validation of brief measures of positive and negative affect: The PANAS scales. Journal of Personality and Social Psychology, 54(6), 1063–1070.

Webb, T. L. (2011). Advice-taking as an unobtrusive measure of prejudice. Behavior Research Methods, 43, 953–963. https://doi.org/10.3758/s13428-011-0122-8

Westfall, J., Judd, C. M., & Kenny, D. A. (2015). Replicating studies in which samples of participants respond to samples of stimuli. https://doi.org/10.1177/1745691614564879

Willik, E. M., Terwee, C. B., Bos, W. J., Hemmelder, M. H., Jager, K. J., Zoccali, C., Dekker, F. W., & Meuleman, Y. (2020). Patient-reported outcome measures (PROMs): Making sense of individual PROM scores and changes in PROM scores over time. Nephrology. https://doi.org/10.1111/nep.13843

Yarkoni, T. (2022). The generalizability crisis. https://doi.org/10.1017/S0140525X20001685

Zimmerman, K. D., Espeland, M. A., & Langefeld, C. D. (2021). A practical solution to pseudoreplication bias in single-cell studies. https://doi.org/10.1038/s41467-021-21038-1