Filosofia da Estatística
0 Estatística: Porquê? Como? Como Assim?!?!!?
O objectivo deste tutorial é (re)introduzir os conceitos base da filosofia da estatística, duma forma acessível, que permita desconstruir alguns mitos e esclarecer alguns equívocos. Contudo, se até agora temos falhado nos nossos objectivos, os leitores não devem esperar que magicamente este passe a ser um tutorial, claro, conciso e relevante. Esperamos apenas que os leitores percebam com mais clareza que cometeram um erro ao decidir ler este tutorial.
Neste capítulo vamos abordar temas controversos da estatística, como os valores-p. O nosso posicionamento nos debates filosóficos não será neutro. Pelo contrário, vamos consistentemente tentar defender propostas frequencistas (ver Mayo, 2018).
Porquê a Estatística?
Quando ouvimos falar de estatística, ou outros temas com que nos massacram na faculdade, uma pergunta que facilmente nos ocorrerá será “para que é que eu preciso disso?”. Tememos que alguns dos preconceitos contra a estatística comecem quando não se dá uma resposta convincente a essa pergunta. No nosso tempo, a resposta que muitas vezes era dada informalmente é que precisaríamos da estatística para a tese de mestrado. Como tínhamos as cadeiras de estatística no primeiro ano, nem sempre esse argumento era persuasivo o suficiente. Em nome da verdade, nas aulas, os Professores até explicavam os vários problemas que a estatística nos ajuda a resolver. Contudo, dado que estávamos no primeiro ano, nem sempre esses problemas nos pareciam tão prementes como a escolha do local para a saída à noite desse dia/noite/madrugada.
Vamos tentar chamar a atenção para vários problemas que a estatística pode resolver. Vamos ainda aproveitar a ocasião para explicar que há termos diferentes, usados por diferentes áreas de investigação, que acabam muitas vezes por ser sinónimos apesar de não parecerem. Isto porque, dado que o R é usado nas mais diversas áreas de investigação, conhecer esses vários termos ajuda-nos a conseguir ler tutoriais de autores com formações diferentes (e.g., biologia, engenharia, psicologia), percebendo que se estão a referir aos mesmos conceitos com termos diferentes.
Para Que Serve Então a Estatística?
Em traços gerais podemos listar alguns usos que podemos dar à estatística:
- Sumariar e descrever dados
- Encontrar padrões nos dados
- Fazer previsões
- Apoiar a tomada de decisão
- Testar hipóteses
- Apresentar os dados de forma compreensível e apelativa
- Escolher as verdades que interessam/mentir citando números
Tentemos então perceber de que forma a estatística serve cada um desses propósitos.
Sumariar e Descrever Dados
Um dos primeiros objectivos da estatística é ajudar-nos a extrair sumários dos nossos dados que nos permitam descrevê-los de forma mais compreensível. Versões desta frase, com melhor redacção, costumam aparecer nos livros de estatística e nas aulas. Dado que os alunos não costumam ficar esclarecidos talvez valha a pena explicar doutra forma… Mais confusa que assim eles aprendem a não questionar os livros de estatística!!! Muah ah ahhh! Estamos a brincar… Queremos tentar explicar duma forma mais clara. Não devemos conseguir…mas não deixaremos de tentar!
Imaginemos que recolhemos dados para um estudo que estamos a fazer. Talvez o estudo procure estudar porque razão há pessoas que lêem este não-livro (NRB: Not an R Book) de estatística quando há outros tão melhores. Nesse caso, a recolha de dados poderia passar por pedir aos leitores que preencham um pequeno questionário. Não se preocupem este é apenas um caso hipotético. Não vamos pedir que preencham nenhum questionário. Deixaremos que se concentrem no tormento que é ler este não-livro.
Imaginemos então que teríamos recolhido algumas respostas a esse questionário. Mesmo que o questionário tivesse poucas perguntas, bastaria que uma dúzia de pessoas respondesse para que fosse difícil reter os dados na nossa cabeça. Por exemplo, se tivéssemos recolhido as idades da dúzia de leitores que respondeu, teríamos um dúzia de idades. Em notação mais matemática poderíamos dizer: 12 participantes = 12 observações. Como podem ver, têm que ler o não-livro com atenção, para compreender as equações matemáticas complexas que nele se encontram. Se não soubermos como resumir (i.e., sumariar) estes dados, cada vez que quiséssemos falar das idades dos leitores teríamos que listar as 12 idades. Isto não só seria uma chatice, como seria difícil tirar qualquer conclusão, a não ser que fôssemos como o Rain Man.
Nestes casos, a estatística ajuda-nos com ferramentas que nos permitem sumariar grandes (ou pequenos) conjuntos de observações num só valor. Claro que perdemos sempre informação ao fazer esse sumário. Afinal para fazermos um resumo (um sumário) perdemos sempre alguma informação. Contudo, essa é uma perda que temos de aceitar quando doutra forma não teríamos como compreender os dados. Podemos sempre tentar reduzir a informação perdida recorrendo a mais que um sumário dos dados.
No caso das idades dos participantes, em vez de listarmos sempre todas as idades podemos listar a média das idades. Ao olharmos para a média das idades ficamos com uma ideia de se os nossos participantes são muito jovens, se são de meia idade, ou se são mais velhos. Já vimos que perdemos informação ao fazer isto. Por exemplo, mesmo que a maioria dos leitores seja muito jovem, havendo um ou dois leitores de idade mais avançada a média das idades poderá ser elevada.
Também já dissemos que podemos tentar colmatar algumas limitações de um dado sumário dos dados, por exemplo, a média, recorrendo a outros sumários. No caso das idades, para além de reportarmos a média poderíamos tentar reportar algum sumário que desse a entender o quão diferentes ou semelhantes são as idades dos participantes. Por exemplo, poderíamos reportar intervalo das idades, ou seja, a idade míníma e a idade máxima, ou mesmo o desvio padrão. Este tipo de medidas que nos ajudam a perceber o quão próximos ou distantes as observações (e.g., idades) estão umas das outras, são designadas por medidas de dispersão. Em termos gerais, as medidas que nos permitem apresentar sumários que descrevem os dados são chamadas de estatísticas descritivas.
Apresentar/Representar Dados
A estatística descritiva ajuda-nos a organizar e descrever grandes quantidades de informação, sob a forma de sumários/resumos numéricos ou gráficos (ver Marôco, 2018). Notem que uma base de dados não precisa de ser muito grande para ficar difícil de processarmos toda essa informação sem qualquer forma de resumo.
Os gráficos permitem-nos comunicar muita informação, muito rapidamente, duma forma visual e até intuitiva. Enquanto as estatísticas descritivas numéricas são sumários/resumos númericos dos dados, os gráficos são resumos visuais. Assim sendo, ambos ajudam-nos a descrever, organizar e representar dados (Marôco, 2018).
Encontrar Padrões
A estatística permite-nos fazer mais do que resumir os dados, dando-nos ferramentas para os explorar e descobrir padrões que motivem reflexão. Continuemos com o exemplo do estudo sobre o que leva as pessoas a ler este não-livro quando há livros que são mesmo livros e são tão melhores.
Dado que este não-livro é mesmo, mesmo mau, se no nosso estudo recolhêssemos dados de 120 leitores, em vez de 12, a reacção mais natural seria de perplexidade. Talvez fosse difícil encontrar alguma teoria ou hipótese que explicasse os dados. Nesse caso não teríamos propriamente hipóteses para testar, estaríamos apenas desejosos de querer compreender o que aconteceu.
A este tipo de abordagem, em que não procuramos testar teorias/hipóteses muito concretas, mas a encontrar padrões (que depois até podem dar-nos ideias para hipóteses a testar no futuro) podemos dar o nome de análise exploratória. Por exemplo, poderíamos pensar que os leitores do não-livro pertencem a grupos/clusters distintos. Recorreríamos então a técnicas de agrupamento por k-médias (k-means clustering), que como o nome indica agrupam os dados por proximidade a um número k de médias.
Reparem que o importante não é a técnica estatística usada. Em vez de técnicas complexas de agrupamento/clustering poderíamos estar a falar de técnicas mais simples como correlações. Por exemplo, o questionário poderia incluir uma medida de bem estar dos leitores, bem como o número de páginas que já leram do não-livro. Podíamos então querer explorar se o bem-estar se correlaciona negativamente com o número de secções lidas.
Fazer Previsões
Podemos usar os modelos estatísticos que desenvolvemos para fazer previsões. Por exemplo, os modelos lineares são a grande família de modelos estatísticos que iremos tratar neste não-livro. Os modelos lineares são, com o nome indica, uma linha—uma recta. Para qualquer valor da nossa variável independente (ou variáveis independentes) o modelo prevê um valor para a variável dependente.
Outra propriedade importante dos modelos estatísticos é que eles são estimados a partir de um conjunto de dados. Com o modelo \(y = x + 1\) (a sofisticação matemática deste não-livro é mesmo impressionante), conseguimos estimar o valor de \(y\) para qualquer \(x\). Este modelo é excelente a prever qual a idade que uma pessoa terá para o ano que vem, sabendo a idade que ela tem este ano. Se soubermos que uma pessoa tem 20 anos (\(x = 20\)), com base neste modelo, conseguimos prever que para o ano terá 21 anos (\(y = 20 + 1 = 21\)).
Temos de ter muito cuidado ao interpretar e usar o termo prever para falar do nosso modelo. O problema não está na frase ser falsa, mas no risco que frases como estas têm de interpretadas de forma muito elogiosa para os nossos modelos. Infelizmente, o termo explicar é capaz de ser ainda mais problemático que o termo prever. Em estatística considera-se que um modelo “explica” os dados quando o erro das previsões do modelo é inferior ao erro das previsões dum modelo mais simples com o qual é comparado.
Vejamos outro exemplo. Existe uma correlação positiva entre o número de afogamentos nas praias e o consumo de gelados. Portanto podemos prever o número de afogamentos a partir dos gelados consumidos. Poderíamos dizer que o modelo de correlação “explica” melhor os dados. A questão é que ambos os modelos mais uma vez não parecem estar a explicar seja o que for. Essa correlação é facilmente explicada, não por um modelo estatístico, mas por compreendermos que é normal que se consumam mais gelados quando o tempo está mais quente e que esse será também o período em que as pessoas mais vão à praia ou à piscina nadar.
Apoiar a Tomada de Decisão
Sendo que podemos usar os modelos estatísticos para fazer previsões, podemos usá-los para apoiar a tomada de decisão. Já vimos que temos de ter expectativas realistas quanto à capacidade que os nossos modelos têm de fazer previsões. No geral sempre que baseamos as nossas decisões num indicador correlacionado com o objectivo que queremos atingir, vamos ter melhor desempenho do que se tomarmos decisões ao acaso. A vantagem de usarmos os dados e os indicadores é que a nossa abordagem é mais sistemática, mais organizada e poderá ser mais facilmente alvo de escrutínio e melhoria no futuro.
Testar Hipóteses
Temos de definir a nossa hipótese de forma matemática. Depois podemos testar o quão incompatíveis os nossos dados são com a hipótese contrária. Esta é a abordagem frequentista que iremos explorar em detalhe.
Num quadro bayesiano, a lógica é diferente. Temos na mesma de ser capazes de definir a nossa hipótese, mas o que fazemos é usar os dados para actualizar crenças prévias sobre uma hipótese. Se os dados forem muito compatíveis com a nossa hipótese passamos a acreditar mais na nossa hipótese, se os dados forem incompatíveis com a nossa hipótese passamos a acreditar menos nela.
Mentir Citando Números
Escolhem uma estatística/indicador que é favorável ao que querem dizer, ignorando todas as que são contrárias, mesmo que tudo indique que estão errados. Isso é parecido com a anedota do cowboy que quando as pessoas iam ao rancho dele viam que fosse qual fosse o alvo ele tinha acertado no centro. Perguntaram-lhe como conseguia tais feitos de precisão e ele explicou que o segredo era disparar primeiro, ver onde o tiro acertava, e depois desenhar o alvo à volta dessa localização.
Neste não-livro não vamos ensinar ninguém a mentir usando números (nem devemos conseguir ensinar seja o que for). Vamos antes tentar dar as competências necessárias aos leitores para se defenderem de quem os tentar enganar com números.
Tão importante como compreender as potencialidades da estatística é reconhecer as suas limitações. A estatística não é uma varinha mágica capaz de resolver todos os problemas de investigação. Existem várias situações em que a estatística, por mais sofisticada que seja, não consegue ajudar.
Primeiro, a estatística não consegue resolver problemas na forma como recolhemos os dados. Se a nossa amostra for enviesada, se os instrumentos de medida forem inadequados, ou se o desenho experimental for fundamentalmente falho, nenhuma análise estatística, por mais elaborada que seja, conseguirá extrair conclusões válidas. Como se costuma dizer: “garbage in, garbage out” — se os dados forem lixo, os resultados também o serão. A estatística pode revelar padrões nos dados, mas não pode corrigir os erros cometidos na sua recolha.
Segundo, a estatística não pode testar hipóteses que não podem ser testadas empiricamente. Se uma hipótese não é falsificável (no sentido Popperiano), ou se não podemos operacionalizar os seus conceitos de forma a poder medi-los, então a estatística não nos pode ajudar. Por exemplo, hipóteses metafísicas ou questões puramente filosóficas podem ser profundamente importantes, mas estão fora do alcance dos métodos empíricos.
Finalmente, a estatística não pode provar teorias de forma definitiva. Como já foi extensivamente discutido na filosofia da ciência, a inferência empírica nunca garante certeza absoluta. Podemos acumular evidência a favor duma teoria, podemos refutar hipóteses com grande confiança, mas nunca conseguimos “provar” uma teoria no sentido matemático. Há sempre a possibilidade, ainda que remota, de que os nossos dados sejam consistentes com a teoria por mero acaso, ou de que exista uma teoria alternativa ainda não considerada que explique os dados igualmente bem ou melhor.
Nomes Diferentes para as Mesmas Coisas
preditor = variável independente
outcome = variável dependente
grupo = condição
amostras dependentes = medidas repetidas = intra-sujeitos = intra-participantes = dados correlacionados
amostras independentes = entre-sujeitos = entre-participantes = dados não correlacionados
O Conceito de Probabilidade e Severe Testing
Para compreender como a estatística nos ajuda a aprender com o erro, precisamos de desconstruir o conceito de probabilidade. Seguindo a linha de Deborah Mayo, a estatística não deve ser vista como uma máquina de calcular probabilidades de “crenças”, mas sim como um método de escrutínio rigoroso. O objetivo da ciência, nesta visão, é o crescimento do conhecimento através da aprendizagem com o erro. Um teste estatístico só é informativo se for um “teste severo” — ou seja, um procedimento pelo qual dificilmente passaria uma hipótese se ela fosse falsa (Mayo, 2018).
A Falácia da Transposição da Condicional
As nossas intuições sobre probabilidades falham muitas vezes. Um dos erros mais comuns é a confusão entre \(P(A|B)\) e \(P(B|A)\). Na estatística frequentista, o valor-p é a probabilidade dos dados dada a hipótese (\(P(D|H)\)). Achar que isto é o mesmo que \(P(H|D)\) é um erro de categoria. A estatística frequentista avalia o desempenho do procedimento de teste sob condições repetidas, não a “verdade” de uma hipótese isolada.
Probabilidade como Frequência vs. Crença
Ao definirmos probabilidade como \(P(A) = \frac{\text{casos favoráveis}}{\text{casos possíveis}}\), tratamo-la como uma propriedade objetiva de processos aleatórios. Se lançarmos uma moeda infinitas vezes, a proporção de “caras” convergirá para um valor — \(\lim_{n\to+\infty} \frac{n_a}{n} = p\). Esta estabilidade é o que nos permite quantificar o erro e confiar na severidade dos nossos testes.
Frequencismo vs. Bayesianismo: Uma Questão Filosófica
A principal divergência entre estas duas escolas reside na definição de probabilidade. Para um frequentista, a probabilidade refere-se a frequências a longo prazo em experiências repetíveis. No Bayesianismo, as probabilidades são usadas como medidas de crença, que são atualizadas à medida que novos dados surgem.
É comum ouvirmos o “marketing” do Bayesianismo como a solução mágica para os problemas da ciência, muitas vezes acompanhado da frase: “Não podes fazer isto com estatística frequentista, mas com Bayesianismo podes”. Esta afirmação ignora que a escolha entre os dois não é sobre “capacidades”, mas sobre visões de mundo. Mudar de um para o outro não é como trocar de ferramenta; é uma mudança de paradigma.
Bayesianismo: Subjetivo vs. Objetivo
Para melhor compreender o Bayesianismo, devemos distinguir entre as suas duas vertentes principais:
Bayesianismo Subjetivo: Utiliza priors baseados nas expectativas ou crenças pessoais do investigador. Embora honesto sobre a subjetividade, pode ser problemático na ciência, onde procuramos evidência que transcenda opiniões individuais. Mas se todos temos expectativas não será melhor assumi-las?
Bayesianismo Objetivo: Tenta usar priors “não informativos” ou baseados em dados históricos para minimizar a influência subjetiva. Contudo, a própria escolha de um prior “objetivo” (50/50, dados de investigações anteriores) contínua a ser um ato deliberado que afeta o resultado.
O teorema de Bayes é: \(P(H \mid E) = \frac{P(E \mid H) P(H)}{P(E)}\), onde \(P(H|E)\) é o posterior (probabilidade da hipótese considerando os dados), \(P(E|H)\) é o likelihood (probabilidade dos dados dada a hipótese), \(P(H)\) é o prior (probabilidade da hipótese antes dos dados), e \(P(E)\) é a marginal (probabilidade de observar aqueles dados).
O Que Esquecemos que o Frequencismo Pode Fazer
Muitas vezes, a “superioridade” do Bayesianismo é vendida com base em coisas que as pessoas simplesmente esqueceram que o Frequencismo permite fazer. O Frequencismo não é apenas sobre testar contra o “nada” (\(H_0\) nula).
Hipóteses Não-Nulas: Podemos testar modelos contra valores específicos de efeito, não apenas contra o zero.
Testar Valores para o Intercepto: Podemos testar previsões teóricas exatas para o ponto de partida de uma relação.
Comparação de Modelos de Teorias Diferentes: O Frequencismo permite comparar quão bem modelos derivados de teorias rivais explicam os dados, penalizando a complexidade desnecessária.
A solução para a crise da ciência não é “converter-se” ao Bayesianismo, mas sim aplicar o Frequencismo correctamente. Como defendido por García-Pérez (2017) e Mayo (2018), a crise da replicação é um fracasso de aplicação, não de lógica.
O Erro e o Teste de Hipóteses: Fisher e Neyman-Pearson
O teste de hipóteses frequentista, quando bem executado, funciona como um detetor de erros. A prática estatística moderna é frequentemente uma mistura (nem sempre coerente) das abordagens de Fisher e de Neyman-Pearson.
Fisher: H0, H1 e o Valor-p
Ao definirmos uma hipótese nula (\(H_0\)), não estamos necessariamente a afirmar que acreditamos nela, mas a estabelecer um padrão de referência para o que esperaríamos observar se apenas o acaso estivesse a operar. A hipótese alternativa (\(H_1\)) representa o que esperamos encontrar se a realidade se portar como pensamos.
Uma estatística de teste é alguma fórmula que tem em conta o que observámos/estimámos e o erro associado à estimativa. Por exemplo: \(t = \frac{M}{SE}\). Conhecemos a distribuição da estatística de teste em \(H_0\) (hipótese nula).
O valor-p é a probabilidade de obter um valor tão ou mais extremo da estatística de teste se \(H_0\) fosse verdadeira. Quanto mais baixo o p, mais evidência há contra \(H_0\). O valor-p não é a probabilidade de a hipótese ser verdadeira. É a probabilidade de observar dados tão ou mais extremos do que os obtidos, assumindo que \(H_0\) é verdadeira.
O nível \(\alpha\) representa a probabilidade de falsos positivos que estamos dispostos a tolerar. Exemplos: não arriscamos dizer que há efeito quando não há mais do que cinco vezes em 100 (\(\alpha = .050/5\%\)).
NUNCA sabemos a probabilidade de \(H_0\) ou \(H_1\) no frequencismo. \(H_0\) ou é verdadeira (100%) ou falsa (0%), o mesmo para \(H_1\). Se nunca sabemos qual é verdadeira nunca temos a certeza absoluta se estamos a inferir bem. Da Filosofia (epistemologia) já sabemos que a inferência nunca é garantida (ao contrário da dedução).
Neyman-Pearson: Especificando H1 e Poder Estatístico
Enquanto Fisher focava no valor-p como uma medida de evidência contra a nula num único estudo, Neyman e Pearson focavam no comportamento do teste a longo prazo e na importância de considerar uma hipótese alternativa específica (\(H_1\)).
Se definirmos uma dimensão de efeito (\(H_1\) como verdadeira e com um valor específico), podemos estimar a probabilidade do nosso teste encontrar esse efeito ou outro maior — o poder estatístico. Quando \(H_1\) é verdadeira e não detectamos efeito cometemos um falso negativo (erro tipo II). O poder estatístico é a probabilidade inversa, \(1 - \beta\), ou seja a probabilidade de não cometer um falso negativo.
Se não definirmos o que esperamos encontrar se a nossa teoria estiver correta (\(H_1\)), não podemos avaliar quão severo foi o nosso teste. Um teste sem poder é como um detetor de fumo que nunca apita: se ele não apitar, não aprendemos nada sobre a existência de um incêndio.
Cargo-Cult Statistics: O Ritual Sem Compreensão
Um dos maiores perigos na prática científica moderna é o que Stark e Saltelli (2018) designaram por “cargo-cult statistics” — a aplicação mecânica e ritualista da estatística sem compreensão dos seus fundamentos. O termo é inspirado pelos “cultos cargo” que surgiram em algumas ilhas do Pacífico durante a Segunda Guerra Mundial. Os habitantes dessas ilhas observaram que os soldados realizavam certos rituais (como usar auscultadores e falar para rádios) e, pouco depois, aviões carregados de bens chegavam. Após a guerra, alguns habitantes tentaram reproduzir esses rituais — construíram pistas de aterragem de madeira e auscultadores de bambu — esperando que os aviões voltassem. Tinham imitado a forma, mas não compreendiam a função.
O Ritual Estatístico Moderno
Stark e Saltelli (2018) argumentam que muitos investigadores fazem exactamente isto com a estatística: “practitioners go through the notions of fitting models, computing p-values or confidence intervals… They invoke statistical terms and procedures as incantations, with scant understanding of the assumptions or relevance of the calculations, or even the meaning of the terminology” (p. 40). O problema não é a falta de sofisticação matemática, mas a ausência de pensamento crítico sobre o que os procedimentos estatísticos realmente significam e quando é apropriado usá-los.
O foco deve mudar do “p < .05” mecânico para a avaliação da severidade com que uma teoria foi testada. Se um efeito sobrevive a um teste que tinha todas as oportunidades de o refutar se ele fosse falso, então aprendemos algo de valioso sobre a realidade. Mas se simplesmente corremos o software estatístico, olhamos para o output, e declaramos “significativo!” sem questionar se o desenho do estudo era adequado, se os pressupostos foram verificados, ou se a hipótese testada faz sequer sentido, estamos a praticar cargo-cult statistics.
A Incompreensão Generalizada: Valores-p e Intervalos de Confiança
A gravidade deste problema fica clara quando olhamos para a investigação sobre o quão bem os próprios investigadores compreendem as técnicas que usam. Hoekstra et al. (2014) demonstraram que a incompreensão dos intervalos de confiança (ICs) é robusta e generalizada. No seu estudo, apresentaram a investigadores e estudantes seis afirmações sobre um intervalo de confiança, todas incorretas, e pediram que identificassem quais eram verdadeiras. Em média, os psicólogos profissionais endossaram cerca de 2.5 das afirmações incorretas, revelando uma profunda falta de compreensão da técnica.
Por exemplo, muitos investigadores interpretam erroneamente um IC de 95% como significando que “há 95% de probabilidade de o verdadeiro parâmetro estar dentro deste intervalo”. Isto é uma interpretação bayesiana (subjetiva) dum conceito frequentista. A interpretação correta é: se repetirmos o procedimento de amostragem e cálculo do intervalo muitas vezes, 95% dos intervalos assim construídos conterão o verdadeiro parâmetro. O intervalo específico que calculamos ou contém o parâmetro (100%) ou não contém (0%) — não há “probabilidade” de 95% associada a esse intervalo específico no quadro frequentista.
Morey et al. (2016) foram ainda mais longe, argumentando que mesmo quando os ICs são corretamente interpretados, eles podem levar a inferências injustificadas ou arbitrárias: “We show in a number of examples that CIs do not necessarily have any of these properties [precisão, plausibilidade], and can lead to unjustified or arbitrary inferences” (p. 103). Greenland et al. (2016) compilaram uma lista de 25 interpretações erróneas comuns de valores-p, intervalos de confiança, e poder estatístico, sublinhando que “Misinterpretation and abuse of statistical tests, confidence intervals, and statistical power have been decried for decades, yet remain rampant”.
Heurísticas, Incentivos Perversos e a Pressão para Publicar
Podemos perguntar: porque é que investigadores inteligentes e bem-formados contínuam a interpretar mal conceitos estatísticos fundamentais? A investigação em julgamento e tomada de decisão oferece algumas respostas. Os humanos tendem naturalmente a recorrer a heurísticas — atalhos mentais — em vez de pensamento crítico laborioso (Gigerenzer & Gaissmaier, 2011). Numa situação de incerteza e pressão temporal, é cognitivamente mais fácil aplicar uma “receita” (“se p < .05, então é significativo”) do que pensar profundamente sobre o que o teste realmente nos diz.
Este problema é exacerbado pelos incentivos perversos do sistema académico moderno, particularmente o paradigma “publish or perish”. Quando a progressão na carreira depende crucialmente do número de publicações, e quando os editores e revisores de revistas esperam ver “resultados significativos”, os investigadores enfrentam uma pressão enorme para produzir p < .05. Como notam Stark e Saltelli (2018), “Consumers [of statistics courses] may not care whether methods are used appropriately, in part because, in their fields, the norm (including the expectations of editors and referees) is cargo-cult statistics” (p. 44).
Neste contexto, não é surpreendente que investigadores recorram a práticas questionáveis como p-hacking (testar múltiplas hipóteses até encontrar uma “significativa”), HARKing (Hypothesizing After Results are Known), ou simplesmente não reportar estudos com resultados “não-significativos”. Estas práticas não são necessariamente fruto de desonestidade, mas sim de um sistema que recompensa resultados “positivos” e pune a ausência deles, combinado com uma compreensão superficial dos métodos estatísticos que permite aos investigadores racionalizar estas escolhas.
Severe Testing e Transparência
A solução para o cargo-cult statistics não passa por abandonar a estatística frequentista em favor de abordagens bayesianas (que têm as suas próprias versões de cargo-cult, como nota Stark & Saltelli, 2018). A solução passa por regressar aos princípios epistemológicos que justificam o uso da estatística: Severe Testing (Mayo, 2018). Isto implica perguntar sempre: “Quão severo foi este teste? Se a hipótese fosse falsa, qual a probabilidade deste procedimento a ter detectado?”
Além disso, é crucial a transparência total: reportar todos os testes realizados, todas as variáveis medidas, todos os participantes excluídos, e todas as decisões analíticas tomadas. Só assim podemos avaliar verdadeiramente a severidade dos testes e distinguir descobertas genuínas de artefactos estatísticos.
A Solução Frequentista para a Crise da Replicação
Como defendido por García-Pérez (2017) e Mayo (2018), a “crise da replicação” na ciência não é um fracasso da lógica frequentista, mas um fracasso da sua aplicação. O uso de valores-p sem considerar o desenho do estudo, ou a realização de múltiplos testes sem correção (p-hacking), são violações dos pressupostos que permitem à estatística frequentista controlar o erro.
A solução não é migrar para o Bayesianismo subjetivo — onde os resultados dependem da crença prévia do investigador — mas sim regressar a um frequencismo rigoroso. Isto implica:
Definir Hipóteses Severas: Testar previsões específicas que dificilmente seriam verdadeiras por mero acaso.
Transparência Total: Reportar todos os testes realizados, evitando a seleção de resultados “interessantes” (cherry-picking).
Ao tratarmos a estatística como uma ferramenta de Severe Testing, transformamos a análise de dados num diálogo honesto com a realidade, onde o objetivo não é “provar” que temos razão, mas sim dar à realidade todas as oportunidades de nos mostrar que estamos errados.
1 Referências
García-Pérez, M. A. (2017). Thou shalt not bear false witness against null hypothesis significance testing. Educational and Psychological Measurement, 77(4), 631–662. https://doi.org/10.1177/0013164416668232
Gigerenzer, G., & Gaissmaier, W. (2011). Heuristic decision making. Annual Review of Psychology, 62, 451–482. https://doi.org/10.1146/annurev-psych-120709-145346
Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3
Hoekstra, R., Morey, R. D., Rouder, J. N., & Wagenmakers, E.-J. (2014). Robust misinterpretation of confidence intervals. Psychonomic Bulletin & Review, 21(5), 1157–1164. https://doi.org/10.3758/s13423-013-0572-3
Marôco, J. (2018). Análise estatística com o SPSS Statistics (7.ª ed.). ReportNumber.
Mayo, D. G. (2018). Statistical inference as severe testing: How to get beyond the statistics wars. Cambridge University Press. https://doi.org/10.1017/9781107286184
Morey, R. D., Hoekstra, R., Rouder, J. N., Lee, M. D., & Wagenmakers, E.-J. (2016). The fallacy of placing confidence in confidence intervals. Psychonomic Bulletin & Review, 23(1), 103–123. https://doi.org/10.3758/s13423-015-0947-8
Stark, P. B., & Saltelli, A. (2018). Cargo-cult statistics and scientific crisis. Significance, 15(4), 40–43. https://doi.org/10.1111/j.1740-9713.2018.01174.x
2 Exercícios
Reflexão Conceptual
Filosofia da Probabilidade: Explique, por palavras suas, a diferença fundamental entre a definição frequentista e bayesiana de probabilidade. Porque é que que esta diferença não é sobre “capacidades” mas sobre “visões de mundo”/posições filosóficas?
Severe Testing: Imagine que um investigador testa a hipótese de que um novo medicamento reduz a dor, mas usa uma amostra de apenas 5 participantes. Mesmo que obtenha p < .05, será que este teste foi “severo” no sentido de Mayo? Justifique a sua resposta.
Cargo-Cult Statistics: Identifique três exemplos concretos de práticas que poderiam ser consideradas “cargo-cult statistics” na sua área de estudo. Para cada exemplo, explique porque é que a prática é problemática e sugira uma alternativa mais rigorosa.
Interpretação de Intervalos de Confiança: Considere a afirmação: “O intervalo de confiança de 95% [2.3, 4.7] significa que há 95% de probabilidade de o verdadeiro parâmetro estar entre 2.3 e 4.7”. Esta afirmação está correcta? Se não, explique o erro e forneceça a interpretação correcta.
Limitações da Estatística: Dê um exemplo concreto de uma situação em que a estatística não pode ajudar a resolver um problema de investigação, explicando porquê.
Análise Crítica
P-hacking: Imagine que está a analisar um conjunto de dados com 20 variáveis diferentes. Testa a correlação entre cada par de variáveis (190 testes no total) e encontra 12 correlações “significativas” (p < .05; sem correcção para comparações múltiplas). Assumindo um nível de significância de 5%, quantas dessas correlações esperaria encontrar por mero acaso? O que é que isto nos diz sobre a interpretação destes resultados?
Incentivos Perversos: Discuta como o sistema “publish or perish” pode levar investigadores a praticar cargo-cult statistics, mesmo quando conhecem os princípios estatísticos correctos. Que mudanças institucionais poderiam ajudar a mitigar este problema?
Bayesianismo vs. Frequencismo: Encontre um artigo científico recente na sua área que use estatística bayesiana. Identifique qual o prior utilizado e avalie se este é “objectivo” ou “subjectivo”. Discuta como a escolha do prior afecta as conclusões do estudo.
Aplicação Prática
- Delineamento dum Estudo Severo: Planeie um estudo para testar uma hipótese da sua área de interesse. Explique explicitamente:
- Qual a hipótese nula (\(H_0\)) e alternativa (\(H_1\))?
- Como tornará o teste “severo”?
- Quais os possíveis erros Tipo I e Tipo II?
- Como garantirá transparência na reportação dos resultados?
- Detecção de Erros Comuns: Analise criticamente a seguinte afirmação encontrada num artigo: “Como p = .06, concluímos que não há efeito do tratamento”. Identifique todos os problemas com esta interpretação e reescreva a conclusão de forma mais adequada.
Discussão Avançada
Replicação e Teoria: García-Pérez (2017) e Mayo (2018) argumentam que a crise da replicação é um problema de aplicação, não de lógica frequentista. Concorda? Justifique a sua resposta discutindo exemplos concretos da “crise da replicação”.
Heurísticas e Tomada de Decisão: Como investigador, como pode mitigar a tendência natural de recorrer a heurísticas simplistas na análise estatística? Desenvolva uma “checklist” pessoal de verificações a fazer antes de reportar resultados estatísticos.