Em um novo estudo na Nature, os pesquisadores descobriram que os estudos mais comuns de imagem cerebral em psiquiatria – aqueles que usam uma pequena amostra para comparar a estrutura ou função cerebral com medidas psicológicas – são provavelmente falsos.
Estes estudos, de acordo com os pesquisadores, encontram um resultado falso positivo – um resultado que se deve mais a uma correlação estatística casual do que a um efeito real. Estes resultados altamente positivos – mesmo que falsos – são os mais prováveis de serem publicados.
Então, quando futuros pesquisadores tentam replicar os resultados, conduzindo outro estudo sobre a mesma correlação, eles encontram um resultado negativo. Isto tem sido chamado de “crise de replicação” na pesquisa psicológica.
Os pesquisadores se referem a estes tipos de estudos como BWAS ou Estudos de Associação de Todo o Cérebro [Brain-Wide Association Studies].
“As associações BWAS foram menores do que se pensava anteriormente, resultando em estudos estatisticamente subestimados, tamanhos de efeito inflados e falhas de replicação em tamanhos de amostra típicos”, escrevem os pesquisadores.
A pesquisa foi liderada pelo neurocientista Scott Marek da Universidade de Washington, em St. Louis. O estudo também foi relatado pelo The New York Times.
Marek e seus colegas estudaram correlações de exames cerebrais de cerca de 50.000 participantes usando três enormes conjuntos de dados. Eles descobriram que as correlações entre volume e função cerebral e estados psicológicos eram muito menores do que os estudos individuais de imagem do cérebro sugeriram.
Em estatística, correlações como estas são medidas em uma escala de 0 a 1. Uma correlação de 0 significa que não há conexão entre os dados, enquanto que uma correlação de 1 é uma correspondência perfeita. (No entanto, mesmo dados aleatórios provavelmente se correlacionam um pouco por acaso).
Em seu estudo, a correlação média entre medidas cerebrais e medidas psicológicas foi de 0, aproximadamente 0, como um teste como este jamais alcançará. A maior correlação que eles foram capazes de replicar chegou a 0,16-até muito longe de uma correlação clinicamente relevante.
Uma boa correlação – uma que se aproxima de 1 – semelhante a esta.
E aqui está um exemplo de uma das correlações do estudo. Esta é a correlação entre a capacidade cognitiva e a conectividade funcional em estado de repouso:
O fato de estas correlações serem tão pequenas indica que quase todas as pessoas se sobrepõem a estas medidas. Por exemplo, quase todas as pessoas diagnosticadas com “depressão” terão a mesma conectividade cerebral que alguém sem o diagnóstico. Da mesma forma, quase todas as pessoas diagnosticadas com “TDAH” terão o mesmo volume cerebral que uma pessoa sem TDAH.
No entanto, nos estudos menores que são muito mais comuns em pesquisas psicológicas, as correlações são quase sempre maiores do que 0,2 e às vezes muito maiores.
Então, por que a discrepância? De acordo com Marek e seus colegas, estes estudos menores estão inflacionando estas correlações devido à variabilidade do acaso – e então apenas os mais inflacionados acabam realmente sendo publicados.
O tamanho da amostra mais comum para estes estudos é de 25 pessoas. Com este tamanho, se você realizasse dois estudos diferentes, cada um deles poderia facilmente chegar à conclusão oposta sobre a correlação entre os achados do cérebro e a saúde mental.
“A alta variabilidade da amostragem em amostras menores freqüentemente gera fortes associações por acaso”, escrevem os pesquisadores.
O método estabelecido para lidar com isto é aumentar o limiar de significância estatística (chamado de correção de comparação múltipla). Entretanto, de acordo com os pesquisadores, isto pode, na verdade, ter um efeito contrário nestes pequenos estudos de RM porque, inadvertidamente, garante que apenas as maiores – e, portanto, menos prováveis de serem verdadeiras – diferenças cerebrais acabem passando no teste de significância e, em seguida, sendo publicadas.
Estas descobertas fortuitas e resultados inflacionados são onipresentes nestes estudos. E mesmo amostras maiores não resolveram o problema. Somente estudos massivos, nas dezenas de milhares, começaram a encontrar correlações mais confiáveis (e minúsculas).
“Erros estatísticos foram difundidos em todos os tamanhos de amostras BWAS. Mesmo para amostras tão grandes quanto 1.000, as taxas de falsos-negativos são muito altas (75-100%), e metade das associações estatisticamente significativas foram infladas em pelo menos 100%”, escreveu Marek e seus colegas.
Isto está longe de ser a primeira vez que os pesquisadores notaram que a imagem do cérebro não é confiável. Os dados da RM são extremamente complexos e notoriamente “ruidosos” – cheios de flutuações aleatórias que os pesquisadores têm que explicar para encontrar resultados significativos. Algoritmos de computador são usados para adivinhar quais dados são “ruidosos” e quais dados são importantes.
Em um estudo de 2020 na Nature, 70 equipes de pesquisadores analisaram os mesmos dados de imagens cerebrais. Cada equipe escolheu um método diferente para analisá-los, e chegaram a conclusões muito diferentes, discordando em cada medida de resultado.
Um estudo de 2012 encontrou milhares de maneiras de analisar os mesmos resultados de ressonância magnética e várias maneiras de tentar “corrigir” essas análises. No final, havia 34.560 resultados finais possíveis e nenhuma maneira de escolher qual delas era “correta”.
Em um comentário de 2020 em JAMA Psychiatry, os pesquisadores argumentaram que quaisquer conclusões baseadas em exames de RM precisavam ser consideradas inconclusivas e preliminares. Outros pesquisadores sugeriram que a imagem do cérebro era muito pouco confiável para ser uma ferramenta útil na pesquisa psicológica.
****
Marek, S., Tervo-Clemmens, B., Calabro, F. J., Montez, D. F., Kay, B. P., Hatoum, A. S., . . . & Dosenbach, N. U. F. (2022). Reproducible brain-wide association studies require thousands of individuals. Nature. doi:10.1038/s41586-022-04492-9 (Link)
[ trad. Fernando Freitas]
