Lancet Psychiatry precisa se retratar sobre o estudo do TDAH. A conclusão dos autores de que os indivíduos com TDAH tem cérebros menores é desmentida pelos próprios dados da Lancet Psychiatry, uma revista médica do Reino Unido, que publicou recentemente um estudo intitulado “As diferenças de volume de cérebro subcortical em participantes com transtorno de déficit de atenção e hiperatividade em crianças e adultos: uma mega análise de seção transversal”. De acordo com os 82 autores do artigo, o estudo fornece evidências definitivas de que indivíduos com TDAH possuem altreações cerebrais e  cérebros menores. Mas, como revela a seguinte análise detalhada, o estudo nem se quer se aproxima de fundamentar tais afirmações.

O estudo apresenta graves falhas metodológicas, poblemas de falta de dados, erros e omissões de relatórios estatísticos. A conclusão de que os indivíduos com TDAH têm cérebros menores é contrariada pelos cálculos de “efeito – magnitute”, que mostram que os volumes cerebrais individuais no TDAH e os coortes de controle se sobrepõem em grande parte. Os autores também falharam em discutir o fato de que o coorte do TDAH apresentou maiores pontuações de QI. (Consulte a atualização do editor no final do artigo para obter dados de QI.)

Apesar de tais erros científicos, o estudo foi manchete em muitos países ao redor do mundo. A Yahoo News sugeriu que o estudo “provava a realidade” do TDAH. Lancet Psychiatry deveria retira imediatamente o estudo, e novas manchetes devem ser transmitidas para informar os clínicos e os pais sobre os verdadeiros resultados deste estudo, incluindo os dados de QI.

As Alegações e as Manchetes do Estudo

No estudo, Martine Hoogman e seus 81 co-autores realizaram uma análise de dados secundários de exames de ressonância magnética, utilizados para medir o volume de cérebro em 1713 pacientes diagnosticados com TDAH e 1529 indivíduos que não possuíam esse diagnóstico. Estes dados foram coletados de 23 lugares ao redor do mundo. Os autores escreveram que seu estudo “usando o maior conjunto de dados até à data”, documentou que “o núcleo accumbens, amígdala, núcleo caudado, hipocampo, putâmen e volume intracraniano eram menores em indivíduos com TDAH em comparação com controles” (p.1 ). Há muitas afirmações semelhantes no documento sugerindo que este estudo fornece evidências de que os volumes cerebrais menores são específicos para indivíduos com diagnóstico de TDAH. Em sua análise, os autores também declararam que investigaram a exposição da coorte do TDAH a medicamentos estimulantes e determinaram que as drogas não desempenharam nenhum papel como uma possível causa dos volumes menores. “Nós . . . refutamos os efeitos da medicação sobre o volume cerebral sugerido por meta-análises anteriores “, escreveram (p.1). Este foi um grande estudo internacional, financiado pelos Institutos Nacionais de Saúde. Seus resultados, concluíram os autores, continham mensagens importantes para os clínicos: “Os dados da nossa análise altamente alimentada confirmam que os pacientes com TDAH têm alterações cerebrais e, portanto, que o TDAH é uma doença do cérebro. Esta mensagem é clara para que os médicos possam transmitir aos pais e pacientes, o que pode ajudar a reduzir o estigma de que o TDAH é apenas um rótulo para crianças difíceis e causado por pais incompetentes. Esperamos que este trabalho contribua para uma melhor compreensão do TDAH no público em geral “(p. 7). Os comunicados de imprensa enviados à mídia espelharam as conclusões do documento, e as manchetes publicadas pela mídia, por sua vez, resumiram com precisão os comunicados de imprensa. Aqui está uma amostra de manchetes:

Juntos, as alegações dos autores e as manchetes da mídia, fazem uma mensagem pública poderosa. Os pais das crianças assim diagnosticadas agora perceberão seus filhos como tendo algo errado com seus cérebros. As próprias crianças entenderão que isso é verdade, e este “conhecimento” irá ainda definir seu senso de si próprio. Enquanto Hoogman e colegas declararam que esse entendimento “reduziria o estigma do TDAH”, o contrário é mais provável que seja verdade. Isso aumentará o estigma, pois informa ao público que a criança diagnosticada com TDAH é anormal. O estudo implica que as crianças com TDAH sofrem por terem um “cérebro menor”, e isso será verdade para todas as crianças assim diagnosticadas. Para começar esta revisão, começaremos com uma descoberta surpreendente escondida em um lugar incomum – o anexo do estudo. Podemos então imaginar como as manchetes das mídias poderiam ter sido escritas, se os autores se concentrassem nesses dados.

Título alternativo: Amplo estudo descobre que as crianças com TDAH têm QIs maiores! Para descobrir este achado, você precisa gastar US $ 31,50 para comprar o artigo e, em seguida, fazer um pedido especial para a Lancet Psychiatry para que o apêndice seja enviado. Então você descobrirá, nas páginas 7 a 9 no anexo, uma “Tabela 2” que fornece pontuações de QI tanto para a coorte TDAH quanto para os controles. Embora houvesse 23 locais clínicos no estudo, apenas 20 dados de QI comparados são relatados. Em 16 dos 20, a coorte de TDAH apresentou QIs,  em média, maiores do que o grupo controle. Nas outras quatro clínicas, os grupos de TDAH e controle tiveram a mesma média de QI  que era igual ou maior que a média de QI para o grupo de controle. (com os escores das médias de QI, para ambos os grupos, no intervalo de dois pontos uns dos outros). Assim, em todos os 20 locais, o grupo TDAH teve um escore de média de QI igual ou superior, ao valor médio do QI para o grupo de controle.

Agora, a suposição usual é que as crianças do TDAH, que sofrem de um “transtorno no cérebro”, são menos capazes de se concentrar e se concentrar na escola e, portanto, são prejudicadas cognitivamente de alguma forma. Os autores deste estudo relataram resultados que mostram que o TDAH é um transtorno do cérebro. Mas se o escore de QI médio da coorte do TDAH for maior do que o escore médio para os de controle, esse pressuposto básico não deve ser reavaliado? Se os participantes com TDAH têm cérebros menores criados por “estruturas alteradas”, então, como é que eles são tão inteligentes, ou ainda mais inteligentes do que os participantes no grupo de controle? Entretanto, os autores optaram por esconder os dados de QI em um anexo, que não é facilmente obtido. Mesmo depois de comprar o documento, você deve fazer um pedido especial para obter o anexo. Por quê? E por que os autores não discutiram os dados do QI em seus trabalhos ou o utilizaram em suas análises? Quando uma investigação científica leva a um resultado surpreendente que, basicamente, contradiz a reivindicação principal do estudo, os autores estão submetidos ao dever – em termos de aderir aos valores éticos que devem governar a ciência – de apresentar esses resultados. Mas os autores deste estudo não fizeram isso, e esse é o principal motivo pelo qual o estudo precisa ser corrigido. De fato, se os dados do QI tivessem sido publicados no resumo do estudo e na mídia, o público agora teria uma nova discussão: é possível que as crianças diagnosticadas com TDAH sejam mais inteligentes do que a média? Talvez estejamos drogando milhões de crianças brilhantes porque são mais facilmente propensas ao tédio, e as escolas não estão fornecendo-lhes ambientes estimulantes de aprendizagem. Os autores afirmam que seu estudo deve reduzir o estigma do TDAH. Se eles realmente estavam interessados em reduzir o estigma associado ao TDAH, teriam relatado que as pontuações de QI de crianças assim diagnosticadas, eram iguais ou superiores às pontuações de QI nos controles em todos os 20 locais.

Eles não descobriram que as crianças diagnosticadas com TDAH têm volumes menores de cérebro 

Enquanto o resumo do estudo e o comunicado da imprensa associada falam sobre descobertas robustas e definitivas, levando à manchetes como “Estudo descobre que os cérebros de pessoas que sofrem com TDAH são menores “, uma revisão apurada sobre os  “magnitude do efeito” (effect size) relatados, revela que eles não encontraram tal resultado.

Quando o público lê que um estudo provou que as crianças diagnosticadas com TDAH apresentam volumes cerebrais menores, a maioria das pessoas, naturalmente, assumirá que esta é uma característica encontrada em todas as crianças assim diagnosticadas. Provavelmente, acreditando que os pesquisadores devem ter estabelecido um volume “normal” (que seria o volume cerebral médio para um grupo de controle) e, em seguida, determinou que a maioria, senão a totalidade, daqueles diagnosticados com TDAH têm volumes cerebrais menores do que a norma.

Mas esse não é o caso aqui.

Neste estudo, os autores juntaram dados da varredura cerebral de Ressonância Magnética (RM) dos 3.242 participantes do estudo (que foram coletados e arquivados nos 23 locais) e, em seguida, calculados, para cada coorte, os volumes médios intracranianos e os volumes médios de regiões específicas do cérebro. Eles relataram as diferenças para cada uma dessas comparações e a “magnitude do efeito” das diferenças. Este é o aspecto crítico dos resultados que necessitam ser considerados e compreendidos: as magnitudes do efeito revelam a verdadeira força dos achados, e o quanto de sobreposição existe entre os volumes cerebrais individuais em ambos os grupos e, assim, estabelecem a probabilidade de um indivíduo no grupo de TDAH ter um volume de cérebro menor do que um indivíduo no grupo de controle.

Por exemplo, os autores relataram uma magnitude do efeito de Cohen de 0,19 para as diferenças no volume médio do núcleo de accumbens, em crianças menores de 15 anos. Segundo os autores, “o núcleo accumbens, com seu papel proeminente no processamento de recompensas, são fundamentais para motivação e disfunção emocional em pacientes com TDAH “(p. 7). As magnitudes dos efeitos de Cohen variam de zero a três e, portanto, 0,19 é entendido como refletindo um pequeno efeito. No entanto, neste estudo, para jovens com menos de 15 anos, foi a maior magnitude de  efeito  de todas as comparações de volume cerebral que foram feitas. (Para saber mais sobre o que é uma magnitude do efeito, acesse o artigo de Robert Coe: It’s the effect size, stupid. Especificamente, levando em conta o tamanho desse efeito de 0.19 significa:

• Aproximadamente 58% dos jovens com TDAH nesta amostra de conveniência tiveram um volume do núcleo de accumbens abaixo da média no grupo controle, enquanto 42% dos jovens com TDAH tiveram o volume do núcleo de accumbens acima da média no grupo controle.
• Além disso, se você soubesse o volume do núcleo de  accumbens de uma criança, escolhida aleatoriamente, você teria uma chance de 54% de adivinhar corretamente qual das duas coortes – TDAH ou controle saudável – a criança pertencia.

Em suma, se você acabou de lançar uma moeda para adivinhar qual dos dois coortes a criança pertenceria, suas chances de estar correto seriam quase as mesmas. O valor diagnóstico de uma varredura cerebral de RM, com base nos achados neste estudo, seria  um pouco mais previsível que o lance de uma moeda.

Existem maneiras de visualizar a sobreposição desses dados. Se você traçou as medidas do núcleo de accumbens individuais para todas as 1.637 crianças menores de 15 anos neste estudo, e usou um ponto vermelho para marcar os participantes do TDAH e um ponto preto para marcar os controles, você veria uma mistura confusa de pontos vermelhos e pretos. Haveria uma porcentagem ligeiramente maior de pontos vermelhos localizados na metade inferior da escala, e uma porcentagem ligeiramente maior de pontos negros na metade superior, mas você poderia ver imediatamente – da mistura confusa de pontos – que “volume pequeno do cérebro ” não era uma característica distintiva dos indivíduos dentro do coorte do TDAH. Os volumes individuais do cérebro variaram muito, e isso aconteceu em ambos os coortes, além de todos os dados agrupados mostrarem que houve uma chance um pouco maior de que qualquer criança individual diagnosticada com TDAH, em comparação com uma criança no coorte de controle, teria uma medida do núcleo de accumbens traçada  na metade inferior do gráfico.

De fato, se você desenhou uma curva de distribuição que traçou os escores do núcleo de  accumbens individuais para os dois grupos, as duas curvas seriam apenas ligeiramente deslocadas. Ao arredondar o tamanho do efeito 0.19 até 0.20 para fins de ilustração, você pode ver que há uma sobreposição de 92% entre as duas curvas.

Graphic by Kristoffer Magnusson, http://rpsychologist.com/d3/cohend/ 

Os tamanhos de efeitos para as outras sete comparações cerebrais realizadas em crianças menores de 15 anos variaram de 0,01 a 0,18. Todos as magnitudes de efeito eram bastante pequenas. E com esta compreensão do que as magnitudes de efeito revelam, é fácil ver que as descobertas, tal como apresentadas no estudo e pela mídia, são completamente enganosas. Os autores fizeram parecer que uma criança diagnosticada com TDAH tem um volume cerebral menor, e é essa a característica determinante dotranstorno, quando, de fato, os autores descobriram que os volumes cerebrais individuais para os dois grupos se sobrepunham em grande parte. Com uma magnitude de efeito de Cohen de 0.1, como foi o caso das comparações do volume cerebral do globo pálido (palladium brain-volume) em crianças menores de 15 anos, haveria uma sobreposição de 96% entre os dois grupos.

Graphic by Kristoffer Magnusson, http://rpsychologist.com/d3/cohend/  

Agora voltemos à afirmação feita por Hoogman e colegas, de que seu estudo mostrou que os volumes do cérebro são “menores em indivíduos com TDAH em comparação com os controles”. A magnitude de efeito de Cohen desse achado seria 3, porque é uma afirmação que implica que todos aqueles com TDAH têm volumes menores do que o volume médio dos controles. Neste caso, haveria apenas uma sobreposição de 13% entre as curvas de distribuição dos dois grupos.

 Graphic by Kristoffer Magnusson, http://rpsychologist.com/d3/cohend/ 

A falácia científica no estudo é esta: você não pode recolher dados que contam com uma diferença em volumes de cérebros agrupados, que apresentam magitude de efeito pequeno, generalizar essa diferença para indivíduos no coorte do TDAH e a apresentar – como Hoogman e colaboradores fizeram –  como uma característica definidora do TDAH.

O efeito de medicação

Conforme observado acima, os achados dos autores mostram que houve pequenas diferenças nos volumes cerebrais médios, para crianças com TDAH e o grupo controle. Estudos anteriores sugeriram que os medicamentos com TDAH poderiam reduzir os volumes cerebrais e, portanto, Hoogman e colaboradores avaliaram se as pequenas diferenças nos volumes cerebrais médios podem ser devidas à exposição a esses psicoestimulantes. Para isso, eles compararam os volumes cerebrais médios de dois grupos no coorte de TDAH: 82 que disseram que nunca usaram medicação estimulante e 637 que disseram que “usaram medicação estimulante em algum momento da vida durante um período de mais de quatro semanas “. Os autores relataram que não houve “nenhuma diferença em nenhum dos volumes” entre os grupos dos não-expostos e os expostos à medicamentos, e assim concluiram que seu estudo “refutou” os estudos anteriores. (p. 5) Mas houve deficiências notáveis na performance e no relatório dessa análise. Especificamente:

• Eles não publicaram os dados médios do volume para os dois grupos.
• Eles simplesmente declararam que os volumes eram os mesmos.
• Eles não relataram quantos dos pacientes expostos à medicação eram crianças e quantos eram adultos. Dado que foi principalmente em crianças menores de 15 anos que havia diferenças “estatisticamente significativas” nos volumes cerebrais médios entre TDAH e controles, seu esforço para verificar se a exposição à medicação era um fator dessas diferenças, deveria ter uso de medicamentos isolados nesse grupo etário.
• Eles não forneceram informações relacionadas à dosagem para o grupo exposto a medicamentos, ou informações sobre quanto tempo eles tomaram os medicamentos. Se um jovem de 30 anos tomasse um estimulante durante quatro semanas quando era criança, poderia esperar-se que ele tivesse um efeito à longo prazo sobre o volume cerebral? E mais ao ponto: houve diferenças de volume entre as crianças do “TDAH” que usaram medicamentos por vários anos e as crianças na coorte do TDAH que nunca as usaram? Esse é o tipo de comparação que precisava ser feita.
• Existe um grupo ausente de pacientes nesta comparação. Em um ponto em seu artigo, os autores declararam que tinham informações sobre o uso de medicamentos para 1254 dos 1713 participantes do grupo TDAH. No entanto, sua comparação envolveu apenas 719 pacientes (82 mais 637). Por que eles excluíram 545 pacientes (1254 menos 719) dessa comparação? [Ver nota de rodapé para uma possível explicação para isso]

Sem dados mais abrangentes apresentados e questões relacionadas a dados perdidos nas seções de métodos ou resultados, não há como avaliar se este estudo fornece uma “refutação” sobre as preocupações de que os medicamentos para TDAH podem diminuir os volumes de cérebro ao longo do tempo. Nós só temos as palasvras dos autores, e isso não é um exemplo de como você valida uma descoberta científica para uma questão controversa.

Dados individuais por locais também desmentem a conclusão declarada

Os autores relataram que os “o núcleo accumbens, amígdala, núcleo caudado, hipocampo, putâmen e volume intracraniano eram menores em indivíduos com TDAH em comparação com controles na mega análise” (p.1). Se isso for verdade, então volumes menores de cérebro devem aparecer nos dados da maioria, se não de todos, dos 21 sites que tiveram um grupo de controle. Mas esse não era o caso. Aqui estão resumos dos resultados individuais por locais:

• Volume médio do núcleo de accumbens: em 4 locais, o volume para o coorte do TDAH foi maior do que para o controle, e em outros 6 locais, os volumes médios eram basicamente de igual tamanho.
• Volume médio da amígdala: em 5 locais, o volume médio para o coorte do TDAH foi maior do que para os controles e de igual tamanho em 4 outros.
• Volume do núcleo caudado médio: em 5 locais, o volume médio para a coorte TDAH  foi maior do que para os controles e de igual tamanho em 2 outros.
• Volume médio do hipocampo: em 7 locais, o volume do coorte de TDAH foi maior do que para os controles e de igual tamanho em 4 outros.
• Volume médio do putâmen: em 5 locais, o volume para a coorte do TDAH foi maior do que para os controles e de igual tamanho em 1 outro.
• Volume intracraniano médio: em 5 locais, o volume do coorte TDAH foi maior do que para os controles.

O problema aqui é óbvio. Se os autores afirmam que as regiões cerebrais menores são uma “anormalidade” definidora do TDAH, então essas diferenças devem ser consistentemente encontradas nos volumes médios dos coortes de TDAH em todos os slocias. O fato de ter havido tal variação nos dados de volume médio, é mais uma razão para ver as conclusões dos autores – que os volumes cerebrais menores são uma característica definidora do TDAH – como não sustentadas pelos dados.

Na verdade, imagine se cada um dos 21 locais (aqueles com um grupo de controle) publicasse seus dados de forma independente. A literatura científica seria então preenchida com um punhado de resultados, decididamente misturado. Alguns locais descobriram que os volumes médios para uma região específica do cérebro, eram maiores nos coortes de TDAH, outros não encontraram diferenças, e outros ainda descobriram que as mesmas regiões eram menores nas coortes do TDAH. Dessa forma, ninguém observaria resultados tão confusos, e concluiria que esta literatura confirmou que as crianças diagnosticadas com TDAH tinham “cérebros alterados”, caracterizados por volumes menores em várias regiões do cérebro.

Mas, mais uma vez, isso revela uma ciência defeituosa – pode-se dizer uma ciência absurda – presente nesta “mega-análise”. Os autores usaram dados agrupados que ignoravam as descobertas individuais conflitantes e, no entanto, esses resultados agrupados são considerados representativos de todos os pacientes com TDAH no estudo. Por exemplo, os autores relatam que a região do núcleo de  accumbens é menor nos pacientes com TDAH, quando em 10 dos 21 locias, os volumes médios dos pacientes com TDAH eram os mesmos que os controles, ou maiores. Os coortes de TDAH nesses 10 locais não se encaixam na descoberta “agrupada”, e ainda assim os autores ainda escrevem que “indivíduos com TDAH em comparação com controles” possuem o núcleo de accumbens menor.  

O estudo está cheio de falhas científicas 

O diagnóstico e atribuição ao problema de coorte 

Para este estudo, é explicado e entendido que existe um grupo que possui TDAH e um grupo de controle que não o possui. Mas dado que não existe um marcador biológico que possa ser usado para fazer esse diagnóstico, como essa distinção foi feita?

A seção de métodos no artigo publicado não fornece nenhuma informação sobre esta questão crítica. Em vez disso, os autores simplesmente escrevem que “os procedimentos de diagnóstico para cada local estão listados no anexo” (p.3). Então, vá novamente para a Tabela 2 no anexo, e você descobrirá que não há nenhum método de diagnóstico padronizado aplicado em todos os locias. Em vez disso, essa distinção crítica – TDAH contra nenhum TDAH – foi feita de forma aleatória.

Primeiro, dois dos 23 locais nem sequer tinham um grupo de controle. Portanto, é difícil entender por que as medidas do grupo com TDAH desses dois locais foram incluídas nos dados agrupados.

Em segundo lugar, parece que nenhum dos participantes dos grupos de controle, nos 21 locais restantes recebeu uma avaliação diagnóstica para TDAH. Não há nenhum relatório de resultados de sintomas de TDAH para os controles. Os participantes rotulados como “controles saudáveis” – e assim vistos como não tendo TDAH – nunca foram testados para ver se eles apresentavam os comportamentos associados a este diagnóstico.

Em terceiro lugar, os autores não testaram quase mil dos participantes no coorte de controle para determinar se eles eram “saudáveis”. Eles listaram 867 no coorte de controle como desconhecidos os problemas de comorbidade, como depressão, ansiedade e abuso de substâncias. Sem tais testes, não parece que este grupo “não TDAH” possa ser descrito como “controles saudáveis”.

Há, de fato, informações muito limitadas sobre os controles. Por que esses indivíduos concordaram em participar desse estudo? Foram recrutados por meio de anúncios que prometiam pagamento? Ou eles eram pacientes das clínicas e estavam recebendo uma ressonância magnética por outras razões médicas? No anexo, os autores afirmaram que 30 controles foram diagnosticados com depressão, 11 com ansiedade e 39 com transtornos de uso de substâncias. Mas com tão pouca informação abrangente fornecida, é impossível saber o quão representativo são os “controles saudáveis” desse grupo.

Em quarto lugar, em sete dos 23 locais, não há resultados de sintomas de TDAH listados no coorte do TDAH. Pode-se apenas adivinhar como o diagnóstico foi feito nesses locais. Os autores tiveram acesso aos registros dos médicos dos participantes? Ou eles confiaram no próprio autodiagnóstico dos participantes ou auto-relato de que eles tinham TDAH? Não há como saber.

Em quinto lugar, mesmo quando os resultados da gravidade dos sintomas foram relatados, não houve padronização do “instrumento” usado para avaliar os sintomas, ou o sistema de classificação utilizado para fazer o diagnóstico (DSM IV ou CID 10). Em outras palavras, os autores de uma clínica no Brasil poderiam ter um padrão para o diagnóstico de TDAH, enquanto os autores na China um segundo padrão, e os autores no Reino Unido um terceiro, e assim por diante.

No entanto, apesar dessa falta de rigor diagnóstico e metodológico, os autores ainda afirmam que “as diferenças cerebrais que relatamos não são causadas por distúrbios comórbidos, efeitos de medicação ou gravidade de sintomas de TDAH, mas estão exclusivamente relacionados ao diagnóstico de TDAH” (p. 7). Esta é uma conclusão desconcertante a ser feita, uma vez que uma grande porcentagem dos participantes não foi testada quanto a distúrbios comórbidos ou a gravidade dos sintomas de TDAH ou ainda – no caso dos controles – mesmo para TDAH.

O fato de que a gravidade dos sintomas não mostrou qualquer relação com as diferenças de volume cerebral, também apresentou aos autores com um enigma óbvio. Em 16 locais, eles teoricamente usaram a gravidade dos sintomas para atribuir participantes ao coorte do TDAH e, se a coorte do TDAH tiveram volumes cerebrais menores do que os controles, a gravidade dos sintomas também deve estar ligada a volumes cerebrais menores. Mas esse não era o caso. A explicação dos autores para este resultado de confusão é bastante reveladora: “Não encontrar os efeitos das notas dos sintomas também pode ser devido à heterogeneidade dos instrumentos [diferentes] utilizados para diferentes coortes em nosso estudo ou diferença nos avaliadores (isto é, clínicos, professores e pais) “(p. 8). Em outras palavras, eles explicaram esse resultado de confusão, sugerindo que os testes utilizados para avaliar os sintomas de TDAH nos vários locais eram muito diferentes para fornecer resultados significativos. Eles também sugeriram que os diagnósticos de TDAH eram freqüentemente feitos por adultos não qualificados, pais e professores, que não possuem experiência no uso do DSM ou fazem um diagnóstico de TDAH (e também não possuem a autoridade legal para fazê-lo).

No entanto, como sabem os estatísticos, existe uma maneira fácil de padronizar dados quando os testes ou medidas de dados são diferentes (como a falta de padronização no diagnóstico do TDAH, como foi o caso aqui). Na análise de regressão, isso é chamado de “centralização” e facilmente realizado convertendo os diferentes dados em escores z. Mas os autores deste estudo não padronizaram os dados, mesmo que essa falta de padronização possa ter interfirido nos seus resultados.

O problema de confiabilidade da RM

Há uma sensação de entusiasmo para exames de RM que leva a pensar que as medidas de volume do cérebro feitas com esta tecnologia devem ser muito precisas. O pressuposto é que esta tecnologia moderna permite que os autores vejam o cérebro e distinguam com uma grande clareza, uma região do cérebro de outra. Mas esse não foi o caso neste estudo.

A primeira preocupação em um estudo RM multi-local é que diferentes máquinas de ressonância magnética podem ser usadas, com diferentes poderes de imagem, o que provavelmente foi verdade neste estudo. A segunda preocupação é que o limiar, a cor, o contraste e as coordenadas que um técnico opte por uma varredura de RM, podem variar muito de um local para outro. As máquinas usadas para imaginar o cérebro e medir os volumes cerebrais, podem não ser padronizadas para medir a mesma coisa de forma consistente de um lugar para outro.

Normalmente, para explicar essas variações local-a-local nas medidas de RM, os autores devem fazer ajustes que “normalizem” os resultados. Neste estudo, os autores relataram que “os dados para todos os locais foram recentemente analisados com métodos harmonizados”. No entanto, sua “harmonização” dos dados equivale a simplesmente verificar qual versão do software estava sendo usada pelas máquinas, que não conta as diferenças nas configurações de limiar, cor, contraste e ordenadas em cada local.

Uma rápida comparação dos achados de volume em diferentes locais, revela quão imprecisos foram os métodos de medição, mesmo após esse esforço de harmonização. Por exemplo, na clínica ADHD-WUE em Wurzburg, na Alemanha, o volume médio de cérebro para a região do núcleo de accumbens, para os dois coortes, era de 455,6 mm3. Enquanto isso, para a mesma região do cérebro na clínica MGH-ADHD na cidade de Nova York, a média era de 814,8 mm3 para os dois coortes juntos. Isso foi assim, mesmo que os autores tenham ajustado esses resultados para “idade e sexo”. Ou temos que assumir que a região do núcleo de accumbens em crianças e adultos em Nova York, é 55% maior que a mesma região em crianças e adultos na Alemanha, ou concluem que as medidas dos volumes cerebrais neste estudo foram notavelmente imprecisas.

Este não foi um problema isolado das medidas do núcleo de accumbens. A Tabela 4 no anexo fornece uma descrição detalhada das muitas variâncias nas medidas do volume cerebral nos 23 locais. Em uma clínica de TDAH em Londres, o volume médio da amígdala foi de 1284,1 mm3. Em uma clínica em Dubai, era 1824,1 mm3. As medidas parecem ser muito exatas, com os volumes reportados a um décimo de um mm3, e, no entanto, a grande diferença entre os volumes médios nas clínicas de TDAH em Londres e Dubai é de 540 mm3.

Mas se as varreduras de RM não produziram medidas consistentes em todos os 23 locais, como essas medições podem ser consideradas confiáveis e, o mais importante, é válido? E com diferenças tão grandes em medidas de volume entre os sites, como os autores podem reivindicar ter encontrado diferenças significativas nas médias dos volumes agrupados dos dois coortes, quando essas diferenças médias eram tão pequenas?

Na verdade, assim como os autores reconheceram a falta de padronização no diagnóstico, também eles reconheceram que “a aquisição de dados de imagem. . . diferiu entre os locais, uma limitação que contribui para a heterogeneidade em amostras “(p. 8). Novamente, estas são deficiências metodológicas que devem levar os pesquisadores a abster-se de fazer reivindicações definitivas de prova.

E ainda há mais problemas

Existem muitos problemas científicos com este estudo que podem ser identificados. Mas, para manter essa crítica de tamanho razoável, aqui estão apenas alguns outros.

(1) Erros: Em vários casos, as estatísticas não parecem ter sido mencionadas corretamente. Por exemplo, na Tabela 3, que detalha as pequenas e ainda “robustas” magnitudes de efeito (effect size) d  Cohen para jovens com menos de 15 anos de idade, a diferença nos volumes cerebrais médios do núcleo de accumbens para o coorte e controles de TDAH é declarada significativa para o diagnóstico com p =. 0001 e com um tamanho de efeito de -.19 de Cohen. No entanto, o intervalo de confiança (CI) para o tamanho do efeito vai de -.29 a .10. Se uma descoberta for significativa, seu intervalo de confiança normalmente não cruzará zero, passando de um número negativo para um número positivo. Isso sinaliza uma incerteza sobre se o volume médio da região do núcleo de accumbens é menor (número negativo para o tamanho do efeito) ou maior no coorte de TDAH (número positivo para a magnitudes de efeito (effect size). Além disso, existem inúmeros erros no anexo. Esses erros foram causados por erros de digitação, incompreensão dos resultados ou, pior, resultados imprecisos foram relatados?

(2) Dados ausentes: Como discutimos acima, há muitos exemplos de dados ausentes – falta de escores de gravidade dos sintomas de TDAH em alguns locais, nenhum controle em dois locais, nenhuma informação sobre comorbidade para quase 1000 participantes no coorte de controle e assim por diante. Os livros didáticos advertem regularmente sobre como esses dados ausentes podem levar a uma má interpretação dos resultados e a descobertas imprecisas. No entanto, parece que o conjunto de dados não foi limpo adequadamente para qualquer análise realizada.

(3) Omissões: Os autores afirmaram que realizaram mais de 10 análises para chegar às conclusões que fizeram. Mas no estudo publicado, eles apresentam resultados limitados de menos de um terço das análises. Sem os resultados para cada análise, não é possível verificar totalmente os resultados para precisão. Normalmente, no processo de revisão por pares, tais omissões seriam identificadas, e os autores seriam direcionados a fornecer os dados que permitiriam aos leitores verificar e entender melhor os resultados declarados. Isso não aconteceu neste estudo.

(4) Pressupostos não atendidos: Há várias suposições necessárias que devem ser atendidas para um pesquisador realizar análises inferenciais específicas, como a análise de regressão que os autores deste estudo afirmam ter realizado. Para uma análise de regressão, é necessário haver procedimentos de amostragem aleatória, distribuição normal da amostra e verificação da confiabilidade e validade das medidas, a fim de assegurar que os resultados não sejam mal interpretados. Parece que os autores não atenderam a nenhuma das suposições necessárias para realizar qualquer uma das análises de mais de 10. Este é um ponto muito crítico a considerar.

(5) Amostra de conveniência não aleatória: Como mencionado acima, em uma análise que busca fazer afirmações generalizáveis de “fato” como este estudo, os participantes deveriam vir de “amostragem aleatória” de uma população maior. Por exemplo, se você colocar os nomes de 250 pacientes com o mesmo diagnóstico em um chapéu e extrair 25 nomes para o estudo, então você poderia dizer que você tinha uma amostra representativa da maior população sendo estudada. Essa “amostragem” permite que os pesquisadores se sintam mais confortáveis em generalizar suas descobertas para a população maior.

Mas não houve amostragem aleatória neste estudo. Em vez disso, os conjuntos de dados reunidos poderiam ser mais bem descritos como uma coleção de amostras de “conveniência”. Uma amostra de conveniência representa, basicamente, um grupo de pessoas que eram fáceis de encontrar, ao contrário de serem representativas do grupo maior. Este conjunto de dados consiste em exames de ressonância magnética de indivíduos que convenientemente eram clientes que assinaram permissão para que suas avaliações fossem usadas em pesquisas ou que, por alguma razão desconhecida, concordassem em participar do estudo. Existem outros erros e omissões de relatórios estatísticos que podem ser destacados. Mas basta dizer que as deficiências científicas deste estudo são muitas: esconder os dados de QI; pequenas magnitudes de efeitos, que desmentem qualquer descoberta de que o pequeno volume cerebral é uma característica que define o TDAH; falta de dados apresentados quanto à confusão da exposição à medicação; nenhuma consistência de achados de volume médio entre os locais; nenhum método padrão para avaliação diagnóstica; ferramentas de medição não confiáveis; nenhuma amostragem representativa de pacientes; e uma notável falta de informação sobre os casos e controles.

Lancet Psychiatry: Faça a coisa certa 

A mídia deu muita atenção a este estudo. Eles apresentaram este estudo – que foi escrito por um grupo de autores que incluiu muitos que tinham laços estreitos com as empresas farmacêuticas que vendem medicamentos para TDAH – como prova de que o TDAH é um distúrbio cerebral e que as crianças diagnosticadas têm cérebros menores. Mas isso não foi culpa da mídia. Os repórteres estavam basicamente repetindo o que a Lancet Psychiatry divulgou para a mídia e o que os autores escreveram nas seções abstrata e resumida de seu artigo publicado. Seus dados, os autores escreveram, confirmaram que os pacientes “com TDAH têm cérebros alterados; portanto, o TDAH é um distúrbio do cérebro ”. Mas, como revelam as descobertas da magnitude do efeito, isso não é verdade. As curvas de distribuição dos volumes cerebrais individuais nos dois coortes se sobrepõem em grande parte (e isso não leva em conta os muitos problemas científicos que fornecem motivos para questionar a validade até mesmo das pequenas diferenças nos volumes médios relatados). Como tal, é grosseiramente enganoso para os autores apresentarem seus resultados como evidência definitiva de que crianças com TDAH possuem cérebros menores, ou sofrem de “cérebros alterados”. Há também essa questão assombrosa: por que os autores esconderam a descoberta de que os jovens com TDAH tinham um QI mais alto em 16 dos 20 locais? A ocultação desse achado é, à sua própria maneira, tão flagrante quanto fingir que os dados de volume médio agrupados, com suas pequenas magnitudes de efeito, mostraram que indivíduos diagnosticados com TDAH têm cérebros menores. A publicação deste estudo, com sua mensagem final de que crianças com TDAH têm cérebros menores, faz um grande desserviço a essas crianças e a seus pais e, finalmente, a toda a sociedade. Essencialmente, conta uma mentira, envolta na gaze da ciência, sobre essas crianças. A Lancet Psychiatry precisa retratar este estudo e informar a mídia que isso foi feito. Se você concordar, assine nossa petição em change.org.

*******

1.Uma possível razão para a exclusão dos 545 pacientes, na investigação dos pesquisadores sobre se a pequena diferença nos volumes cerebrais médios foi devida à medicação, é que o software de análise usado eliminou todos os dados para os participantes com dados ausentes relacionados ao uso de estimulante. Em caso afirmativo, os dados ausentes aqui são um sinal de que os autores não limparam adequadamente o conjunto de dados para explicar esse problema em primeiro lugar. A falha em contabilizar os dados perdidos aumenta muito a chance do que é conhecido como erro Tipo II nos resultados do relatório. Em outras palavras, devido à falta de dados que enfraquecem a análise, eles podem ter assumido que os estimulantes não mostraram efeito significativo no tamanho do volume cerebral quando, na realidade, os fármacos o fizeram.

*******

Atualização em 24/04/2017: A autora principal Martine Hoogman disse que as pontuações de QI no artigo publicado estavam erradas, com este erro a ser corrigido em uma Errata publicada em maio. A correção indicará que os escores de QI para o TDAH e controles foram erroneamente trocados no anexo, e que os controles de fato tiveram os maiores escores de QI. Atualização em 29/04/2017: O editor da revista Lancet Psychiatry, Niall Boyce, disse à MIA que a revista não irá retratar este artigo. Atualização em 08/05/2017: Lancet Psychiatry publicou cartas criticando o artigo, a resposta dos autores e uma correção.

**********
Michael W. Corrigan, Ed.D. O Dr. Michael W. Corrigan, um ex-filho problemático que de alguma forma se tornou psicólogo, é professor titular da Marshall University e professor titular da Faculdade de Educação e Ecologia Humana da Ohio State University. Sua experiência docente se concentra no desenvolvimento infantil, psicologia educacional, métodos de pesquisa e análise estatística avançada. Ele atuou como avaliador ou investigador principal por mais de US $ 19,5 milhões em pesquisas financiadas pelo governo federal, e seu trabalho acadêmico foi publicado em dezenas de revistas e publicações revisadas por pares. Ele é o autor de  Debunking ADHD: 10 Reasons to Stop Drugging Kids for Acting Like Kids.

Robert Whitaker é jornalista e autor de dois livros sobre a história da psiquiatria, Mad in America e Anatomy of an Epidemic, e o coautor, com Lisa Cosgrove, de Psychiatry Under the Influence. Ele é o fundador da madinamerica.com.