Revisão sistemática, metanálise e o que sobra de fora

Caso 1. Uma metanálise reúne 16 estudos com 3.261 mulheres de nove países e conclui que existe diferença entre os grupos comparados: diferença média padronizada de menos 0,764, com intervalo de confiança de menos 1,042 a menos 0,486 e p menor que 0,001. O diamante do gráfico está inteiramente de um lado da linha, o efeito é de tamanho médio a grande, e o resumo do artigo afirma a associação com segurança.

Duas linhas adiante, no mesmo resumo, dois números que quase ninguém lê: a heterogeneidade foi de 91,65%, e o intervalo de predição foi de menos 1,853 a 0,325 — atravessando o zero.

Caso 2. Outra metanálise, maior ainda: 24 estudos, 281.958 participantes, 15 países. A pontuação média agrupada de qualidade de vida foi de 0,79, com intervalo de confiança estreitíssimo, de 0,73 a 0,85. Parece uma das estimativas mais sólidas que se poderia desejar.

E, do lado, os mesmos dois números incômodos: heterogeneidade de 99,6% e intervalo de predição de 0,52 a 1,05.

Revisão sistemática é um método; metanálise é uma possível etapa estatística. Heterogeneidade clínica e metodológica pode tornar uma média pouco útil mesmo com modelo correto. Certeza da evidência considera viés, inconsistência, indireção, imprecisão e publicação seletiva.

Em cada etapa, separe descrição, inferência e decisão. Essa distinção torna visível onde a evidência termina, onde começa o julgamento e qual dado exigiria revisão.

Comece separando duas coisas que costumam ser confundidas. Uma revisão sistemática é um método: define-se a pergunta, registra-se o protocolo antes, faz-se a busca em várias bases com estratégia declarada, selecionam-se os estudos por critérios explícitos, avalia-se o risco de viés de cada um e descreve-se o conjunto. Uma metanálise é a etapa opcional em que os resultados são combinados num número só. Existe revisão sistemática sem metanálise — e ela pode ser a decisão mais correta, quando os estudos não são combináveis.

O resultado da combinação aparece no gráfico como um diamante: o ponto central é a estimativa agrupada e a largura é o intervalo de confiança. E aqui mora a primeira ilusão: esse intervalo fica mais estreito conforme se acumulam participantes, independentemente de os estudos concordarem entre si. Um intervalo estreito significa que a média foi bem estimada, e não que a média descreva bem os estudos que a produziram.

Para saber se os estudos concordam existe a heterogeneidade. A estatística mais citada expressa a fração da variação entre os resultados que não se explica pelo acaso, e sim por diferenças reais entre os estudos. Valores próximos de zero indicam estudos que dizem a mesma coisa; valores acima de 75% indicam que os resultados divergem por razões que não são erro amostral.

Mas essa estatística tem um limite que precisa ser dito: ela informa a proporção da variação atribuível a diferenças reais, e não o tamanho dessa variação. É por isso que existe uma medida melhor para a decisão clínica, e infelizmente menos citada: o intervalo de predição, que estima onde cairia o resultado de um novo estudo, feito num novo contexto.

Os dois casos de abertura ficam transparentes com esses conceitos. No primeiro, o intervalo de confiança vai de menos 1,042 a menos 0,486 — a média foi bem estimada e está longe do zero. O intervalo de predição, porém, vai de menos 1,853 a 0,325: um novo estudo, num novo país, poderia encontrar um efeito grande ou poderia encontrar efeito nenhum. Os próprios autores concluem pedindo interpretação cautelosa por causa da heterogeneidade de 91,65% e desse intervalo cruzando o zero.

No segundo caso, a distância entre os dois é ainda mais brutal: intervalo de confiança de 0,73 a 0,85 e intervalo de predição de 0,52 a 1,05, com heterogeneidade de 99,6%. Repare no que isso significa na prática — a média agrupada é precisa, e ela não representa quase nenhum dos estudos individualmente. Os autores, com honestidade, recomendam interpretação cautelosa e apontam tamanho amostral pequeno em subgrupos, potencial viés de sobrevivente e alta variabilidade entre estudos.

Uma pergunta explícita delimita o que o dado pode e não pode decidir.

• “Os estudos deveriam ser combinados e o que ficou ausente, não publicado ou diferente demais para caber na média?”

  Revisão sistemática é um método; metanálise é uma possível etapa estatística. Heterogeneidade clínica e metodológica pode tornar uma média pouco útil mesmo com modelo correto. Certeza da evidência considera viés, inconsistência, indireção, imprecisão e publicação seletiva.

• “Juntar estudos aumenta a confiabilidade?”

  Aumenta a precisão da média, não a concordância entre eles.

• “O que a heterogeneidade mede?”

  A fração da variação que não se explica pelo acaso.

• “Para que serve o intervalo de predição?”

  Para estimar onde cairia o resultado de um estudo novo.

Reconstrua a pergunta e o método antes de ler o resultado. Depois integre efeito, incerteza, viés e aplicabilidade à decisão.

1. 1

   Separar revisão sistemática de metanálise

   A primeira é método; a segunda é etapa opcional de combinação.

   Erro comum: Supor que toda revisão precisa terminar num número único.

2. 2

   Ler a heterogeneidade

   Fração da variação não explicada pelo acaso.

   Erro comum: Ignorar valores acima de 75% ao citar a estimativa.

3. 3

   Procurar o intervalo de predição

   Onde cairia o resultado de um estudo novo.

   Erro comum: Aceitar a estimativa agrupada como previsão para o seu serviço.

4. 4

   Reconhecer a síntese transportável

   Predição larga porém inteiramente do mesmo lado.

   Erro comum: Rejeitar toda metanálise com heterogeneidade alta.

5. 5

   Checar quando o viés foi detectado

   Numa síntese de 36 estudos, uma estimativa mostrou evidência dele.

   Erro comum: Ignorar a declaração de viés no meio do resumo.

6. 6

   Contar os estudos de cada subgrupo

   Duas fontes não fazem uma estimativa agrupada confiável.

   Erro comum: Citar subgrupo com dois estudos como se fosse síntese.

7. 7

   Testar mentalmente o embaralhamento

   O resumo sobreviveria se os dados fossem trocados?

   Erro comum: Aceitar número-resumo sem perguntar o que ele compara.

8. 8

   Fechar pela pergunta de cabeceira

   O que o diamante resume e onde cairia um estudo novo?

   Erro comum: Encerrar a leitura no diamante do gráfico.

Volte ao caso e aplique o modelo sem pular da seta do laudo para a conclusão. O ponto de controle é: Os estudos deveriam ser combinados e o que ficou ausente, não publicado ou diferente demais para caber na média?

• Intervalo de confiança estreito com heterogeneidade muito alta significa média bem estimada e pouco representativa — as duas coisas convivem e precisam ser ditas juntas.
• Ausência de assimetria detectada num gráfico de funil, quando há poucos estudos, é resultado de teste sem poder e não evidência de ausência de viés de publicação.

Ler a largura do diamante como concordância

Ela mede a precisão da média, não o acordo entre estudos.

Citar a estimativa agrupada sem heterogeneidade

Falta a informação sobre se fazia sentido combinar.

Ignorar o intervalo de predição

É ele que responde sobre o próximo contexto.

Tratar precisão como representatividade

Intervalo estreito com inconsistência de 99,6% convivem.

Concluir ausência de viés por teste negativo

Com poucos estudos, o teste não tem poder.

Supor que a literatura publicada é tudo o que foi feito

O que não deu certo é publicado menos e mais tarde.

Feche o raciocínio em voz alta e deixe um plano que outra pessoa consiga revisar.

1. 01Comece pela pergunta e busca, avalie cada estudo e heterogeneidade, interprete efeito e certeza e procure o que não entrou na síntese.
2. 02Separar revisão sistemática de metanálise
3. 03Lembrar o limite dessa estatística
4. 04Reconhecer síntese heterogênea porém transportável
5. 05Ver o efeito mudar conforme a qualidade
6. 06Perguntar onde cairia um estudo novo