Atirando para tudo que é lado: entendendo os ajustes de multiplicidade

Uma questão que muitas vezes passa despercebida quando lemos um artigo científico se refere aos ajustes de multiplicidade. Isso ocorre quando os autores tentam explorar múltiplos desfechos ao mesmo tempo, ou múltiplos subgrupos, na tentativa de “torturar” os dados até mostrarem o que querem. Para explicar como isso funciona, vamos utilizar um exemplo futebolístico, aproveitando o clima de Copa do Mundo.

Suponham vocês numa eventual final de Copa do Mundo entre Brasil e França (este post está sendo lançado na semana das quartas de final, logo, ainda não sei que times disputarão a tão sonhada taça!). Após um lance controverso, o juiz resolve apitar pênalti para os franceses. O atacante Kylian Mbappé pega a bola e coloca na marca. O goleiro brasileiro Alison Becker observa atentamente o cobrador. Eis que...nosso goleiro defenda a cobrança, e salva o Brasil de sair atrás no placar! Porém, o juiz, sabe-se lá por que, resolve repetir a cobrança (alega uma eventual invasão da área por exemplo). Lá vai então Mbappé, que resolve mudar de canto, mas, para sua decepção e de milhões de torcedores franceses, Alison acerta o canto e defende a cobrança novamente! Porém, o juizão resolve aprontar de novo, e manda voltar a cobrança dando mais uma chance à França (seria o juiz francês, ou quem sabe argentino?). Na terceira tentativa, Mbappé finalmente vence Allison e coloca a França à frente do placar.

Mas o que será que este exemplo tem a ver com Medicina Baseada em Evidência? Bom, talvez você (e toda a torcida brasileira) se indignaria com esta situação, certo? O motivo é um tanto óbvio até, e nem precisa de muito raciocínio matemático ou estatístico. Quando você dá a oportunidade de repetir a cobrança do pênalti múltiplas vezes, a probabilidade de acertar pelo menos uma é maior do que no caso de uma só tentativa. Transportando esta analogia para os artigos científicos, quando o pesquisador resolve testar sua hipótese em múltiplos desfechos ao mesmo tempo, ou múltiplos subgrupos, a probabilidade de que pelo menos um desses testes encontre uma diferença simplesmente ao acaso é maior do que se fizermos apenas uma “tentativa”. Pior, quanto mais “chutes”, maior é a probabilidade de isso acontecer. Dessa forma, o tal “ponto de corte” de 5% para o valor de P passa a ser enganoso (Veja também: https://d3gjbiomfzjjxw.cloudfront.net/o-real-significado-do-valor-de-p/). A título de exemplo, se você estabelece 5% como nível de significância estatística e testa 10 hipóteses ao mesmo tempo, a probabilidade de que apareça uma diferença “estatisticamente significativa” simplesmente ao acaso (e não uma diferença real) sobe para 40%!! (Com um pouquinho de entendimento de probabilidade dá para fazer este cálculo, mas eu dispensarei de colocar aqui). Moral da história: temos de recorrer aos ajustes de multiplicidade a fim corrigir o nível de significância do teste de hipótese, e evitar cairmos nesta cilada.

Portanto, da próxima vez que for ler um artigo, não se esqueça de prestar atenção às seguintes três dicas. Número 1, foque no chamado desfecho primário do estudo, pois ele é o que realmente importa como conclusão. Em segundo lugar, ao se deparar com um “Carnaval” de valores de P < 0,05, seja bastante cético e veja com cuidado se os autores fizeram ou não os ajustes de multiplicidade deste nível de significância para o número de desfechos testados. E número 3, ao ler as conclusões, tenha muito cuidado com qualquer uma delas que não seja baseada no desfecho primário, ou que tenha sido derivada de um subgrupo de pacientes. Caso isso aconteça, muito provavelmente o autor está tentando, à semelhança do nosso juiz trapaceiro, mandar “repetir a cobrança até o jogador acertar”.

Quer saber mais sobre este e outros assuntos correlatos? Não perca o nosso Curso Cardiopapers de Medicina Baseada em Evidência: https://lp2.cardiopapers.com.br/mbe-matriculas-perpetuo-vitrine/

PS: No nosso Curso de Medicina Baseada em Evidência, eu conto diversos exemplos de como (acredite se quiser) é possível se aprender metodologia científica e estatística discutindo sobre futebol (inclusive temos exemplos de outras Copas...)