Resenha do artigo:
Paiva BBM, Pereira PD, de Andrade CMV, et al. Potential and limitations of
machine meta-learning (ensemble) methods for predicting COVID-19 mortality in a large inhospital Brazilian dataset. Sci Rep. 2023;13(1):3463. Published 2023 Mar 1. doi:10.1038/s41598-023-28579-z.
Desde o início da pandemia por covid-19, houve a necessidade do uso de ferramentas de estratificação de risco para identificar precocemente o risco de mortalidade intra-hospitalar em pacientes com covid-19. Embora vários modelos e escores, baseados em métodos estatísticos tradicionais e/ou inteligência artificial (modelos de aprendizado de máquina), tenham sido propostos, a maioria apresentava falhas metodológicas e limitações tecnológicas. Assim, o objetivo foi fornecer um estudo comparativo completo, que abordou estas questões metodológicas, considerando diferentes técnicas para construir modelos de previsão de mortalidade, incluindo algoritmos modernos de aprendizado de máquina (neurais) e técnicas estatísticas tradicionais.
Este estudo faz parte da coorte “Registro hospitalar multicêntrico nacional de pacientes com doença causada pelo SARS-CoV 2 (covid-19)”, que incluiu 10.897 pacientes adultos consecutivos com diagnóstico laboratorial confirmado de covid-19, admitidos em um dos 39 hospitais participantes, entre março/2020 e novembro/2021. Os dados foram analisados utilizando modelos de aprendizado de máquina e técnica de estatística tradicional, além disso, foram propostas meta-características inéditas para a população. A precisão foi avaliada usando a área sob a curva característica de operação do receptor (AUROC), micro-F1, macro-F1 e F1.
Como resultado, o Stacking (uma combinação da saída de todos os outros modelos individuais de aprendizado de máquina) foi o melhor modelo, com significância estatística sob todas as métricas analisadas na predição de pacientes com maior risco de morte hospitalar. Ao observar a AUROC, verificamos que existe um grupo de modelos com resultados inferiores, composto por modelos de redes neurais e K-vizinhos mais próximos, e um grupo de modelos com resultados superiores (indistinguíveis), composto por SVM, Randon Forest, LightGBM , GAM e o Stacking. Apesar das semelhanças nas curvas e nos valores AUROC, esses classificadores podem produzir resultados bastante diferentes quando observamos as métricas pelo micro-F1 e macro-F1, ou F1, o que mostra que a AUROC não é uma métrica adequada para avaliar e/ou comparar modelos, especialmente para dados desbalanceados.
Para interpretabilidade dos modelos de aprendizado de máquina, utilizamos o SHAP valu e (gráfico summary plot ), que calculou as características (features) mais importantes para mortalidade intra-hospitalar por covid-19, indicando que entre todas as features, a idade foi a mais importante. Além da idade, fração inspirada de oxigênio, plaquetas, uréia, pressão arterial de oxigênio, proteína C-reativa, lactato e tempo de sintomas foram as características mais importantes para a predição de mortalidade intra-hospitalar por covid-19.
Como conclusão, modelos de aprendizado de máquina se destacam na tarefa de predição de mortalidade intra-hospitalar por covid-19, superando as técnicas de estatística tradicional, com destaque para o Stacking . No entanto, como os dados eram desbalanceados, a AUROC não é uma métrica adequada para avaliação. Entre as variáveis analisadas, a idade foi o principal preditor de risco para mortalidade intra-hospitalar por covid-19. Em adição, técnicas de explicabilidade, como SHAP value, trouxeram informações úteis sobre as variáveis (características/features) mais importantes para cada modelo.
| Elaborada por |
|---|
| Polianna Delfino Pereira Milena Soriano Marcolino |
| Data da Resenha |
|---|
| 05/05/2023 |
| Eixo Temático |
|---|
| Doenças Infecciosas e Tropicais |
| Eixo Metodológico |
|---|
| Pesquisas Epidemiológicas |
