English
- +

12/01/2015

ARTIGO: Pietrobon aborda desafio da Pesquisa Reprodutível

Protocolos de pesquisa reprodutível partem da ideia de que você, como pesquisador, deveria fazer tudo quanto possível para se assegurar de que seus pares científicos ("peers") possam reproduzir integralmente todos os seus resultados reportados em artigos científicos. Abaixos alguns fatos sobre esta tendência:
 
Em resposta a uma crise acadêmica
Com a publicação de artigos demonstrando que resultados publicados em revistas de alto impacto nao podiam ser reproduzidos mesmo com a ajuda dos seus autores [Ioannidis, 2009], a comunidade científica começou a questionar se a maioria da informação científica disponível é verdadeira. [Ioannidis, 2005]. O  movimento de pesquisa reprodutível nasce parcialmente desta crise.
 
Os dados que você utilizou no seu artigo deveriam ser públicos
Para começar, há menos que os dados utilizados no seu artigo sejam públicos, outros pesquisadores simplesmente não têm como verificar se as análises foram feitas corretamente. Em resposta a esse problema, várias revistas já sugerem que os pesquisadores depositem seus dados em repositórios públicos e citem esses repositórios nos seu artigos antes de que eles sejam submetidos. Um dos repositórios mais populares é o Figshare, o qual inclusive gera uma citação para os seus dados.
 
Você não deve fazer a sua análise final simplesmente clicando em pacotes de software 
O problema com análises feitas simplesmente clicando em pacotes de software como SPSS e Stata é que essa sequência de clicks não é registrada. O problema, então, é que após algumas semanas da análise, o pesquisador e outros não se lembram mais do que exatamente foi feito dentro do banco. Será que eu usei um ponto de corte no valor 6 ou 7? Será que eu deletei uma determinada observação que parecia estar errada ou não?
O que a pesquisa reprodutível sugere é que não só sejam criados scripts (linhas de código de programação), documentando cada passo da análise, mas que esses scripts sejam públicos. Ou seja: juntando o seu banco de dados e o seu script, deveria ser possível reproduzir cada um dos seus resultados. Como exemplo, um dos websites mais populares para depositar scripts (sejam eles de análise de dados ou programação em geral) é o GitHub.
 
Você não deve copiar e colar os seus resultados em tabelas ou textos
Mesmo tendo seus dados e scripts públicos, os seus resultados ainda podem ser copiados erroneamente quando você for copiá-los e colá-los do software estatístico para as tabelas e texto do seu artigo. Em função disso, a pesquisa reprodutível sugere que voce use métodos chamados de "literate programming", onde os resultados da sua análise são simultaneamente computados e inseridos no seu artigo. Ou seja, ao invés de escrever que, digamos, "103 participantes foram avaliados", o número "103" é inserido automaticamente quando um script o observa do seu banco de dados. Parece Star Wars?? Pode até parecer, mas isso é uma rotina quando se usa métodos como o RMarkdown.
 
Você deve salvar as várias versões do seu artigo
Se você é igual a 99,999% dos pesquisadores, o que você planejou inicialmente para o seu artigo não é exatamente o que aconteceu subsequentemente. Erros foram cometidos, decisões foram tomadas que levaram à mudanças de protocolo e problemas que tiveram de ser contornados aconteceram. No entanto, quando o artigo final é publicado, tudo nele é linear e perfeito, sem arestas. 
A pesquisa reprodutiva diz que ocultar todos os problemas e mudanças ocorridos no decorrer do projeto diminui a sua reprodutibilidade. Portanto, cada uma das versões do seu projeto deveria ser exposta ao público quando da publicação do seu artigo. Esse versionamento é feito, por exemplo, pelo GitHub, o mesmo usado para a armazenagem dos seus scripts.
 
Você está preparado?
Apesar de que cada um desses princípios fazerem total sentido, a estrutura sociológica da pesquisa atual confere poder a quem tem os dados, enquanto que a pesquisa reprodutível sugere que esses dados sejam tornados públicos.
Mais que isso, a estrutura cultural da pesquisa elogia aqueles que nunca cometenm erros, enquanto que a pesquisa reprodutível sugere que pesquisadores abram completamente os seus projetos às críticas de outros, o que aumenta a chance de que seus erros sejam expostos.
Por último, a estrutura atual pede que você descreva o seu projeto como algo que foi linearmente uma ideia ao seu "glorioso artigo", enquanto que a pesquisa reprodutiva sugere que você exponha todos os erros e problemas que ocorreram ao longo do percurso.
 
Como dizem os norte-americanos, "not for the faint of heart", "não para os fracos de coração".
 
 

Colaborador do IATS, o pesquisador Ricardo Pietrobon é médico e fez seu PhD focado em modelagem estatística na Universidade da Carolina do Norte, em Chapel Hill (EUA)

 

Edição: Luiz Sérgio Dibe