A ciência está em crise: os pesquisadores não sabem mais como reproduzir e confirmar muitas das experiências modernas
"Nós nem levamos nossas próprias observações a sério, nem as aceitamos como observações científicas, até que as tenhamos repetido e verificado." Karl Popper
Para a ciência, um experimento deve dar o mesmo resultado, mesmo que conduzido por pessoas diferentes em lugares diferentes. Mas e se de repente percebêssemos que a maioria dos experimentos em que dependemos para desenvolver novas pesquisas e novos medicamentos não eram reproduzíveis?
Não é o começo de um livro de ficção científica, é pura realidade. recentemente Natureza, uma das revistas científicas de maior prestígio do mundo, publicou um artigo em que mostrou como mais de 70% da pesquisa científica examinada falhou nos testes de reprodutibilidade1; no entanto, eles foram publicados, divulgados e citados por outros pesquisadores como base de seus próprios experimentos.
Antes de julgar, no entanto, devemos considerar que «Com a evolução da ciência, fica cada vez mais difícil replicar um experimento porque as técnicas e reagentes são cada vez mais sofisticados, demorados para se preparar e difíceis de ensinar»2 ele explica mina Bissel, um dos pesquisadores americanos mais premiados por sua pesquisa inovadora em oncologia. A melhor coisa, continua Bissel, «seria entrar em contato diretamente com o colega, se necessário, para encontrar e tentar entender por que o experimento não pode ser reproduzido. Então resolva o problema amigavelmente ».
A indústria farmacêutica também para quando os experimentos não são reproduzíveis
em 2011 Glenn Begleyno momento diretor do departamento de oncologia médica da Amgen, uma das maiores multinacionais multinacionais de biotecnologia, havia decidido, antes de prosseguir com novas e caras experiências, replicar os 53 trabalhos científicos considerados fundamentais nos quais as futuras pesquisas da Amgen em oncologia se baseariam. Resultado? Ele não conseguiu replicar 47 de 53 artigos científicos, ou 89%3.
Se quisermos escrever de outra maneira, podemos dizer que apenas 11% dos experimentos científicos considerados marcos nessa área de pesquisa eram reprodutíveis.
«Fiquei chocado - diz Begley - foram estudos nos quais todas as indústrias farmacêuticas se baseiam para identificar novos alvos no desenvolvimento de medicamentos inovadores. Mas se você vai investir 1 milhão, 2 milhões ou 5 milhões de apostas em uma observação, precisa ter certeza. Por isso, tentamos reproduzir esses trabalhos publicados e nos convencemos de que você não pode aceitar nada do que parece »4
Para tentar acalmar as águas Prêmio Nobel Philip Sharp interveio explicando como «uma célula cancerígena pode responder de diferentes maneiras, dependendo das diferentes condições experimentais. Eu acho que muita da variabilidade na reprodutibilidade pode vir daqui » 4.
Excluir qualquer tipo de erro na reprodução das condições experimentais, muitas vezes devido a problemas com habilidades manuais ou o uso de reagentes específicos, Bagely e sua equipe tentaram todos, começando por conhecer diretamente os autores dos estudos originais, ele diz «refazemos os trabalhos publicados linha por linha, figura a figura, realizamos os experimentos 50 vezes sem conseguir reproduzir esses resultados. No final, o autor original nos disse que o repetiu seis vezes, mas só conseguiu uma vez e depois publicou apenas os dados relativos a essa vez no artigo científico ".
Então você está investindo dinheiro em falências anunciadas
Se um experimento que é bem-sucedido apenas uma vez é proposto a você como base para investir milhões de dólares em pesquisa e produção de um novo medicamento, você investiria todo esse dinheiro?
Esta é a pergunta que eles se fizeram Leonardo Freedman do Instituto Global de Padrão Biológico de Washington, Ian Cockburn e Timothy Simcoe da Escola de Administração da Universidade de Boston. Em pesquisas recentes, eles estimaram que o governo dos EUA gasta US $ 28 bilhões anualmente em trabalhos científicos não reproduzíveis. "Não queremos dizer - explica Freedman - que eles são dinheiro jogado fora, de alguma forma contribuem para a evolução da ciência, mas pode-se dizer com certeza que, do ponto de vista econômico, o atual sistema de pesquisa científica é um sistema extremamente ineficiente " 5.
Portanto, não é por acaso que os primeiros a trazer à tona o problema da reprodutibilidade são pesquisadores que trabalham para empresas multinacionais, certamente mais atentos ao orçamento e ao retorno do investimento. Talvez seja graças ao que a lista de ilustres pesquisadores que denunciam esse "curto-circuito" está constantemente crescendo.
Dr Khusru Asadullah, executivo sênior da Baviera, disse que os pesquisadores da multinacional alemã não conseguiram replicar mais de 65% dos experimentos em que estavam trabalhando para realizar novas pesquisas3.
Também prof. george robertson da Universidade de Dalhouise, na Nova Escócia, conta quando ele trabalhou na empresa Merck sobre doenças neurodegenerativas e eles notaram que muitos trabalhos científicos acadêmicos não resistiram ao teste de reprodutibilidade4.
Em busca das causas desta crise da ciência
A ciência está em crise: ainda não queremos admiti-la publicamente, mas é hora de começar a estimular um debate.
Entre as causas dessa "crise de reprodutibilidade", certamente existem as questões técnicas descritas por Bissel, mas também existem mais aspectos humanos, como a necessidade de os cientistas publicar para a carreira e receber financiamento, às vezes, seus próprios contratos de trabalho estão vinculados ao número de publicações que eles conseguem fazer, como ele diz Presa Férricada Universidade de Washington «o bilhete mais seguro para tomar um empréstimo ou um emprego deve ser publicado em uma revista científica de alto nível. Isso é algo doentio que pode levar os cientistas a procurar notícias sensacionais ou, às vezes, a ter comportamentos desonestos ».
O professor intervém ainda mais diretamente Ken Kaitin, diretor do Centro Tufts para o Estudo do Desenvolvimento de Medicamentos, que declara «Se você pode escrever um artigo que pode ser publicado, nem pense no assunto da reprodutibilidade, faça uma observação e siga em frente. Não há incentivo para entender se a observação original foi acidentalmente errada ".
Um sistema, o da pesquisa acadêmica, que evidentemente está arrastando a ciência para uma crise de identidade e credibilidade. Em 2009 o prof. Daniele fanelli, da Universidade de Edimburgo, criou e publicou um estudo com um título emblemático: «Quantos cientistas falsificam dados e tornam a pesquisa ad hoc? "»6
Quase 14% dos cientistas pesquisados disseram conhecer colegas que inventaram totalmente os dados 34% disseram ter selecionado especificamente os dados para mostrar os resultados que os interessavam.
Em junho de 2017, o prof. Jonathan Kimmelmann, o diretor da Unidade de Ética Biomédica da Universidade McGill em Montreal publicou um novo estudo que confirma essa crise de reprodutibilidade e tenta lançar luz sobre algumas das principais causas, como la variabilidade de materiais de laboratório, problemas relacionados à complexidade dos procedimentos experimentais, organização deficiente na equipe de pesquisa e falta de capacidade crítica de análise. 7
Nem universidades nem revistas científicas estão interessadas em estudos de reprodutibilidade
Você também precisa considerar que o sistema acadêmico não recompensa quem faz estudos de reprodutibilidade, são tempo e dinheiro descartados do ponto de vista do "desempenho da produção" do grupo de pesquisa.
As mesmas revistas científicas Não estou muito interessado em publicar pesquisas que demonstrem a não reprodutibilidade de um trabalho publicado anteriormente, eles preferem publicar pesquisas inovadoras ou resultados surpreendentes e aqui está como é fácil se livrar das notícias das falhas de replicação.
Em última análise, você deve ter em mente que hoje existem pesquisas tão específicas que apenas alguns especialistas podem entendê-las e avaliá-las; dessa maneira, a atividade de revisão por pares é esterilizada (ou seja, a revisão do estudo científico por especialistas, para poder decidir se deve publicá-lo, pedir esclarecimentos ou rejeitá-lo). Em alguns casos, há um grande risco de que as revistas científicas publiquem quase às cegas, como: eu não entendi o que você está falando, mas me parece tudo sério e bem feito, você tem uma boa reputação, então eu a publico.
«Não por esse motivo, devemos agora pensar que todos os estudos científicos não são confiáveis - ele diz Andrea Penottidiretor deInstituto Interdisciplinar de Ciências da Vida - é preciso ter força para fazer uma autocrítica séria no mundo da ciência sem cair no excesso oposto da "caça às bruxas" o que levaria a uma grave crise de credibilidade, não apenas para a população em geral, mas também para os próprios médicos e entre colegas pesquisadores ».
A história da ciência sempre nos falou de uma evolução que passa por grandes crises: do questionamento do sistema geocêntrico à introdução da física quântica. A beleza da ciência sempre foi a de saber como se colocar em crise e sair mais bonita do que antes e, muitas vezes, essas grandes revoluções não exigem grandes fundos, mas apenas flashes genuínos de gênio e honestidade.
"Colocar o dedo no flagelo desta crise de credibilidade é vital para nós que trabalhamos na interdisciplinaridade, a necessidade de integrar diferentes disciplinas exige uma comparação clara mais do que nunca e faz com que quaisquer inconsistências surjam mais facilmente - Explica Andrea Eu pensei sobre isso por ocasião do congresso mundial de estudos sobre a consciência realizado em San Diego junto com o linguista Noam Chomsky - pDurante anos, a ciência se concentrou na análise das "peças únicas" da natureza, dissecou-a em busca de engrenagens primordiais. Agora é necessário redescobrir a capacidade de conectar as peças individuais estudadas e entender melhor o significado desses processos que orientam a organização e a evolução da matéria viva. Precisamos voltar à simplificação de conceitos, passar de uma sintática da vida para uma semântica da vida ».
Fontes:
- Natureza - 1
- Natureza - Reprodutibilidade: os riscos da unidade de replicação
- Natureza - Acredite ou não: quanto podemos confiar nos dados publicados sobre possíveis alvos de drogas?
- Reuters - Na ciência do câncer, muitas "descobertas" não se sustentam
- Plos One - A economia da reprodutibilidade na pesquisa pré-clínica
- Plos One - Quantos cientistas fabricaram e falsificam pesquisas? Uma revisão sistemática e metanálise dos dados da pesquisa
- Plos One - Os pesquisadores de câncer podem julgar com precisão se os relatórios pré-clínicos serão reproduzidos?