Nauka przeżywa kryzys: naukowcy nie wiedzą już, jak odtworzyć i potwierdzić wiele współczesnych eksperymentów
„Nie bierzemy nawet naszych obserwacji poważnie, ani nie uznajemy ich za obserwacje naukowe, dopóki ich nie powtórzymy i nie sprawdzimy”. Karl Popper
W przypadku nauki eksperyment musi dawać taki sam wynik, nawet jeśli przeprowadzany jest przez różnych ludzi w różnych miejscach. Ale co jeśli nagle zdamy sobie sprawę, że większość eksperymentów, na których polegamy przy opracowywaniu nowych badań i nowych leków, nie była powtarzalna?
To nie jest początek książki science fiction, to czysta rzeczywistość. niedawno Natura, jeden z najbardziej prestiżowych czasopism naukowych na świecie, opublikował artykuł, w którym pokazał, w jaki sposób ponad 70% zbadanych badań naukowych nie przeszło testów odtwarzalności1; niemniej jednak zostały opublikowane, rozpowszechnione i zacytowane przez innych badaczy jako podstawa ich własnych eksperymentów.
Zanim jednak osądzimy, powinniśmy to rozważyć «Wraz z ewolucją nauki powielanie eksperymentu staje się coraz trudniejsze, ponieważ techniki i odczynniki są coraz bardziej wyrafinowane, czasochłonne w przygotowaniu i trudne do nauczenia»2 , wyjaśnia mój Bissel, jedna z najczęściej nagradzanych amerykańskich badaczek za swoje innowacyjne badania onkologiczne. Najlepsze jest to, kontynuuje Bissel, «byłoby to skontaktować się bezpośrednio ze współpracownikiem, jeśli to konieczne, aby się spotkać i spróbować wspólnie zrozumieć, dlaczego eksperyment nie może być odtworzony. Następnie rozwiąż problem polubownie ».
Przemysł farmaceutyczny zatrzymuje się również, gdy eksperymenty nie są powtarzalne
W 2011 Glenna Begleyaw tym czasie dyrektor działu onkologii medycznej Amgen, jedna z największych międzynarodowych korporacji biotechnologicznych, postanowiła przed kontynuowaniem nowych i kosztownych eksperymentów powtórzyć 53 prace naukowe uważane za fundamentalne, na których oprą się przyszłe badania Amgena w dziedzinie onkologii. Prowadzić? Nie był w stanie powielić 47 z 53 prac naukowych, czyli 89%3.
Jeśli chcemy to napisać w inny sposób, możemy to powiedzieć tylko 11% eksperymentów naukowych uznanych za kamienie milowe w tym obszarze badań było powtarzalnych.
«Byłem w szoku - mówi Begley - były to badania, na których opierają się wszystkie branże farmaceutyczne w celu określenia nowych celów w opracowywaniu innowacyjnych leków. Ale jeśli zamierzasz zainwestować 1 milion, 2 miliony lub 5 milionów, obstawiając obserwację, musisz być pewien. Próbowaliśmy więc odtworzyć te opublikowane prace i przekonaliśmy się, że nie można wziąć niczego za to, co się wydaje »4
Próbować uspokoić wody Laureat Nagrody Nobla Philip Sharp zainterweniował wyjaśniając, jak «komórka rakowa może reagować na różne sposoby w zależności od różnych warunków eksperymentalnych. Myślę, że stąd duża zmienność odtwarzalności » 4.
Aby wykluczyć jakikolwiek błąd w odtwarzaniu warunków eksperymentalnych, często z powodu problemów z umiejętnościami manualnymi lub użyciem określonych odczynników, Bagely i jego zespół wypróbowali je wszystkie, zaczynając od bezpośredniego spotkania z autorami oryginalnych badań, mówi «prześledziliśmy opublikowane prace wiersz po wierszu, rysunek po rysunku, powtórzyliśmy eksperymenty 50 razy, nie mogąc odtworzyć tych wyników. Ostatecznie oryginalny autor powiedział nam, że powtórzył to sześć razy, ale udało mu się to tylko raz, a następnie opublikował tylko dane dotyczące tego razu w artykule naukowym ”.
Więc inwestujesz pieniądze w ogłoszone bankructwa
Sa eksperyment, który się powiedzie tylko raz, jest proponowany jako podstawa do zainwestowania milionów dolarów w badania i produkcję nowego leku, czy zainwestowałbyś wszystkie te pieniądze?
Oto pytanie, które sobie zadali Leonarda Freedmana z Global Biological Standard Institute of Washington, Ian Cockburn e Tymoteusz Simcoe Boston University School of Management. W ostatnich badaniach oszacowali to rząd Stanów Zjednoczonych wydaje 28 miliardów dolarów rocznie na niepowtarzalne prace naukowe, "Nie chcemy powiedzieć - wyjaśnia Freedman - że są pieniędzmi wyrzuconymi, w pewien sposób przyczyniają się do rozwoju nauki, ale można z całą pewnością stwierdzić, że z ekonomicznego punktu widzenia obecny system badań naukowych jest systemem wyjątkowo nieefektywnym ” 5.
Nie jest zatem przypadkiem, że pierwszymi, którzy ujawnili problem odtwarzalności, są badacze pracujący dla międzynarodowych firm, z pewnością bardziej uważni na budżet i zwrot z inwestycji. Być może to właśnie dzięki temu stale rośnie lista wybitnych badaczy, którzy potępiają to „zwarcie”.
Dr Khusru Asadullah, dyrektor wykonawczy Bawarski, powiedział, w jaki sposób naukowcy z niemieckiej wielonarodowej firmy nie udało się powtórzyć ponad 65% eksperymentów, nad którymi pracowali, aby przeprowadzić nowe badania3.
Także prof. George’a Robertsona z Uniwersytetu Dalhouise w Nowej Szkocji opowiada, kiedy pracował dla firmy Merck o chorobach neurodegeneracyjnych i zauważyli to wiele akademickich prac naukowych nie wytrzymało testu odtwarzalności4.
W poszukiwaniu przyczyn tego kryzysu nauki
Nauka przeżywa kryzys: nie chcemy jeszcze przyznać się do niej publicznie, ale czas zacząć stymulować debatę.
Wśród przyczyn tego „kryzysu odtwarzalności” z pewnością są problemy techniczne opisane przez Bissela, ale jest też więcej aspektów ludzkich, takich jak potrzeba naukowców do publikować dla kariery i otrzymywać fundusze, czasami ich własne umowy o pracę są powiązane z liczbą publikacji, które udało im się zrobić, jak sam mówi Żelazny KiełUniversity of Washington «najbezpieczniejszy bilet na pożyczkę lub pracę zostanie opublikowany w znanym czasopiśmie naukowym. Jest to coś niezdrowego, co może skłonić naukowców do poszukiwania sensacyjnych wiadomości, a czasem do nieuczciwego zachowania ».
Profesor interweniuje jeszcze bardziej bezpośrednio Kena Kaitina, dyrektor Tufts Center for Study of Drug Develompment, który stwierdza: «Jeśli potrafisz napisać artykuł, który można opublikować, nawet nie myślisz o temacie odtwarzalności, poczynisz obserwacje i przejdziesz dalej. Nie ma motywacji, aby zrozumieć, czy pierwotna obserwacja była przypadkowa. ”
System badań akademickich, który ewidentnie ciągnie naukę w stronę kryzysu tożsamości i wiarygodności. W 2009 r. Prof. Daniele Fanelliz Uniwersytetu w Edynburgu opracował i opublikował opracowanie o emblematycznym tytule: «Ilu naukowców fałszuje dane i dokonuje badań ad hoc? ”»6
Prawie 14% ankietowanych naukowców stwierdziło, że zna kolegów, którzy całkowicie wymyślili dane, red 34% stwierdziło, że specjalnie wybrało dane, aby przedstawić interesujące ich wyniki.
W czerwcu 2017 r. Prof. Jonathan Kimmelmanna, dyrektor Biomedical Ethics Unit na McGill University w Montrealu opublikował nowe badanie, które potwierdza ten kryzys odtwarzalności i próbuje rzucić światło na niektóre z głównych przyczyn, takich jak la zmienność materiałów laboratoryjnych, problemy związane ze złożonością procedur eksperymentalnych, słabą organizacją w zespole badawczym i brakiem zdolności krytycznej analizy. 7
Ani uniwersytety, ani czasopisma naukowe nie są zainteresowane badaniami odtwarzalności
Musisz także wziąć to pod uwagę system akademicki w ogóle nie wynagradza tych, którzy wykonują badania odtwarzalności, to czas i pieniądze wyrzucane z punktu widzenia „wydajności produkcyjnej” grupy badawczej.
Te same czasopisma naukowe Nie bardzo interesuje mnie publikowanie badań, które wykazują brak powtarzalności wcześniej opublikowanej pracy, wolą publikować innowacyjne badania lub zaskakujące wyniki dlatego oto, jak łatwo pozbyć się wiadomości o niepowodzeniach replikacji
Ostatecznie musisz o tym pamiętać dzisiaj są badania tak szczegółowe, że tylko kilku ekspertów może je zrozumieć i ocenić; w ten sposób sterylizowana jest ocena wzajemna (tj. przegląd badań naukowych przez ekspertów, aby móc zdecydować, czy je opublikować, poprosić o wyjaśnienie, czy odrzucić). W niektórych przypadkach istnieje duże ryzyko, że czasopisma naukowe publikują prawie na ślepo, na przykład: Nie zrozumiałem, o czym mówisz, ale wydaje mi się, że wszystko jest poważne i dobrze zrobione, masz dobrą reputację, więc publikuję to.
«Nie z tego powodu musimy teraz myśleć, że wszystkie badania naukowe są niewiarygodne - stwierdza Andrea Penotti, dyrektorInterdyscyplinarny instytut nauk przyrodniczych - trzeba mieć siłę do poważnej samokrytyki w świecie nauki bez popadania w przeciwny nadmiar „polowania na czarownice” co doprowadziłoby do poważnego kryzysu wiarygodności nie tylko w stosunku do populacji ogólnej, ale także do samych lekarzy i innych badaczy ».
Historia nauki zawsze mówiła nam o ewolucji, która przechodzi wielkie kryzysy: od kwestionowania systemu geocentrycznego po wprowadzenie fizyki kwantowej. Piękno nauki zawsze polegało na tym, aby umieć stawić się w kryzysie i wyjść piękniej niż przedtem, a te wielkie rewolucje często nie wymagają dużych funduszy, a jedynie autentyczne błyski geniuszu i uczciwości.
„Stawiając palec w obliczu kryzysu wiarygodności jest niezbędna dla nas, którzy pracujemy nad interdyscyplinarnością, potrzeba integracji różnych dyscyplin wymaga bardziej niż kiedykolwiek jasnego porównania i sprawia, że wszelkie niespójności pojawiają się łatwiej - wyjaśnia Andrea myślałem o tym z okazji światowego kongresu badań świadomości w San Diego wraz z lingwistą Noam Chomsky - pPrzez lata nauka koncentrowała się na analizie „pojedynczych kawałków” natury, dokonała ich analizy w poszukiwaniu pierwotnych narzędzi. Teraz trzeba ponownie odkryć zdolność łączenia poszczególnych badanych elementów i lepiej zrozumieć znaczenie tych procesów, które kierują organizacją i ewolucją żywej materii. Musimy powrócić do uproszczenia pojęć, przejść od syntaktyki życia do semantyki życia ».
Źródła:
- Natura - 1
- Natura - Odtwarzalność: ryzyko związane z dyskiem replikacji
- Natura - Wierzcie lub nie: w jakim stopniu możemy polegać na opublikowanych danych na temat potencjalnych celów narkotykowych?
- Reuters - W nauce o nowotworach wiele „odkryć” nie wytrzymuje
- Plos One - Ekonomika odtwarzalności w badaniach przedklinicznych
- Plos One - Ilu naukowców sfabrykowało i sfałszowało badania? Systematyczny przegląd i metaanaliza danych ankietowych
- Plos One - Czy badacze raka mogą dokładnie ocenić, czy raporty przedkliniczne będą się reprodukować?