De wetenschap verkeert in een crisis: onderzoekers weten niet langer hoe ze veel moderne experimenten moeten reproduceren en bevestigen

"We nemen onze eigen waarnemingen niet eens serieus, en accepteren ze ook niet als wetenschappelijke waarnemingen, totdat we ze hebben herhaald en gecontroleerd."  Karl Popper

Voor de wetenschap moet een experiment hetzelfde resultaat geven, zelfs als het door verschillende mensen op verschillende plaatsen wordt uitgevoerd. Maar wat als we ons plotseling realiseerden dat de meeste experimenten waarop we vertrouwen om nieuw onderzoek en nieuwe medicijnen te ontwikkelen niet reproduceerbaar waren?

Het is niet het begin van een sciencefictionboek, dit is pure realiteit. onlangs NATUUR, een van de meest prestigieuze wetenschappelijke tijdschriften ter wereld, heeft een artikel gepubliceerd waarin is aangetoond hoe meer dan 70% van het onderzochte wetenschappelijke onderzoek had de reproduceerbaarheidstests niet doorstaan¹; niettemin zijn ze gepubliceerd, verspreid en geciteerd door andere onderzoekers als basis voor hun eigen experimenten.

Voordat we oordelen, moeten we dat echter overwegen «Met de evolutie van de wetenschap wordt het steeds moeilijker om een ​​experiment te repliceren omdat de technieken en reagentia steeds geavanceerder zijn, tijdrovend om te bereiden en moeilijk te onderwijzen zijn»² legt hij uit mijn Bissel, een van de meest bekroonde Amerikaanse onderzoekers voor haar innovatieve oncologieonderzoek. Het beste, vervolgt Bissel, «het zou zijn om direct contact op te nemen met de collega, indien nodig, om samen te proberen te begrijpen waarom het experiment niet kan worden gereproduceerd. Los vervolgens het probleem minnelijk op ».

De farmaceutische industrie stopt ook wanneer de experimenten niet reproduceerbaar zijn

In 2011 Glenn Begleyop dat moment directeur van de afdeling medische oncologie van Amgen, een van de grootste multinationale multinationals in de biotechnologie, had besloten om, alvorens verder te gaan met nieuwe en dure experimenten, de 53 wetenschappelijke werken te repliceren die als fundamenteel worden beschouwd waarop Amgen's toekomstige onderzoek naar oncologie zou worden gebaseerd. Resultaat? Hij was niet in staat om 47 van 53 wetenschappelijke artikelen te repliceren, of 89%³.

Als we het op een andere manier willen schrijven, kunnen we dat zeggen slechts 11% van de wetenschappelijke experimenten die als mijlpalen in dat onderzoeksgebied werden beschouwd, was reproduceerbaar.

«Ik was geschokt - zegt Begley - dit waren studies waarop alle farmaceutische industrieën vertrouwen om nieuwe doelen te identificeren bij de ontwikkeling van innovatieve geneesmiddelen. Maar als je 1 miljoen, 2 miljoen of 5 miljoen gaat gokken op een observatie, moet je zeker zijn. Dus we probeerden deze gepubliceerde werken te reproduceren en we waren ervan overtuigd dat je niets kunt nemen voor wat het lijkt »⁴

Om te proberen het water te kalmeren Nobelprijswinnaar Philip Sharp kwam tussenbeide en legde uit hoe «een kankercel kan op verschillende manieren reageren, afhankelijk van de verschillende experimentele omstandigheden. Ik denk dat veel van de variabiliteit in reproduceerbaarheid hier vandaan kan komen » ⁴.

Om elk type fout in de reproductie van de experimentele omstandigheden uit te sluiten, vaak vanwege problemen met handmatige vaardigheden of het gebruik van specifieke reagentia, hebben Bagely en zijn team ze allemaal geprobeerd, beginnend met het rechtstreeks ontmoeten van de auteurs van de oorspronkelijke onderzoeken, zegt hij «we hebben de gepubliceerde werken regel voor regel teruggevonden, figuur voor figuur, we hebben de experimenten 50 keer gedaan zonder die resultaten te kunnen reproduceren. Uiteindelijk vertelde de oorspronkelijke auteur ons dat hij het zes keer had herhaald, maar dat hij slechts eenmaal was geslaagd en vervolgens alleen de gegevens met betrekking tot die ene keer in het wetenschappelijke artikel had gepubliceerd. "

U investeert dus geld in aangekondigde faillissementen

Sen een experiment dat slechts eenmaal slaagt, wordt u voorgesteld als basis voor het investeren van miljoenen dollars in onderzoek en het produceren van een nieuw medicijn, zou u al dat geld investeren?

Dit is de vraag die zij zichzelf stelden Leonard Freedman van het Global Biological Standard Institute of Washington, Iain Cockburn e Timothy Simcoe van de Boston University School of Management. In recent onderzoek schatten ze dat de Amerikaanse overheid besteedt jaarlijks $ 28 miljard aan niet-reproduceerbaar wetenschappelijk werk. "We bedoelen het niet - legt Freedman uit -  dat het geld wordt weggegooid, op de een of andere manier bijdraagt ​​aan de evolutie van de wetenschap, maar met zekerheid kan worden gezegd dat het huidige systeem van wetenschappelijk onderzoek vanuit economisch oogpunt een uiterst inefficiënt systeem is " ⁵.

Het is daarom geen toeval dat onderzoekers die voor multinationale bedrijven werken, als eerste het probleem van de reproduceerbaarheid naar voren brengen, zeker aandachtiger zijn voor het budget en het rendement van de investering. Misschien is het te danken aan wat de lijst van illustere onderzoekers die deze "kortsluiting" aan de kaak stellen, voortdurend groeit.

Dr. Khusru Asadullah, senior executive van de Beierse, zei hoe onderzoekers van de Duitse multinational er niet in waren geslaagd om meer dan 65% van de experimenten waaraan ze werkten om nieuw onderzoek uit te voeren, te repliceren³.

Ook prof. george robertson van Dalhouise University in Nova Scotia vertelt over wanneer hij voor het bedrijf werkte Merck over neuro-degeneratieve ziekten en dat hadden ze gemerkt veel academische wetenschappelijke artikelen konden de reproduceerbaarheidstoets niet doorstaan⁴.

Op zoek naar de oorzaken van deze wetenschapscrisis

De wetenschap verkeert in een crisis: we willen dit nog niet publiekelijk toegeven, maar het is tijd om een ​​debat te stimuleren.

Onder de oorzaken van deze "reproduceerbaarheidscrisis" zijn er zeker de technische problemen beschreven door Bissel, maar er zijn ook meer menselijke aspecten zoals de noodzaak voor wetenschappers om publiceren voor carrière en financiering ontvangen, soms zijn hun eigen arbeidscontracten gebonden aan het aantal publicaties dat ze kunnen doen, zoals hij zegt Ferri hoektandvan de universiteit van Washington «het veiligste ticket om een ​​lening of een baan aan te gaan, wordt gepubliceerd in een wetenschappelijk hoogstaand tijdschrift. Dit is iets ongezond dat wetenschappers ertoe kan brengen sensationeel nieuws te zoeken of soms oneerlijk gedrag te vertonen ».

De professor grijpt nog directer in Ken Kaitin, directeur van het Tufts Center for the Study of the Drug Develompment, waarin staat «Als je een artikel kunt schrijven dat gepubliceerd kan worden, denk dan niet eens aan het onderwerp reproduceerbaarheid, maak een observatie en ga verder. Er is geen reden om te begrijpen of de oorspronkelijke waarneming per ongeluk verkeerd was. "

Een systeem, dat van academisch onderzoek, dat kennelijk de wetenschap naar een crisis van identiteit en geloofwaardigheid sleept. In 2009 heeft de prof. Daniele Fanelli, van de Universiteit van Edinburgh, heeft een studie met een emblematische titel gemaakt en gepubliceerd: «Hoeveel wetenschappers vervalsen gegevens en maken ad-hoc onderzoek? "»⁶

Bijna 14% van de ondervraagde wetenschappers zei dat ze collega's kenden die de gegevens volledig hadden uitgevonden, red 34% zei dat ze specifiek de gegevens hadden geselecteerd om de resultaten naar voren te brengen die hen interesseerden.

In juni 2017 heeft de prof. Jonathan Kimmelman, directeur van de Biomedical Ethics Unit van McGill University in Montreal, heeft een nieuwe studie gepubliceerd die deze reproduceerbaarheidscrisis bevestigt en licht probeert te werpen op enkele van de belangrijkste oorzaken, zoals la variabiliteit van laboratoriummaterialen, problemen in verband met de complexiteit van de experimentele procedures, de slechte organisatie in het onderzoeksteam en het gebrek aan kritische analysecapaciteit. ⁷

Universiteiten noch wetenschappelijke tijdschriften zijn geïnteresseerd in reproduceerbaarheidsstudies

Daar moet je ook rekening mee houden het academische systeem beloont degenen die reproduceerbaarheidsstudies doen helemaal niet, worden tijd en geld weggegooid vanuit het oogpunt van de "productieprestaties" van de onderzoeksgroep.

Dezelfde wetenschappelijke tijdschriften Ik ben niet erg geïnteresseerd in het publiceren van onderzoek dat de niet-reproduceerbaarheid van een eerder gepubliceerd werk aantoont, ze publiceren liever innovatief onderzoek of verrassende resultaten en dus is hier hoe gemakkelijk het is om het nieuws van de replicatiefouten kwijt te raken.

Uiteindelijk moet je daar rekening mee houden tegenwoordig is er onderzoek dat zo specifiek is dat slechts enkele experts het kunnen begrijpen en evalueren; op deze manier wordt de peer review-activiteit gesteriliseerd (d.w.z. de beoordeling van de wetenschappelijke studie door experts om te kunnen beslissen of deze wordt gepubliceerd, om opheldering wordt gevraagd of wordt afgewezen). In sommige gevallen is er een groot risico dat wetenschappelijke tijdschriften bijna blind publiceren, zoals: ik begreep niet waar je het over hebt, maar het lijkt me allemaal serieus en goed gedaan, je hebt een goede reputatie, dus ik publiceer het.

«Niet om deze reden moeten we nu denken dat alle wetenschappelijke studies onbetrouwbaar zijn - zegt hij Andrea Penotti, directeur vanInterdisciplinair Life Science Institute - men moet de kracht hebben om een ​​serieuze zelfkritiek te maken in de wereld van de wetenschap zonder in het tegenovergestelde van de "heksenjacht" te vallen die zou leiden tot een ernstige geloofwaardigheidscrisis, niet alleen tegenover de algemene bevolking, maar ook tegenover de artsen zelf en bij collega-onderzoekers ».

De geschiedenis van de wetenschap heeft ons altijd verteld over een evolutie die grote crises doormaakt: van het bevragen van het geocentrische systeem tot de introductie van de kwantumfysica. De schoonheid van de wetenschap is altijd geweest om te weten hoe je jezelf in een crisis kunt brengen en er mooier uit kunt zien dan voorheen en vaak vereisen deze grote revoluties geen grote financiering, maar alleen echte flitsen van genialiteit en eerlijkheid.

"Het is van vitaal belang voor ons die werken aan interdisciplinariteit om je vinger aan de gesel te geven van deze crisis van geloofwaardigheid, de noodzaak om verschillende disciplines te integreren vereist meer dan ooit een duidelijke vergelijking en maakt inconsistenties gemakkelijker naar voren - legt hij uit Andrea ik heb erover nagedacht ter gelegenheid van het wereldcongres van studies over bewustzijn dat samen met de taalkundige in San Diego werd gehouden Noam Chomsky - pJarenlang heeft de wetenschap zich gericht op de analyse van de 'afzonderlijke stukken' van de natuur, heeft deze ontleed op zoek naar primordiale tandwielen. Het is nu noodzakelijk om het vermogen om de afzonderlijke bestudeerde stukken te verbinden opnieuw te ontdekken en de betekenis van die processen die de organisatie en evolutie van levende materie sturen, beter te begrijpen. We moeten terugkeren naar de vereenvoudiging van concepten, van een syntactiek van het leven naar een semantiek van het leven gaan ».

Bronnen:

1. Natuur - 1
2. Natuur - Reproduceerbaarheid: de risico's van het replicatie-station
3. Natuur - Geloof het of niet: hoeveel kunnen we vertrouwen op gepubliceerde gegevens over potentiële drugdoelen?
4. Reuters - In de kankerwetenschap houden veel 'ontdekkingen' niet stand
5. Plos One - De economie van reproduceerbaarheid in preklinisch onderzoek
6. Plos One - Hoeveel wetenschappers hebben onderzoek verzonnen en vervalst? Een systematische review en meta-analyse van enquêtegegevens
7. Plos One - Kunnen kankeronderzoekers nauwkeurig beoordelen of preklinische rapporten zich zullen reproduceren?

Bron: https://saluteuropa.org/scoprire-la-scienza/la-scienza-crisi-ricercatori-non-sanno-piu-riprodurre-confermare-molti-degli-esperimenti-moderni/