La fallace Scienza, in tutte le sue espressioni od enunciazioni va sempre controllata e verificata, specie quella sanitaria.
Anche se Werner Heisenberg ritiene che non sarà mai possibile, attraverso la “ragion pura”, arrivare a qualche verità assoluta, la ricerca della verità guida la ricerca scientifica. Il requisito imprescindibile di una ricerca è che deve essere riproducibile. Se sei l’unica persona che può osservare un risultato, quel risultato, molto probamente, non è valido.
La scienza deve sostituire i pregiudizi “pubblici e privati” con evidenze verificabili.
La riproducibilità di un risultato è un segno di credibilità e lo definiamo convenzionalmente “evidenza sperimentale”.
Spetta all’insieme degli scienziati ricercatori, verificarne la veridicità attraverso la replica dei risultati ottenuti. La riproducibilità non è soltanto un requisito scientifico fondamentale, ma diventa ed è un valore etico, soprattutto quando le decisioni politiche (vedi i fasulli DPCM) e le scelte terapeutiche si basano sui risultati della cosiddetta ricerca scientifica, che scientifica non è quasi mai al massimo al15 %.
C’è una crisi di riproducibilità nella scienza ? La risposta è Si !
Promemoria, la cosiddetta comunità scientifica, non esiste !
Esistono i ricercatori, scienziati, che hanno in genere proprie ideologie e tesi, che normalmente dovrebbero essere discusse fra di loro, cosa che accade raramente e quindi quelle tesi non sono verificabili né dimostrabili, quindi fasulle !
Quindi la scienza è in crisi: i ricercatori non sanno più riprodurre e confermare molti degli esperimenti moderni. “Non prendiamo neppure sul serio le nostre proprie osservazioni, né le accettiamo come osservazioni scientifiche, finché non le abbiamo ripetute e controllate”. – By Karl Popper
Per la scienza un esperimento deve dare lo stesso risultato anche se condotto da persone diverse in luoghi differenti. Ma cosa succederebbe se di colpo ci rendessimo conto che la maggior parte degli esperimenti su cui ci si basa per sviluppare nuove ricerche e nuovi farmaci non fossero riproducibili ?
Richard Feynman una volta disse che: “la scienza è l’arte di non prendersi in giro da soli”. Peccato che alla Amgen, una industria biotecnologica in California, qualcuno tempo fa qualcuno si sentì molto preso in giro. I ricercatori della Amgen stavano cercando di ottenere nuove terapie per il cancro.
Come tutti i bravi scienziati essi salirono “sulle spalle dei giganti”, per dirla con Newton: ovvero si documentarono sulle ricerche pubblicate dai loro colleghi e per prima cosa cercarono di riprodurre i loro risultati.
Ma qualcosa non andava.
Quasi tutte le ricerche che avevano selezionato come punto di partenza per ulteriori studi sembravano non funzionare. Non si trattava di oscuri esperimenti di dubbia qualità: erano studi apparsi sulle più prestigiose riviste internazionali, citati e menzionati come pietre miliari da centinaia di colleghi. In alcuni casi quegli articoli furono il punto di partenza di intere linee di ricerca.
Di fronte a loro, il laboratorio della Amgen sembrava in preda a una maledizione. Usarono gli stessi reagenti, le stesse cellule, gli stessi metodi descritti negli articoli. Eppure, dopo mesi di sudato lavoro, dopo aver contattato gli scienziati che avevano pubblicato queste ricerche, di 53 studi pubblicati presi come riferimento, alla Amgen riuscirono a confermarne soltanto sei. L’11%
“Nature” – una delle più prestigiose ed accreditate riviste scientifiche al mondo – ha pubblicato un articolo nel quale si è dimostrato come più del 70 % delle ricerche scientifiche prese in esame, avesse fallito i test di riproducibilità e questo nonostante esse siano state pubblicate, diffuse e citate da altri ricercatori, come base dei loro stessi esperimenti, quindi è certificato e dimostrato che è nei fatti, è tutta una catena di falsità pubblicate sulle riviste e spacciate come scientifiche….
Nel 2011 Glenn Begley, ai tempi direttore del dipartimento di oncologia medica della Amgen, una delle più grosse multinazionali di biotecnologie, aveva deciso prima di procedere con nuovi e costosi esperimenti, di replicare i 53 lavori scientifici considerati come fondamentali su cui si sarebbero basate le future ricerche della Amgen in oncologia.
Risultato ? Non fu in grado di replicare 47 su 53, ossia l’89 %.
Se vogliamo scriverlo in altro modo possiamo dire che solo l’11% degli esperimenti scientifici considerati come pietre miliari in quel settore di ricerca, erano riproducibili.
“Rimasi scioccato – racconta Begley – si trattava di studi su cui si affidano tutte le industrie farmaceutiche per identificare nuovi target nello sviluppo di farmaci innovativi. Ma se tu stai per investire 1 milione, 2 milioni o 5 milioni scommettendo su un’osservazione hai bisogno di essere sicuro. Così abbiamo provato a riprodurre questi lavori pubblicati e ci siamo convinti che non puoi prendere più nulla per quello che sembra”.
Per cercare di calmare le acque il premio Nobel Philip Sharp è intervenuto spiegando come “una cellula tumorale può rispondere in modi diversi a seconda delle differenti condizioni sperimentali. Penso che molta della variabilità nella riproducibilità possa venire da qui”.
Gli scienziati della Amgen scrissero a Nature per denunciare l’accaduto. E si accorsero di non essere soli: nel 2011 prima un’inchiesta della Bayer aveva mostrato che, in media, solo il 20-25% degli studi pubblicati riusciva a essere confermato da un team indipendente. Il doppio rispetto alla percentuale della Amgen, ma pur sempre terribilmente basso.
Un Sistema, quello della ricerca accademica, che sta evidentemente trascinando la cosiddetta Scienza verso una crisi di identità e di credibilità.
Nel 2009 il prof. Daniele Fanelli, dell’Università di Edimburgo, ha realizzato e pubblicato uno studio dal titolo emblematico: «Quanti scienziati falsificano i dati e fabbricano ad hoc le ricerche?”»
Quasi il 14% degli scienziati intervistati ha affermato di conoscere colleghi che hanno totalmente inventato dei dati ed il 34% ha affermato di aver appositamente selezionato i dati per far emergere i risultati che gli interessavano.
Né le università né le riviste scientifiche sono interessate agli studi di riproducibilità
È inoltre necessario considerare che il sistema accademico non premia per niente chi fa studi di riproducibilità, sono tempo e soldi buttati via dal punto di vista delle “performance produttive” del gruppo di ricerca.
Le stesse riviste scientifiche non sono un gran che interessate a pubblicare ricerche che dimostrano la non riproducibilità di un precedente lavoro pubblicato, preferiscono pubblicare ricerche innovative o risultati sorprendenti e così ecco com’è facile far sparire le notizie dei fallimenti delle repliche.
In pratica quindi, la Bayer e la Amgen stavano dimostrando che la grande maggioranza della ricerca scientifica, almeno in ambito biomedico, era a livello dell’aneddoto di “mio cugino”.
Ma non si può continuare a lungo a fare gli struzzi in camice bianco, con la testa sotto la sabbia. Amgen e Bayer erano solo la punta dell’iceberg.
Bugie, dannate bugie, e statistiche.
In realtà si sapeva da tempo che il re era nudo. L’epidemiologo John Ioannidis già nel 2005 pubblicò un articolo dirompente fin dal titolo: Perché la maggior parte delle ricerche pubblicate sono false.
Ioannidis aveva già notato da tempo che c’erano delle difficoltà sospette nel riprodurre risultati scientifici. Studiando il setup medio degli esperimenti in campo biologico e medico, e applicando la statistica rigorosamente, Ioannidis dimostrava che, in media, la probabilità che uno studio scientifico fosse vero era inferiore al 50%. Ironia della sorte, lo stesso articolo di Ioannidis è stato fortemente criticato, e studi successivi hanno ridotto questa predizione matematica di studi falsi a circa il 25%.
John Ioannides Un “influencers” per la qualità scientifica Nato a New York City nel 1965, Ioannidis è cresciuto ad Atene dove si laureò in Medicina e Chirurgia con la menzione di miglior studente del Athens College e vincitore del National Award of the Greek Mathematical Society che lo ha definiva come “un genio della statistica matematica medica”.Negli anni successivi presso la Stanford University che ha contribuito in maniera determinante alla definizione del EBM medicina basata sull’evidenza all’epidemiologia e alla ricerca clinica. Ioannidis è considerato il padre della “meta-ricerca” da lui definita come “ lo studio degli studi” . L’articolo ” Why Most Published Research Findings Are False ” è il documento più scaricato nella Public Library of Science . Ioannidis afferma che la maggior parte delle ricerche pubblicate non soddisfa buoni standard scientifici di prova e che considera di fatto dei “falsi” . Ha di fatto formalizzato la “crisi di replica” in diversi settori tra cui la genetica , gli studi clinici, neuroscienze , e la nutrizione . Il suo lavoro ha come obietto ultimo di proporre soluzioni ai problemi nella ricerca e su come eseguire la ricerca in modo affidabile. Nel articolo del 2016 “Perché la maggior parte della ricerca clinica non è utile” Ioannidis propone una riforma, caratterizzando alcuni punti affinché la ricerca medica possa essere realmente utile; in particolare auspica una medicina “centrata sul paziente” piuttosto che delle esigenze di medici, sponsor e degli stessi ricercatori Insieme a Thomas Trikalinos ha coniato il fenomeno Proteus per descrivere la tendenza degli studi preliminari a trovare un effetto più ampio rispetto a quelli successivi. The Atlantic ha dichiarato in un’edizione speciale su “Brave Thinkers” che Ioannidis “potrebbe essere uno degli scienziati più influenti” nel campo scientifico” Il BMJ lo ha definito come “l’inquisitore della scienza sciatta” . Ioannidis ha ricevuto numerosi premi e titoli onorifici. E’ membro delle Accademia Nazionale di Medicina degli Stati Uniti,della Accademia Europea delle Scienze e delle Arti ed insignito del Einstein Fellow. Nel 2019, è stato premiato con Robert S. Gordon, Jr. dal NIH come “Lecture in Epidemiology”
Victoria Stodden, docente di statistica alla Stanford University, sostiene che la comprensione e l’utilizzo appropriato della statistica da parte dei ricercatori non è andata di pari passo con lo sviluppo di complesse tecniche matematiche per elaborare i dati. I ricercatori spesso usano tecniche inappropriate e largamente superate, solo perché sono quelle che conoscono meglio e gestiscono l’analisi dei dati con dei software che usano molto spesso in maniera automatica e senza conoscerli nel dettaglio.
Una valutazione statistica può dimostrarci che siamo in errore, ma purtroppo ci dice poco o nulla su quale sia la verità.
Medicina: dal mito al mitocondrio
Abbiamo un’immagine mitica di ciò che la scienza e la medicina possono fare. Crediamo nella medicina come fornitore di conoscenza oggettiva, ma non riusciamo a riconoscere questo atteggiamento per quello che è: una credenza, che dovrebbe essere esaminata come tale nella sua relazione con un sistema di credenze più generale, cosa chiamiamo cultura. Una promozione affrettata
La medicina è entrata solo di recente nei ranghi di ciò che chiamiamo “scienze dure”. i numerosi modi in cui gli studi randomizzati non riescono a fornire risultati coerenti, o anche semplicemente applicabili, iniziamo a chiederci se questa recente promozione non sia stata affrettata.
Per secoli la medicina è stata concepita come rito magico o religioso, come tecnica o mestiere per i suoi aspetti pratici (chirurgia, ostetricia), o come disciplina letteraria che si basa sull’attenta lettura e glossatura di autori canonici dell’antichità (Galeno e Ippocrate) per la sua parte teorica (anatomia, farmacopea).
Ora che la letteratura medica è secolarizzata e basata su fatti e osservazioni, si potrebbe presumere che la medicina applichi i metodi scientifici più rigorosi e fornisca una conoscenza basata sull’evidenza dei disturbi e delle condizioni per guidare i medici.
Ma come mostrano il lavoro di Ioannidis una solida metodologia e criteri di pubblicazione selettivi non sono la norma. Né sono sufficienti di per sé per fornire il tipo di verità dura che i pazienti si aspettano.
Un malinteso dominante
La fede odierna nella medicina come scienza (e nella scienza come ricerca della verità assoluta e nella tecnologia come soluzione per tutto) è un malinteso dominante che non rende meno reale il bisogno di ricerca medica e l’enorme servizio che i medici rendono all’umanità.
Tuttavia, questo malinteso è costoso finanziariamente, umanamente e intellettualmente: la fede cieca nei farmaci o nelle scoperte porta a trattamenti nella migliore delle ipotesi inefficaci, nel peggiore dei casi a quelli potenzialmente pericolosi.
John Ioannidis e al suo team di studiosi per aver sfatato i miti dietro le “notizie” mediche: questo atto di interrogatorio sanitario ci costringe a pensare al corpo come a qualcosa di più complesso e prezioso di una macchina per essere risolto.
La lezione da trarre da questa indagine non è certamente quella di tagliare i fondi per la ricerca medica, ma di riconoscere che le nostre aspettative tanto quanto le nostre metodologie devono essere ripensate totalmente.
Il filosofo e storico della scienza Jerome R. Ravetz ha predetto nel suo libro del 1971 Scientific Knowledge and Its Social Problems che la scienza – nella sua progressione dalla “piccola” scienza composta da comunità isolate di ricercatori, alla “grande” scienza o “tecno-scienza” – subirebbe grossi problemi nel suo sistema interno di controllo della qualità. Ravetz ha riconosciuto che la struttura degli incentivi per gli scienziati moderni potrebbe diventare disfunzionale, ora nota come l’attuale sfida “pubblica o muori”, creando incentivi perversi a pubblicare qualsiasi risultato, per quanto dubbio. Secondo Ravetz, la qualità nella scienza è mantenuta solo quando c’è una comunità di studiosi legati da un insieme di norme e standard condivisi, i quali sono tutti disposti e in grado di ritenersi reciprocamente responsabili. Lo storico Philip Mirowski ha offerto una diagnosi simile nel suo libro del 2011 Science Mart (2011). (nel titolo, la parola “Mart” si riferisce al gigante della vendita al dettaglio “Walmart”, usata da Mirowski come metafora per la mercificazione della scienza) . Nell’analisi di Mirowski, la qualità della scienza crolla quando diventa una merce negoziata in un mercato. Mirowski fa risalire il decadimento della scienza alla decisione delle grandi società di chiudere i loro laboratori interni e di esternalizzare l’attività di ricerca nel tentativo di ridurre i costi e aumentare i profitti.
Resta un in ogni caso un problema di fondo: le implicazioni di questi fatti sono SPAVENTOSE. La riproducibilità dei risultati è sempre stato il fondamento del metodo scientifico.
L’Economist ha pubblicato una grafica che spiega il discorso in modo più dettagliato, ma comunque assai semplice. E c’è pure un ottimo fumetto di XKCD.
Non tutti gli esperimenti sono uguali.
È inutile: i risultati negativi non piacciono a nessuno. Anche se sono comunque risultati: dire “questo non funziona” spesso è altrettanto utile e significativo di dire “questo funziona”.
Le riviste scientifiche però non ne vogliono sapere, e gli scienziati stessi si vergognano di riportare risultati negativi, pensando che invalidino la loro reputazione.
Lo strano caso del salmone zombie
Fin qui, quello che succede assumendo quindi credendo che gli esperimenti siano comunque corretti. Ed è già preoccupante. Ma c’è di peggio.
Nel 2005 Craig Bennett, ricercatore di neuroscienze all’Università della California, aveva bisogno di calibrare il suo strumento di risonanza magnetica nucleare per gli studi sul cervello. Bennett decise che un ottimo test sarebbe stato un salmone. Morto. Un bel salmone dell’Atlantico, grasso e gustoso, riciclabile per la cena, e privo di qualsivoglia attività cerebrale. Comprò il pesce al supermercato, lo portò in laboratorio, lo infilò nella macchina, registrò le risposte. L’interno del salmone si vedeva perfettamente, la macchina funzionava. A posto.
Qualche anno dopo Bennett decise di usare i dati del salmone per una lezione. Voleva insegnare ai suoi studenti come analizzare i dati di risonanza magnetica sull’attività del cervello, e la risonanza del salmone era un simpatico esempio di attività nulla. Fece quindi l’analisi con un metodo usato comunemente negli studi di neuroscienze. Con sommo sbigottimento, trovò che il salmone dava risultati positivi.
Per la precisione: sottoponendo il salmone (morto) allo stesso test che usava sui soggetti umani (vivi e coscienti) sul riconoscimento di situazioni emotive in fotografie, poteva dimostrare che il salmone morto riconosceva le emozioni umane. C’erano dei picchi di attività chiaramente riconoscibili nel cervello del salmone.
In realtà Bennett non aveva certo scoperto di avere un salmone zombie (ed estremamente intelligente). Il risultato era un mero artefatto, dovuto a un metodo statistico poco accurato. Era l’equivalente neurologico di vedere figure nelle nuvole. Però lo stesso metodo che dimostrava le sorprendenti capacità dei pesci defunti era anche applicato in poco meno di metà degli studi di neuroscienze. Studi che valevano tanto quanto quello col salmone. Lo studio di Bennett sul salmone vinse il premio IgNobel, ma era anche un serio campanello d’allarme. E infatti un’analisi degli studi di neuroscienze pubblicati ha mostrato che la maggioranza non è statisticamente attendibile.
Ma le neuroscienze non sono le uniche a doversi fare un “esame di coscienza”.
Qualche settimana fa la prestigiosa rivista Science ha riportato che molti degli studi fatti su animali soffrono di seri problemi.
Il punto non è nei modelli animali, che di per sè sono fondamentali. Piuttosto, siccome usare animali costa molto, e richiede rigorosi protocolli etici, si cerca sempre di usarne il meno possibile. Questi limiti portano i ricercatori a trascurare banali controlli, come il placebo. E anche quando i controlli ci sono il numero di animali utilizzati è, spesso, semplicemente troppo piccolo, quindi il test non vale.
Uno studio sottodimensionato non ha quella che si chiama potenza statistica: rischia facilmente di non vedere risultati reali o, viceversa, di vedere un effetto per puro caso.
E’ anche indispensabile pubblicare i risultati negativi
È possibile avere un vero quadro statistico della situazione solo se tutti i risultati vengono pubblicati, non solo quelli che collimano con l’ipotesi ideologica di partenza.
Inoltre mettere alla pari i risultati negativi riduce il rischio che l’ossessione per ottenere un risultato positivo porti a falsare un esperimento – consciamente o inconsciamente.
Tutto ciò avviene anche perché la cosiddetta scienza, che si arroga il diritto di censurare, criticare, smontare, demolire tutto quello che non rientra nella sua ufficialità, è gestita e FINANZIATA dai banchieri e dalle multinazionali dal “pensiero unico”, quindi fa acqua da tutte le parti e serve solo gli interessi ideologici e finanziari dei suoi padroni !
Oggi però e per fortuna, non abbiamo più bisogno del filtro delle riviste: possiamo mettere i dati direttamente su Internet, in tempo reale. Il progetto FigShare propone esattamente questo: una piattaforma per rendere disponibili online i dati grezzi della ricerca – anche di quelli che normalmente, e non per demeriti scientifici, sarebbero considerati “impubblicabili”, e renderli citabili, ritrovabili e catalogabili, proprio come un articolo scientifico.
Una maggiore affidabilità di uno studio è solo uno dei benefici di una scienza, che finalmente, e si spera sia veramente aperta.
Bibliografie:
1 – Nature – 1,500 scientists lift the lid on reproducibility – survey sheds light on the ‘crisis’ rocking research
2 – Nature – Reproducibility: The risks of the replication drive
3 – Nature – Believe it or not: how much can we rely on published data on potential drug targets?
4 – Reuters – In cancer science, many “discoveries” don’t hold up
5 – Plos One – The Economics of Reproducibility in Preclinical Research
6 – Plos One – How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data
7 – Plos One – Can cancer researchers accurately judge whether preclinical reports will reproduce?
Interdisciplinary Life Sciences Institute
