Il plagio nella scienza. Le bugie hanno le gambe corte

Il plagio nella scienza. Le bugie hanno le gambe corte

Tom Jefferson1, Luca De Fiore2

1Honorary Research Fellow, Centre for Evidence Based Medicine, Oxford; 2Il Pensiero Scientifico Editore.

Riassunto. Un antico proverbio italiano avverte che le bugie hanno le gambe corte. In altre parole, alla fine chi mente viene scoperto. Questo è quello che è capitato a un ricercatore italiano che ha servito da referee per un articolo proposto nel 2015 agli Annals of Internal Medicine. Dopo un parere negativo (che potrebbe aver indotto la rivista a rifiutare il lavoro) ha sottoposto un manoscritto praticamente identico a quello valutato a un’altra rivista. Ma lui e il suo operato sono stati scoperti e il caso è stato presentato in una lettera accorata e di straordinaria eleganza, “Dear Plagiarist”, scritta dal primo autore dell’articolo plagiato: il dottor Michael Dansinger. La lettera è un modello di logica e un capolavoro di etica: l’articolo frutto del plagio è stato ritirato e la direzione degli Annals ha contattato l’istituzione cui gli autori del falso sono affiliati. Nessuna risposta a oggi, secondo uno schema familiare nella ricerca di questi anni. Ci si chiede il perché si continui a perpetrare un Sistema della ricerca ormai completamente compromesso. Interessi commerciali, distorsioni nella rendicontazione degli studi effettuati, segretezza, studi eticamente dubbi e inerzia sono gli ingredienti della ricerca di oggi e dei percorsi accademici di pubblicazione. La peer review, pratica nata in un’epoca caratterizzata da diversa onestà, è evidentemente incapace di assicurare più di una sottile patina di credibilità alla pandemia di spazzatura che minaccia le risorse della sanità e i principi etici della prossima generazione di ricercatori. È necessaria una riforma radicale del sistema che restituisca un po’ di credibilità alla “e” della evidence-based medicine. Abbiamo bisogno di una completa trasparenza, di riconsiderare la rimborsabilità delle prestazioni e degli interventi sanitari garantendola solo sulla base di evidenze derivate da studi indipendenti e di formare all’etica della ricerca come parte di un curriculum internazionale dei ricercatori. Queste misure dovrebbero essere collegate a una esaustiva dichiarazione da parte delle riviste scientifiche e delle case editrici delle proprie fonti di ricavi e a nuove leggi che arrivino a prevedere il carcere per chi abusi della propria posizione accademica e della propria teorica credibilità. Nel frattempo, il suggerimento è di stare alla larga da qualsiasi risultato della ricerca che sembri poco plausibile o che non sia replicabile (perché probabilmente lo è).

Plagiarism. A fools’ errand.

Summary. An old Italian proverb states that lies have short legs. In other words, in the end you get found out. This is exactly what happened to an Italian researcher who acted as a referee for a manuscript submitted in 2015 to Annals of Internal Medicine. After a negative report (which presumably led to the rejection of the submission) he submitted a manuscript which was essentially the same. But he and his accomplices got found out and paraded in front of the world in an earth-shatteringly polite “Dear Plagiarist” letter by the first robbed author: Dr Michael Dansinger. Dr Dansiger’s letter is a model of polite logic and an ethical masterpiece, the fake article got retracted and the thief’s institution contacted. No reply so far, a depressingly familiar theme in contemporary research. We wonder why we carry on with a system which is completely broken. Commercial interests, reporting bias, secrecy, ethically dubious studies and inertia are the ingredients of contemporary research and publication practices. Editorial peer review, a scholarly practice originating in a more genteel era, is clearly unable to do much other than lend a very thin veneer of credibility to this pandemic of junk which is threatening healthcare budgets and the ethics of the next generation of researchers. We need a complete reform of the system which could give back some credibility to the “e” of evidence-based medicine. Complete lawful transparency, public reimbursement of interventions only on the basis of independently generated evidence and research ethics as a part of an international curriculum for budding researchers are urgently needed. These should be linked to publishers’ complete disclosure of their sources of income and custodial sentences for those who abuse positions of trust. Meanwhile, stay away from anything implausible and non-replicable (as they probably are).

Il fatto

La lettera indirizzata al ricercatore italiano autore di uno dei casi di plagio più clamorosi degli ultimi anni ha occupato per molti giorni la homepage del sito degli Annals of Internal Medicine. Scritta dal primo autore tra quelli che hanno subito la truffa, è uno straordinario esempio di eleganza: «È difficile capire perché tu abbia rischiato così tanto. Di sicuro, per te è stata dura la strada per diventare medico e ricercatore. So che hai pubblicato* molti articoli originali. Semplicemente, non ha senso. Vuoi che la pressione a pubblicare sia talmente forte, vuoi che l’ambiente culturale in cui lavori sia relativamente permissivo così che il plagio non sia preso seriamente, vuoi che essere scoperti ti sia sembrato improbabile, è difficile immaginare le ragioni che ti hanno portato a tentare la sorte in questo modo»1.

Ripreso da 11 notiziari e rilanciato da quasi 1500 tweet, il fatto è il seguente. Un gruppo di autori del Tufts Medical Center sottopone agli Annals un lavoro che viene affidato alla revisione di un italiano. L’articolo è respinto nel luglio 2015 ma, nel febbraio 2016, un lavoro praticamente identico esce su una rivista di secondo piano riportando, tra le altre, la firma del referee degli Annals2. Se ne accorge il primo autore del lavoro originale che segnala l’accaduto alla direzione della rivista dell’American College of Physicians che, a sua volta, avverte lo Experimental and Clinical Sciences Journal (EXCLI) ottenendo che l’articolo sia ritirato. Gli Annals segnalano il plagio alla Fondazione Stella Maris, cui risultano affiliati gli autori dell’articolo rubato, ma non ottengono risposta.

La prima sensazione è quella di trovarsi di fronte a una serie di conferme. Primo, il processo di revisione critica non solo non garantisce la qualità dei contenuti scientifici, ma rischia di arrecare danni: ritarda la pubblicazione delle poche informazioni che sarebbe necessario si diffondessero più tempestivamente, privilegia la ricerca che si muove nel mainstream accademico ed espone i revisori alla tentazione di impossessarsi del lavoro di altri. «È basata sulla fede e non sulle prove – ha scritto di recente Richard Smith – ma gran parte dei ricercatori ne ha fiducia come alcuni credono nel mostro di Lochness»3. Secondo, le istituzioni accademiche e ospedaliere non esercitano alcun controllo sull’output dell’attività di ricerca dei propri dipendenti, laddove non sarebbe difficile verificare la corrispondenza tra le autorizzazioni concesse dai comitati etici con le pubblicazioni. Terzo, quello che sosteneva Madonna (“Italians do it better” era scritto sulla sua t-shirt nel video di presentazione della canzone Papa don’t preach) non è vero: anzi, gli italiani lo fanno in modo più goffo di altri e l’ingenuità sconfina nell’imbecillità. Proprio questo punto richiede qualche riflessione.

Un piccolo mondo

Nonostante l’ottimismo di chi sostiene che i casi di frode, plagio e falsificazione non siano aumentati negli ultimi anni ma siano solo più visibili, non c’è da stare tranquilli. «I colpi di stupidità, proprio come i colpi di tosse, ne generano altri, per mimesi, simpatia o coraggio»4. L’occasione fa l’uomo ladro ma l’ambizione lo espone alla derisione. Ci si contentasse di fare il proprio mestiere in modo onesto, non ci sarebbe problema. Ma se l’obiettivo è gonfiare il proprio impact factor o H-index con il lattice, artificialmente o prendendo scorciatoie, si rischia sul serio: quello della ricerca è un mondo poco frequentato, i medici e i ricercatori che pubblicano non sono tanti (circa 7 milioni)5 e – soprattutto – a scrivere e a leggere sono gli stessi, cosa che aumenta enormemente la probabilità di essere scoperti.

Falsari seriali

Su scala più ampia, si tratta in fondo di bugie che, per definizione, hanno le gambe corte. Soprattutto perché, dopo la prima volta il falsario diventa seriale. «I colpi di imbecillità sono enciclopedici come il loro autore», scrive ancora Ferraris4. Se accetti una volta il compromesso di fare carte false, ripeterti sarà inevitabile. La tua bibliografia diventerà torrenziale e i tuoi contatti su Research Gate riceveranno una notifica al giorno di tuoi nuovi lavori interrogandosi sui tuoi super-poteri. Qualcuno si specializzerà nel taroccare immagini6 e qualcun altro, dopo diverse decine di pubblicazioni fraudolente, si troverà a mandare avanti una start-up finanziata anche con denaro pubblico7.

Raramente si è imbecilli da soli

Il numero medio di firme in calce a uno studio aumenta di anno in anno in modo inversamente proporzionale all’offerta di posti di lavoro di ricercatore. Aumentano le firme anche senza alcuna plausibile giustificazione: anche otto pediatri affiliati ad altrettanti ospedali per bambini di diverse Regioni possono diventare autori collettivi di un solo case report, come se il povero bimbo fosse stato ricoverato su una carrozza dell’Alta velocità di Trenitalia**. Con un corollario: l’unione fa la forza anche dell’imbecillità perché la rete di alleanze è fondamentale sia per dare solidità alla frode sia per rendere meno probabile una rivalsa istituzionale. Una generale omertà circonda l’accaduto, nel caso raccontato sugli Annals, arrivando ad accettare addirittura l’invenzione di una coorte di pazienti europea8.

Esiste una soluzione?

Più o meno quindici anni fa, l’avvio della evidence-based medicine era supportato da un’attività formativa che aveva l’obiettivo di far conoscere le basi della ricerca clinica e i suoi fondamenti etici. Era il tempo degli how-to-do-it, dei toolkit dello EBM Centre di Oxford, dei corsi di critical appraisal. A giudicare dalla situazione in cui ci troviamo, alle sollecitazioni anche autorevoli a ripensare la EBM9 o addirittura a rifondarla grazie a un nuovo “Rinascimento”10, ma soprattutto osservando l’intollerabile corruzione sofferta dalla letteratura scientifica11 che a sua volta genera una montagna di revisioni sistematiche inutili se non dannose12, è probabile che quegli strumenti siano serviti a poco.

Qualcuno aveva addirittura provato a non prendersi troppo sul serio13, tanto assurdi e poco plausibili apparivano i tentativi di illegalità, falsificazione e corruzione. A farla breve, si riponeva fiducia nell’antico motto anarchico Sarà una risata che vi seppellirà, ma si era troppo ottimisti. Del resto, pensare di arginare gli eserciti di truffatori e, soprattutto, di imbecilli di cui è pieno il mondo con dei workshop per trenta partecipanti o con guide diffuse in poche migliaia di copie è abbastanza velleitario. È ancora Ferraris a confermarlo: «Dire Yes, we can è un modo per mettersi l’anima in pace, o meglio per convincere gli altri di qualcosa di cui non siamo convinti noi stessi»4. Anche perché, come avvertiva lo storico Carlo Maria Cipolla, sottovalutiamo sempre il numero di individui stupidi in circolazione: «La numerosità della popolazione oggetto di riflessione è dovuta da una parte alla straordinaria presenza di imbecilli nei luoghi finanche più remoti e alle evidenze che anche persone ritenute sagge o intelligenti possano nei frangenti più impensati fare il grande passo, scavalcando la sottile linea rossa che li separa dall’imbecillità»14. La distribuzione dell’imbecillità come della disonestà è imprevedibile e ubiquitaria e non esiste differenza di genere o fattore di rischio che possa aiutare a prevederla. Non c’è prestigio istituzionale che possa rendere immuni. Come non esiste un profilo caratteriale che possa rivelarsi protettivo: timido o estroverso, nerd o hipster, universitario o ospedaliero, la probabilità di passare il solco è la stessa.

Contrastare il plagio, la falsificazione e la frode nella rendicontazione della ricerca è molto difficile. Una revisione sistematica recente non fornisce indicazioni definitive, anche per la carenza metodologica degli studi effettuati al riguardo15. Tra le azioni proposte, alcune farebbero leva sui comportamenti individuali. Per esempio, l’intensificazione dell’attività di mentoring nei riguardi dei ricercatori in formazione: in altri termini, una maggiore attenzione alla relazione individuale tra “maestro” e allievo, che abbia come obiettivo quello di trasmettere la cultura e l’etica dell’organizzazione. Sono evidenti le condizioni che possono renderlo praticabile: l’esistenza di “maestri” e di una moralità propria dell’istituzione di riferimento. Ancora, la valorizzazione dei whistleblower, persone capaci di denunciare i comportamenti illegali di cui sono testimoni, e che dovrebbero essere non solo protette successivamente alla denuncia, ma anche incentivate.

Altri raccomandano strategie di più ampio respiro: si sostiene che la disponibilità di maggiori finanziamenti possa ridurre la competitività nel sistema con la conseguente diminuzione dei comportamenti trasgressivi16. Un contributo positivo potrebbe giungere da una maggiore trasparenza17 in linea con quanto sollecitato da iniziative come AllTrials o lo Yale Open Data Access project18: la condivisione di dati su database pubblicamente accessibili così come la registrazione obbligatoria prospettica di tutti trial – dalle sperimentazioni randomizzate controllate alle serie di casi – renderebbe più facile il controllo della veridicità di quanto proposto alle riviste. La trasparenza deve essere piena, con la sola eccezione della necessità di rendere anonimi i dati individuali e, solo a causa delle normative in atto, dell’opportuno rispetto della segretezza a tutela dei brevetti. Ancora, il sistema della ricerca dovrebbe premiare la qualità metodologica e la validità/rilevanza degli obiettivi degli studi più che la quantità delle pubblicazioni e, di conseguenza, il valore dell’impact factor dovrebbe essere radicalmente ridimensionato. Il rafforzamento dei meccanismi di autorizzazione al rimborso dovrebbe prevedere la presentazione alle autorità regolatorie di studi indipendenti.

Serve dunque una diversa cultura della responsabilità e una diretta accountability degli attori coinvolti nel sistema della ricerca, che arrivi a prevedere un tribunale internazionale per il giudizio sulle trasgressioni. A livello di conduzione e supervisione delle sperimentazioni, è necessario prestare la massima attenzione agli indicatori predittivi di frode: dai risultati “troppo buoni per essere veri” a quelli non replicabili da altri ricercatori; dalla impossibilità di produrre i dati grezzi alla segretezza dei documenti e dei protocolli di ricerca. Sul versante dell’output della ricerca, la semplice retraction della pubblicazione (tra l’altro non sempre adeguatamente segnalata sui database bibliografici) non è una sanzione commisurata alla gravità della fabbricazione o del furto di dati: servirebbero provvedimenti diversi nei confronti sia degli autori, sia delle istituzioni colpevoli di mancato controllo. Sono necessarie risposte culturali e “politiche”, capaci di adattarsi costantemente alle modalità sempre nuove con cui, purtroppo, l’illegalità e la frode si manifestano nella ricerca.

Ma in pratica, ora che il Maestro Sun Tzu19 è andato in pensione, come facciamo a riconoscere ricerca fraudolenta, di dubbia qualità o “semplicemente” distorta? Mentre è in coda per ritirare la pensione, il Maestro ci indica la strada con due semplici precetti logicamente collegati: tutto ciò che è poco plausibile (per esempio il rendiconto di un trial clinico sintetizzato in 10 pagine di rivista) è sospetto fino a prova contraria; tutto ciò che non è replicabile per mancanza di dettaglio o chiarezza (di nuovo, il rendiconto di un trial clinico in 10 pagine di rivista) è sospetto fino a prova contraria. In definitiva, i risultati inverosimili, probabilmente sono falsi.

Bibliografia

1. Dansinger M. Dear Plagiarist: a letter to a peer reviewer who stole and published our manuscript as his own. Ann Int Med 2016 Dec 13.

2. Finelli C, Crispino P, Gioia S, et al. Retraction: the improvement of large High-Density Lipoprotein (HDL) particle levels, and presumably HDL metabolism, depend on effects of low-carbohydrate diet and weight loss. EXCLI J 2016; 15: 570.

3. Smith R. The optimal peer review system. BMJ Blogs 2016; 8 novembre. http://blogs.bmj.com/bmj/2016/11/08/richard-smith-the-optimal-peer-review-system/

4. Ferraris M. L’imbecillità è una cosa seria. Bologna: Il Mulino, 2016.

5. Ware M, Mabe M. The STM report: an overview of scientific and scholarly journal publishing (2015).

6. Palus S. Cancer researcher earns 9th retraction, for image duplication. Retraction Watch 2016; 9 aprile.

7. Komnenic A. Prominent cancer researcher committed nearly 30 acts of misconduct. Retraction Watch 2016; 1 dicembre.

8. Laine C. Scientific Misconduct HurtsScientific Misconduct Hurts. Ann Int Med 2016 Dec 13.

9. http://evidencelive.org/manifesto/

10. Greenhalgh T, Howick J, Maskery N. Evidence-based medicine: a movement in crisis? BMJ 20014; g3725.

11. Jefferson T. Fronteggiare l’inaffidabilità della letteratura da studi clinici. Recenti Prog Med 2016; 107: 10-8.

12. Ioannidis J. The mass production of redundant, misleading, and conflicted systematic reviews and meta‐analyses. Milbank Q 2016; 94: 485-514.

13. Jefferson T. Attenti alle bufale. Come usare la EBM per difendersi dai cattivi maestri. Roma: Il Pensiero Scientifico Editore, 2005.

14. Cipolla CM. Allegro ma non troppo. Bologna: Il Mulino, 1992.

15. Marusic A, Wager E, Utrobicic A, Rothstein HR, Sambunjak D. Interventions to prevent misconduct and promote integrity in research and publication. Cochrane Database of Systematic Reviews 2016; (4): MR000038. doi: 10.1002/14651858.MR000038.pub2

16. Oransky I. How can institutions prevent scientific misconduct? Retraction Watch 2012; 6 luglio.

17. LeClere B. Cure for scientific misconduct. Inside Higher Edu 2011; 8 dicembre.

18. Krumholz HM, Waldstreicher J. The Yale Open Data Access (YODA) project: a mechanism for data sharing. N Engl J Med 2016; 375: 403-5.

19. http://attentiallebufale.it/linformazione-scientifica/la-posta-di-sun-tzu/