Oltre la quantità: ripensare la qualità e l’integrità della ricerca scientifica

Luca De Fiore1

1Il Pensiero Scientifico Editore, Roma; European Association of Science Editors.

Pervenuto su invito il 3 febbraio 2025. Non sottoposto a revisione critica esterna alla redazione della rivista.

Riassunto. Le pubblicazioni scientifiche soffrono da anni di una crisi di credibilità. È la conseguenza dell’eccesso di quantità nella produzione di articoli prodotti al solo scopo di favorire l’avanzamento di carriera e l’acquisizione di nuovi finanziamenti che produrranno nuovi studi e, di conseguenza, nuove pubblicazioni. Ai problemi di quantità si aggiungono quelli relativi alla qualità: la ricerca futile si traduce in letteratura scientifica di scarso valore. Il filtro preventivo – affidato al sistema della peer review – continua a dimostrare di non essere sufficiente per evitare che siano pubblicati articoli inutili o, in sempre maggiore quantità, fraudolenti. Il metodo della revisione critica dovrebbe essere radicalmente ripensato, come dovrebbero essere riconsiderati gli strumenti di misurazione dell’impatto degli articoli scientifici: impact factor e altri indici citazionali hanno dimostrato di non poter dare indicazioni sulla qualità di ciò che viene pubblicato. La maggiore attenzione che si sta prestando alla crisi delle pubblicazioni scientifiche può essere un deterrente utile a migliorarne la qualità e a limitare i comportamenti fraudolenti. Le nuove generazioni di clinici e ricercatori devono essere formate al rispetto delle regole e servirebbero sanzioni più severe e tempestive per chi non rispetta le norme che la comunità scientifica si è data nel corso degli anni. Più in generale, la valutazione della qualità della produzione scientifica, e non della sua quantità, dovrebbe ispirare la valutazione dei profili professionali nella assegnazione di nuovi finanziamenti e nella scelta dei candidati per le posizioni accademiche. Infine, le scuole di giornalismo e i master di comunicazione della scienza devono formare nuovi professionisti capaci di svolgere l’attività di giornalismo investigativo che deve essere intensificata per portare alla luce i comportamenti opportunistici e fraudolenti.

Beyond quantity: rethinking quality and integrity in scientific research.

Summary. Scientific publications have been suffering from a credibility crisis for years. This is the consequence of an excess of quantity in the production of articles produced for the sole purpose of advancing one’s career and acquiring new funding to produce new studies and, consequently, new publications. To the problems of quantity are added those of quality: useless research results in scientific literature of little value. The preventive filter – entrusted to the peer review system – continues to prove insufficient to prevent the publication of useless or, increasingly, fraudulent articles. The method of critical review process should be radically reconsidered, as should the tools for measuring the impact of scientific articles: impact factors and other citation indices have proved incapable of giving an insight into the quality of what is published. The increased attention being paid to the scientific publication crisis can be a useful deterrent to improve quality and limit fraudulent behaviour. New generations of clinicians and researchers must be educated to respect the rules, and stricter and more timely penalties are needed for those who do not meet the standards that the scientific community has established over the years. More generally, the assessment of the quality of scientific production, and not its quantity, should inspire the evaluation of professional profiles when allocating new funding and selecting candidates for academic positions. Finally, journalism schools and masters’ degrees in science communication must train new professionals capable of carrying out investigative journalism, which must be intensified in order to bring to light opportunistic and fraudulent behaviour.

Comportamenti fraudolenti

«Serve una struttura, una buona dose di semplicità e una bella storia». Questi sarebbero gli ingredienti della scrittura scientifica secondo Diederick Stapel, ricercatore in Economia comportamentale dell’università di Tillburg in Olanda. Nell’ambiente accademico, Stapel è noto anche per essere stato capace di trovare titoli molto accattivanti per i propri articoli, così da attirare l’attenzione dei colleghi nella consultazione dei database bibliografici. Titoli che seguivano argomenti altrettanto attraenti per un’audience non soltanto specialistica, ma anche per il pubblico generale. Qualche esempio? “Ambienti eleganti inducono maggior rispetto delle norme sociali”. Oppure: “Di fronte a una persona bruttina ci sentiamo più belli”. «La scienza è ovviamente qualcosa che riguarda le nuove scoperte e l’andare a fondo nella ricerca per avvicinarsi alla verità. Ma è anche comunicazione, persuasione, marketing. Sono un venditore. Sono nel mondo. La gente sta nel mondo con le proprie conversazioni. Con le stesse conversazioni. Come in un circo». Le parole di Diederik Stapel sono state raccolte da un giornalista che ha raccontato la storia di un ricercatore abbastanza conosciuto nel proprio campo, ma che ha finito col diventare l’esempio del truffatore scientifico, come lo ha definito il più autorevole quotidiano del mondo, The New York Times1. La storia di Stapel – del quale sono stati ritirati oltre 50 articoli basati su dati fraudolenti, inventati o scorretti – non è molto diversa da quella di altri studiosi che negli ultimi anni hanno visto la propria reputazione compromessa dalle conseguenze di aver ceduto alla tentazione di seguire scorciatoie nel campo della pubblicazione scientifica.

Tra i molti casi che potremmo citare, un po’ diverso è quello di Karen H. Ashe, ricercatrice statunitense dell’università del Minnesota, che da anni si interessa di demenza di Alzheimer. Un suo articolo molto citato (oltre 2000 citazioni ne fanno il secondo articolo più citato tra quelli oggetti di retraction) è stato pubblicato nel 2006 sulla rivista Nature; essendo stato provato che alcune immagini erano alterate ad arte, l’articolo è stato ritirato ma Ashe ha voluto ripetere lo studio con mezzi aggiornati, ripubblicandolo nel 20242. La ricerca sulla malattia di Alzheimer e sul decadimento cognitivo ha prodotto numerosi casi di frodi scientifiche che confermano il legame tra interessi commerciali e interessi accademici.

Un’altra delle cose che abbiamo imparato negli ultimi anni è che nessuna istituzione, neanche la più prestigiosa, può sentirsi al riparo da eventi potenzialmente catastrofici per la propria reputazione. Pensiamo ad esempio, al caso della Stanford university, il cui preside Mark Tessier-Lavigne si è dimesso dopo le pressioni degli studenti successive alla denuncia di diversi articoli basati su dati falsificati e firmati tra il 2001 e il 2008 dal preside della facoltà quando era ricercatore alla Genentech. Casi come questi sono sempre più frequenti. Insomma, «lo stato dello scientific publishing non è mai stato più precario di oggi»: la frase di Richard Horton, direttore della rivista The Lancet, è del 2016 ma è ancora estremamente attuale3.

Ipertrofia editoriale

Il primo problema della pubblicazione scientifica è quello della eccessiva abbondanza: troppe riviste e troppi articoli. Ma – ed è forse direttamente collegata a questo eccesso – la questione dell’integrità non è meno preoccupante. Con questo termine intendiamo la sintesi di onestà, responsabilità nei confronti dei lettori e dei colleghi, trasparenza e indipendenza dei ricercatori, quindi degli autori, e dei revisori. Quella trasparenza che – restando in tema di frode – ha segnato anche la discussa vicenda vissuta proprio dalla rivista diretta da Horton della pubblicazione sulla presunta associazione causale tra vaccinazioni, malattie infiammatorie intestinali e autismo. L’articolo a firma di Andrew Wakefield e collaboratori pubblicato nel 1998 fu ritirato dalla rivista soltanto diversi anni dopo nonostante la segnalazione della possibile contraffazione dei dati fosse avvenuta molto precocemente. Proprio in nome della trasparenza e per difendersi dalle accuse di leggerezza nel controllo di qualità dei propri contenuti, The Lancet pubblicò nel 2004 uno statement firmato dalla direzione della rivista in cui entrò nel merito del procedimento di valutazione dei dati della ricerca di Wakefield e dei suoi collaboratori, provando a spiegare le ragioni solo diversi anni dopo il ritiro dell’articolo4. La storia dell’articolo di Wakefield è esemplare non soltanto per l’impatto che ha avuto sulle abitudini vaccinali di molte famiglie, ma anche per la complessità del lavoro di chi deve valutare metodi e risultati di uno studio proposto per la pubblicazione.

Peer review

Come lo stesso Horton scrisse in un editoriale sulla sua rivista, sia gli editori, sia i direttori della rivista hanno poche soluzioni per i problemi che agitano le pubblicazioni scientifiche. Al contrario le loro giornate sono agitate da una serie di preoccupazioni che sembrano non trovare una via di uscita. La valutazione della qualità dei contenuti scientifici poggia sulle fondamenta del percorso di revisione. In altre parole sulla peer review, il sistema comunemente utilizzato per validare il lavoro accademico e migliorare la qualità delle ricerche pubblicate sulle riviste scientifiche. Interrogando clinici e ricercatori sulla validità e sulla affidabilità della peer review, la risposta che si ottiene più comunemente riprende il paragone che fece Winston Churchill a proposito della democrazia: sappiamo che si tratta di un sistema pieno di problemi, ma è la meno peggiore delle soluzioni che abbiamo. Questa convinzione era condivisa anche da Richard Smith, direttore per molti anni del BMJ, settimanale della British Medical Association. Nel tempo Smith ha avuto modo di cambiare opinione: oggi la sua posizione è molto più critica sul sistema della peer review: è eccessivamente lenta, è molto costosa, somiglia a una lotteria, fa perdere tempo ai ricercatori, non riesce ad accorgersi di gran parte degli errori presenti negli studi, talvolta suggerisce di rifiutare la ricerca realmente originale e, infine, non protegge dagli autori fraudolenti5.

Smith è su una posizione molto simile a quella di Drummond Rennie, uno dei promotori dei congressi sulla peer review che vengono svolti negli Stati Uniti con cadenza regolare ormai da almeno due decenni. Come lui scrisse su JAMA, colpisce come la comunità dei ricercatori abbia adottato un sistema sostanzialmente non scientifico proprio per controllare la Scienza. «Sostanzialmente non ci sono barriere per la pubblicazione, alla fine sembra non ci sia uno studio troppo frammentario, basato su ipotesi troppo banali, che non ci sia citazione bibliografica troppo condizionata o troppo autoreferenziale, che non ci sia un disegno di studio troppo improbabile, nessuna metodologia troppo improvvisata, nessuna presentazione dei risultati troppo poco accurata, troppo opaca e troppo contraddittoria, nessuna analisi che porta l’acqua al proprio mulino, nessuna argomentazione troppo viziata, nessuna conclusione troppo ingiustificata, e nessun errore grammaticale o sintattico troppo irriguardoso perché un articolo, alla fine, non sia pubblicato»6. Oggi questa analisi impietosa di Rennie è ancora più vera con il progressivo e ormai radicale cambiamento dei modelli di publishing.

Il modello open access

La grande novità dell’open access ha indubbiamente portato un gran numero di riviste ad allargare le maglie del filtro di qualità delle pubblicazioni, del resto se l’utile di una rivista dipende dalla quantità di articoli pubblicati sarebbe ingenuo aspettarsi una severità di giudizio da parte della sua direzione. L’idea della scienza aperta, vale a dire l’impegno a rendere pubblica e liberamente condivisibile la ricerca (soprattutto di quella finanziata da fondi istituzionali), è stata una delle grandi novità della scienza in apertura del nuovo millennio. «Le biblioteche pubbliche digitalizzate e l’editoria scientifica open access promettono grandi benefici per la scienza e per la società: equità, una pratica più efficiente della scienza e la riduzione dei costi complessivi»7. Queste parole di Harold Varmus sono state smentite dalla progressiva trasformazione dell’editoria open access in un grande business. Oggi le riviste pubblicate con questo modello sono prevalenti in ambito scientifico e contribuiscono in modo sostanziale ai grandi profitti delle principali case editrici internazionali. La possibilità di pubblicare in modalità aperta era stata presentata inizialmente anche come un’opportunità per ridurre i costi di pubblicazione e rendere dunque più democratico il sistema di condivisione dei risultati della ricerca: così non è stato e negli ultimi anni i processi di concentrazione editoriale sono diventati ancora più esasperati che in passato.

Indici bibliometrici

Se la peer review dovrebbe filtrare la pubblicazione a monte, la misura della qualità successiva all’uscita di un articolo è da tempo affidata agli indici bibliometrici, il più noto dei quali è sicuramente l’impact factor, un proxy dell’importanza di una rivista all’interno del proprio campo disciplinare. Esistono evidenze che mettono in discussione la relazione tra l’impact factor di una rivista e l’accuratezza e l’utilità delle peer review condotte da quel periodico8. L’impatto di una rivista, inoltre, non può essere considerato un indicatore della qualità dei singoli studi pubblicati in quel periodico. È del tutto evidente, inoltre, che l’impatto teorico di una rivista calcolato con questo indicatore è solo retrospettivo e non può dare indicazioni sull’influenza che un singolo articolo di ricerca potrà avere in futuro neanche in termini accademici. L’impatto di un articolo infatti può essere multidimensionale; uno studio, ma anche un articolo di opinione come un editoriale o un commentary, può condizionare le abitudini dei lettori, oppure la conoscenza o la consapevolezza di un problema da parte dei professionisti o dell’opinione pubblica, può avere un’influenza sull’economia, sull’ambiente, sulle politiche sanitarie, come anche su altre forme di decision-making medico, sanitario o sociale. Ridurre la complessità di queste dinamiche a metriche citazionali è sicuramente poco credibile.

Il fenomeno delle retraction

Eccesso di quantità e qualità insufficiente. A questi grandi problemi si collega il tema della credibilità complessiva del sistema editoriale e, più in generale, della comunicazione della scienza. Anche se qualche osservatore considera eccessiva l’attenzione che viene posta su di esso, uno dei fenomeni più allarmanti degli ultimi anni è quello delle cosiddette retraction, vale a dire degli articoli che vengono ritirati dalle riviste dopo la loro pubblicazione e la successiva segnalazione di inaccuratezze, errori o frodi. Sarebbero oltre diecimila l’anno quelle avvenute nel 2023 e il numero sta crescendo. La rivista Nature nel 2014 aveva mostrato come la relazione tra articoli ritirati e impact factor della rivista era sorprendentemente diretta, ma non nella direzione che ci si potrebbe aspettare: in altre parole, è più frequente che un articolo ritirato sia stato pubblicato da una rivista molto prestigiosa piuttosto che da un periodico poco conosciuto9. Certamente questo dipende dalla più intensa attività di vigilanza delle riviste più famose; d’altra parte, però, è il sintomo di una pericolosa disponibilità delle “grandi riviste” a pubblicare articoli che riportano risultati di ricerche di notevole importanza commerciale: studi multicentrici su nuovi farmaci o su dispositivi medici innovativi, che per la loro potenzialità in termini di marketing possono essere esposti più di altri a distorsioni e falsificazioni.

È essenziale considerare che il ritiro di un articolo non è sempre dovuto alla scoperta di una frode o di una falsificazione degli autori; molto spesso è l’esito di correzioni o di revisioni effettuate dagli autori stessi, a conferma della capacità della comunità scientifica di esercitare un controllo su sé stessa. Però, è altrettanto vero che la crescita del numero dei casi di retraction non può non far riflettere sulla leggerezza formale (e sostanziale) con cui talvolta si rendiconta l’attività di ricerca; è come se la corsa al publish or perish stia progressivamente compromettendo la qualità degli studi e, di conseguenza, della letteratura scientifica. Anche per questo, considerandolo un indicatore non secondario, tenere traccia degli articoli ritirati è sicuramente un modo per osservare il processo di produzione delle conoscenze scientifiche e la sua sempre più rapida corruzione10.

Quali soluzioni?

Tornando a una delle frasi chiave di un editoriale di Horton di alcuni anni fa, c’è da chiedersi quali possano essere le soluzioni o, quantomeno, le misure da adottare per mitigare i danni e per proteggere la credibilità della scienza. Sicuramente, la maggiore attenzione che non soltanto la comunità scientifica ma anche il pubblico più ampio sta prestando a questi argomenti può servire da deterrente nei riguardi dei comportamenti fraudolenti. È indispensabile, allo stesso tempo, che le nuove generazioni di clinici e ricercatori siano formate al rispetto delle regole. Inoltre, servirebbero sanzioni più severe e tempestive per chi non rispetta le norme tacite o esplicite che la comunità scientifica si è data nel corso degli anni: le posizioni assegnate come risultato della presentazione di articoli fraudolenti a concorsi per titoli non dovrebbero essere riconsiderate? Più in generale, la valutazione della qualità della produzione scientifica, e non della sua quantità, dovrebbe ispirare la valutazione dei profili professionali nella assegnazione di nuovi finanziamenti e nella scelta dei candidati per le posizioni accademiche.

Infine, le scuole di giornalismo e i master di comunicazione della scienza dovrebbero formare nuovi professionisti capaci di svolgere quella attività di giornalismo investigativo che nel nostro paese ancora trova poco spazio rispetto all’attenzione e all’importanza di cui già gode nel mondo anglosassone. In altre parole, la scienza oggi non va solo correttamente raccontata ma deve essere sottoposta a una vigilanza costante da parte dell’opinione pubblica e nuove generazioni di giornalisti possono contribuire in maniera sostanziale a questa attività di controllo.

Conflitto di interessi: Luca De Fiore è dipendente di una casa editrice scientifica e socio di un’agenzia di comunicazione scientifica.

Bibliografia

1. Bhattacharjee Y. The mind of a con man. New York Times 2013; 26 aprile.

2. Liu P, Lapcinski IP, Hlynialuk CJ, et al. Aß*56 is a stable oligomer that impairs memory function in mice. Science 2024; 27: 109229.

3. Horton R. Offline: the crisis in scientific publishing. Lancet 2016; 388: 322.

4. Horton R. A statement by the editors of The Lancet. Lancet 2004; 363: 820-1.

5. Smith R. Peer review: a flawed process at the heart of science and journals. J Royal Soc Med 2006; 99: 178-82.

6. Rennie D. Guarding the guardians: a conference on editorial peer review. JAMA 1986; 256: 2391-2.

7. Varmus H. The art and politics of science. New York/London: WW. Norton & Company. Genomics, society, and policy, 2009.

8. Severin A, Strinzel M, Egger M, et al. Relationship between journal impact factor and the thoroughness and helpfulness of peer reviews. PLoS Biology 2023; 21: e3002238.

9. Why high-profile journals have more retractions. Nature 2014. Disponibile su: https://lc.cx/DonCUu [ultimo accesso 3 febbraio 2025].

10. Ioannidis JP, Pezzullo AM, Cristiano A, et al. Linking citation and retraction data reveals the demographics of scientific retractions among highly cited authors. PLoS Biology 2025; 23: e3002999.