Gli articoli scientifici fabbricati: servono soluzioni di sistema

Gli articoli scientifici fabbricati: servono soluzioni di sistema*

Caterina Caminiti1, Luca De Fiore2

1Struttura complessa Ricerca clinica ed epidemiologica, Azienda ospedaliero-universitaria di Parma; 2Il Pensiero Scientifico Editore e European association of science editors.

Pervenuto il 30 gennaio 2023. Non sottoposto a revisione critica esterna alla direzione della rivista.

Riassunto. La necessità di pubblicare articoli accademici per il progresso della carriera e le innovazioni tecnologiche hanno favorito la crescita di un fenomeno nuovo, quello della fabbricazione industriale di articoli destinati a riviste scientifiche. Articoli dal contenuto falso sono prodotti da agenzie specializzate che mettono in vendita le diverse firme, a un prezzo diverso a seconda della posizione. Gli editor delle riviste e le case editrici hanno aumentato la vigilanza e il controllo, rendendo più severo il processo della peer review e utilizzando software antiplagio. Ma, essendo un problema di sistema, è di difficile soluzione e occorre agire sulle sue cause: serve una maggiore consapevolezza dell’etica della ricerca, una formazione specifica nei confronti dei giovani medici e, in prospettiva, un uso appropriato dell’intelligenza artificiale, che dovrebbe trasformarsi in uno strumento per la protezione dell’integrità della conoscenza.

Fake paper factories: root cause solutions are needed.

Summary. The pressure to publish academic papers for career advancement and technological innovations have fostered the growth of a new phenomenon, the serial fabrication of articles to be submitted to scientific journals. Papers with fake content are produced by specialised publishing agencies. Journal editors and publishers increased vigilance and control, tightening the peer review process and using anti-plagiarism software. But, being a systemic issue, it is not easy to find the solution and action must be taken on its causes: greater awareness of research ethics is needed, specific training for young doctors and – in the long run – an appropriate use of artificial intelligence, which should become a tool for protecting the integrity of knowledge.

Introduzione

La produzione scientifica è ormai il principale indicatore di performance accademica, utilizzato come criterio di valutazione per l’assegnazione di finanziamenti e per avanzamenti di carriera. La pressione a pubblicare tanto e rapidamente è perciò elevatissima, soprattutto per i ricercatori più giovani in cerca di affermazione, ma non solo. Questa forte esigenza può portare a percorrere “scorciatoie” alla pubblicazione, anche in considerazione degli alti tassi di rifiuto delle sottomissioni delle riviste più autorevoli1. Di qui il verificarsi di pratiche non etiche quali l’utilizzo di nominativi come autori in assenza di alcun contributo2,3, fenomeno ormai ben noto e diffuso. Ancora più pericolose sono le frodi vere e proprie, come il plagio, la falsificazione di dati o la pubblicazione di studi mai effettuati4.

Il fenomeno dei “paper mill”

Fino a pochi anni fa l’espressione paper mill significava la cartiera, l’industria dove si fabbrica la carta. Ma per la comunità scientifica e gli editori delle riviste di medicina oggi i paper mill sono i fabbricanti di manoscritti fraudolenti: organizzazioni a scopo di lucro che producono e vendono documenti che somigliano molto a item reali di letteratura scientifica, al punto da risultare spesso indistinguibili da un vero articolo accademico. Oltre a vendere la paternità di articoli scientifici, queste organizzazioni offrono altri servizi, che vanno dalla messa a disposizione o alla fabbricazione di un database su cui fondare uno studio, alla falsificazione di una peer review di una rivista in modo da consentire la pubblicazione di un articolo più facilmente4. Uno degli aspetti più sorprendenti è che questo commercio avviene alla luce del sole: «La maggior parte degli annunci viene pubblicata sui siti di social media, tra cui Facebook e Telegram, e sui siti web di aziende che offrono servizi di pubblicazione accademica. L’offerta è variegata, e accontenta un po’ tutte le esigenze. Oltre all’ambito sanitario, si trovano manoscritti in vendita relativi a economia, biologia, scienze politiche, ingegneria, informatica, per citarne alcuni5. Gli annunci pubblicitari sono diretti, senza tentativi di celare le reali intenzioni. Al contrario, si rassicura il potenziale cliente che non esistono rischi di essere scoperti. Spesso includono il titolo dell’articolo, la rivista in cui sarà pubblicato, l’anno di pubblicazione e la posizione degli spazi delle firme disponibili per l’acquisto. I prezzi variano da centinaia a migliaia di dollari statunitensi, a seconda dell’area di ricerca e del prestigio della rivista»6. Uno studio ha analizzato oltre 1000 offerte di articoli da firmare, per un valore complessivo di oltre 6,5 milioni di dollari, pubblicate nel 2019-21 su un sito web in lingua russa ancora attivo [http://123mi.ru/]7. Alle inserzioni sono stati collegati 460 articoli successivamente pubblicati.

Come sottolinea un rapporto del Committee on publication ethics (Cope)8 si tratta quasi sempre di aziende di medie o grandi dimensioni, che si sono dotate di infrastrutture tecnologiche, informatiche e promozionali altamente professionali.

Come funziona il sistema di fabbricazione di articoli

Il rapporto del Cope sintetizza i diversi passaggi solitamente seguiti dal processo di produzione e pubblicazione di queste fabbriche di contenuti. Un articolo scritto dallo staff dell’azienda viene sottoposto a diverse riviste e quando un articolo viene accettato o inizia il processo di revisione le submission ad altri periodici vengono abbandonate. L’articolo che “in linea di massima” è stato accettato da una qualsiasi rivista viene quindi inserito nel sito del paper mill con l’offerta di acquistare uno dei posti di autore disponibili. I prezzi variano in base all’impact factor (If) della rivista e alla posizione delle firme, con quella di autore principale che ha il prezzo più alto. Gli autori che desiderano far scrivere un articolo da sottoporre a riviste con If superiore a 3 possono spendere fino a 30 mila euro9. Agli autori viene generalmente assegnato un indirizzo e-mail e tutta la corrispondenza è gestita dall’azienda di intermediazione editoriale che, in alcuni casi, segnala anche i referee che possano fornire un parere positivo alla pubblicazione. La pubblicazione da parte di una rivista di un articolo su un determinato argomento innesca la submission di molti altri lavori su argomenti simili. Nel caso invece un articolo pubblicato venga contestato, una delle firme (di solito il corresponding author) può chiedere che l’articolo sia ritirato (retracted), sostenendo per esempio ci siano stati dei problemi con i dati, oppure può tentare di fornire ulteriori informazioni di supporto, tra cui una lettera di sostegno della propria istituzione, che però di solito è anch’essa falsa.

Le società che producono articoli di questo tipo propongono spesso anche altri servizi: dal supporto al disegno e alla conduzione di studi clinici fino alla produzione di revisioni sistematiche. In questo secondo caso i dati sono ovviamente reali – nel senso che i documenti considerano studi realmente disponibili in letteratura – ma il processo di selezione, valutazione e sintesi delle fonti e la definizione delle conclusioni sono metodologicamente inaffidabili. Molte volte queste revisioni sistematiche comprate alla fiera dei paper mill sono basate su pochi studi: talvolta addirittura su un unico studio, proprio per far prima possibile.

Come le riviste e le case editrici stanno contrastando il sistema

Produzione e proposta di articoli da parte di agenzie di questo tipo sono considerate un’infrazione delle regole etiche del medical publishing formalizzate dalle categorie professionali degli editori (publishers) e dei direttori di periodici (editors). Esistono codici etici di singole case editrici e di associazioni come il Cope che ancora non sono recepiti come sarebbe necessario che fosse.

Più concretamente, editori, direttori di riviste scientifiche e società scientifiche si stanno attrezzando per contrastare questo fenomeno, soprattutto cercando di rendere più severo il processo di revisione critica e dotandosi di software anti-plagio per il controllo dei testi e la verifica dell’originalità delle immagini. Associazioni come il Cope e diverse case editrici hanno anche iniziato a organizzare dei corsi per revisori e per lo staff editoriale volti a insegnare delle tecniche di base per indagare con successo sull’attendibilità degli articoli sospetti ricevuti. L’associazione delle case editrici scientifiche e tecniche ha implementato la piattaforma online STM Integrity hub per incentivare la collaborazione tra editori e gli altri stakeholder [https://www.stm-assoc.org/stm-integrity-hub/]. Attraverso una combinazione di dati ed esperienze condivise e sfruttando l’innovazione tecnologica, questa piattaforma offre un approccio per rilevare manoscritti con problemi di integrità della ricerca. Va detto che la preparazione di questi falsi articoli è talmente accurata da riuscire a superare quasi sempre il controllo dei software anti-frode e dal punto di vista formale sono sempre molto coerenti con le istruzioni per gli autori delle riviste a cui sono proposti. I punti deboli sono nelle affiliazioni degli autori (quasi sempre molto generiche), nell’utilizzo di indirizzi e-mail personali e non istituzionali, oltre che nella scarsa robustezza dei metodi sperimentali e nella frequente assenza di riferimenti alle autorizzazioni da parte di comitati etici e institutional review board quando necessaria.

Quando la redazione di una rivista sospetta che un articolo ricevuto sia originato da un paper mill, la procedura usuale prevede che sia contattato l’autore di riferimento e a lui siano richiesti i dati grezzi da cui il documento è stato prodotto. Talvolta può essere ascoltata anche l’istituzione a cui il primo autore è affiliato e, in generale, il livello di approfondimento dell’indagine della redazione è proporzionale all’infrazione che si sospetta abbia condizionato la preparazione dell’articolo. Non si tratta di passaggi sempre risolutivi: talvolta gli autori non indicano gli indirizzi istituzionali oppure rispondono alla richiesta trincerandosi dietro l’impossibilità di fornire i raw data oppure fornendoli in formato difficilmente utilizzabile.

È interessante seguire la flow-chart proposta dal COPE (figura 1), come anche altri documenti prodotti dal Committee.

Dalla falsificazione al ritiro dell’articolo

A proposito del fenomeno della retraction, vale a dire il ritiro di una pubblicazione a causa di vizi sostanziali, frode, plagio o problemi riguardanti proprio l’authorship del documento, la prima risale solo al 2016 e riguarda un articolo frutto del “lavoro” di un paper mill pubblicato nel 20044. Secondo uno studio pubblicato di recente da Candal-Pedreira et al. sul BMJ4, che ha utilizzato il database Retraction watch (Rwdb, retractiondatabase.org) per individuare i motivi del ritiro dei paper, emerge che la proporzione di articoli fabbricati dalle cartiere pubblicati ogni anno nella letteratura scientifica è aumentata, dallo 0,04 per 100.000 nel 2004 al suo picco di 10,6 per 100.000 pubblicazioni nel 2019. Dopo il 2020, il numero di questi articoli è diminuito rispetto al numero totale di articoli pubblicati. La proporzione tra ritiri di pubblicazioni prodotte da cartiere e ritiri per tutte le cause è stata bassa fino al 2021, anno in cui i ritiri da cartiera hanno rappresentato 772 (21,8%) dei 3544 ritiri registrati.

Occorre dire che ci sono punti di vista contrastanti sulla sua diffusione. Da una parte le retraction sembrano essere in aumento, dall’altra il loro numero non sembra tale da essere allarmante rispetto al volume complessivo degli articoli pubblicati: circa due paper su 10.00010. Il numero di riviste che ha ritirato lavori pubblicati si è decuplicato tra il 1997 (44) e il 2016 (488): per molti osservatori è il sintomo di una generale maggiore attenzione che si riflette anche nell’adozione diffusa di codici etici. Tra l’altro, spesso il ritiro di un lavoro dipende da errori formali o da mancanze involontarie degli autori. Per diverse ragioni, dunque, il numero e il trend delle retraction potrebbero non essere indicatori attendibili dei problemi etici della comunicazione scientifica. Le liste dei lavori sospetti e le segnalazioni dei ricercatori più frequentemente implicati in casi di malpractice sono però preziose perché hanno accresciuto l’attenzione dei direttori di riviste, redattori ed editori per questi aspetti essenziali del loro lavoro: «L’aumento delle ritrattazioni sembra riflettere non tanto un’epidemia di frodi, quanto una comunità che cerca di controllarsi»10.

La banca dati degli articoli ritirati (Rwdb) contiene i nomi di 30 mila autori ma 500 di questi sono così frequentemente coinvolti da essere responsabili di circa un quarto dei casi di retraction. Questa evidenza è consolante perché ridimensiona la diffusione di queste cattive abitudini ma lascia pensare che troppe volte non ci sia un adeguato coinvolgimento da parte dei coautori e che questi siano aggregati al gruppo senza la possibilità o la volontà di esercitare il necessario controllo. In alcuni casi, diversi autori di un lavoro sotto inchiesta hanno chiesto alle riviste di rimuovere i loro nomi dalla pubblicazione: una negazione di responsabilità imbarazzante che ha addirittura portato alla permanenza nei database di articoli rimasti orfani.

È importante a tale proposito sottolineare le lunghezze procedurali che spesso caratterizzano il processo di retraction (continui scambi di comunicazione tra la rivista e gli autori, lunghe verifiche da parte delle istituzioni, ecc.)11. Questi ritardi nella eliminazione dei paper incriminati sono particolarmente dannosi, sia per la pratica, in quanto forniscono indicazioni sbagliate ai clinici, sia per la ricerca, che potrebbe utilizzarli per studi futuri. Particolarmente preoccupante è il problema delle revisioni sistematiche e meta-analisi, che generalmente non vengono aggiornate per verificare che tutti i lavori inclusi siano ancora validi. Lo studio di Fanelli et al.12 ha analizzato il problema esaminando un campione di 229 meta-analisi pubblicate tra il 2013 e il 2016 che avevano citato un articolo ritirato; in 50 di esse tale studio era stato utilizzato per la meta-analisi. Gli autori hanno ricalcolato gli effect size di queste 50 meta-analisi escludendo lo studio ritrattato, osservando che le stime si modificavano, in maniera diversa a seconda del motivo della retraction. Sebbene le differenze rilevate siano piccole, possono comunque impattare sui risultati e le conclusioni.

La geografia del misconduct

È ritenuto da molti che il principale imputato di questi reati sia la Cina. In realtà, il misconduct scientifico è diffuso in tutto il mondo. Esistono tuttavia alcune particolarità dei singoli Paesi che possono aumentarne la diffusione. In particolare, in alcune nazioni, come appunto la Cina o la Corea, esiste un sistema di incentivazione economica delle pubblicazioni scientifiche che pare incrementare il rischio di misconduct13.

Nel 2013 un articolo uscito su Science14 spiegava con sufficiente dettaglio il percorso di un articolo prodotto da un’agenzia editoriale che aveva ottenuto l’approvazione da parte di una rivista nonostante non fossero stati indicati gli autori: la firma del lavoro era in vendita al prezzo di 14.800 dollari e due autori in più sarebbero stati acquistabili al prezzo scontato di 24.300 dollari. Puntare il dito verso i ricercatori o i clinici cinesi o di altre nazioni “lontane”, dunque, sembra solo in parte giustificato dal momento che queste dinamiche sono possibili solo grazie alla disponibilità di case editrici molto famose. Nel caso dell’esempio prima citato, l’inconcepibile approvazione di un articolo anonimo era arrivata dall’International journal of biochemistry and cell biology di Elsevier. In Cina il problema è stato affrontato con un’intensificazione dell’impegno educazionale rivolto ai giovani ricercatori e con la stringente raccomandazione a seguire il codice etico della Accademia cinese delle scienze e della Fondazione nazionale cinese di scienze naturali15. A distanza di diversi anni dall’allarme lanciato da un media importante come Science, il panorama della malpractice nel publishing internazionale non permette di giungere a conclusioni definitive o a condanne di specifiche nazioni, tanto più che continuano a venir fuori “errori” che coinvolgono personalità come Marc Tessier-Lavigne, preside dell’università di Stanford, per la manipolazione di immagini sulla rivista dello European microbiology organization (Embo), o Gregg Semenza, genetista e premio Nobel, giunto alla ragguardevole cifra di 17 articoli ritirati a fine 202216.

Conclusioni

L’impressione è che si tratti di un problema di sistema e, come tale, di difficile soluzione se non agendo sulle sue cause e in modo collaborativo tra tutte le parti in causa. Difatti non esiste una soluzione unica. Tra queste, la principale e da tempo discussa è la necessità di ridurre l’attuale sistema di incentivi perversi nelle pubblicazioni scientifiche sia per gli autori sia per i redattori: più volte si è sottolineata l’importanza di premiare la qualità della ricerca e non la quantità dell’output editoriale. In caso contrario, i furbi di solito eludono le misure di controllo introducendo nuovi modi di ingannare il sistema di pubblicazione17. Un’altra azione fondamentale è fare formazione sui temi dell’integrità della condotta professionale rivolta ai giovani medici e ricercatori, con attività di sensibilizzazione contro le falsificazioni e attraverso politiche e linee guida chiare per promuovere l’integrità della ricerca accademica: ma più di ogni altra cosa conta il buon esempio e il clima di rispetto nei confronti della comunità scientifica che dovrebbe essere di casa in qualsiasi contesto accademico. Ciò premesso, sarebbe essenziale riconoscere come tempo di lavoro quello dedicato alla pianificazione della ricerca, alla sua attuazione e alla redazione di un articolo o di documentazione scientifica: in questo modo potrebbe essere meno necessario ricorrere a scorciatoie come quelle sempre più frequentemente descritte dai media internazionali. Oltre a rendere meno difficile ai propri ricercatori il lavoro di produzione scientifica, le istituzioni dovrebbero aumentare la vigilanza per assicurare che il loro personale non ricorra ad agenzie editoriali fraudolente nella preparazione di articoli scientifici e, laddove sia scoperta la frode, dovrebbero inasprire le sanzioni nei confronti di qualsiasi cattiva condotta nell’ambito della comunicazione scientifica. Ovviamente, molto deve essere affidato alla coscienza dei singoli professionisti e molto risiede nel controllo reciproco.

Difficile pensare a un percorso di peer review complessivamente più severo di quello attuale, anche per la crescente difficoltà che riviste e case editrici incontrano nel reperire referee competenti. Editori e direttori di riviste dovrebbero comunque intensificare la formazione dei propri collaboratori e integrare le checklist per i revisori indicando gli elementi da controllare con maggiore attenzione (per esempio, ripetitività del format rispetto a lavori simili, immagini suscettibili di falsificazione, ecc.). Ancora, sarebbe importante intervenire tempestivamente segnalando una expression of concern per gli articoli sospetti o ritirando gli articoli falsificati o inventati. Un aiuto potrà probabilmente giungere dalla stessa intelligenza artificiale che, da strumento di frode, potrebbe trasformarsi in un mezzo di controllo efficace per la verifica e valutazione dei contenuti scientifici proposti per la pubblicazione.

Conflitto di interessi: Luca De Fiore è dipendente di una casa editrice scientifica e il suo punto di vista sul fenomeno delle agenzie di fabbricazione di articoli accademici potrebbe essere condizionato dalla sua posizione lavorativa.

Ringraziamenti: Caterina Caminiti ringrazia la dottoressa Francesca Diodati per il supporto al lavoro di documentazione bibliografica.

Bibliografia

1. Aliukonis V, Poškute˙ M, Gefenas E. Perish or publish dilemma: challenges to responsible authorship. Medicina (Kaunas) 2020; 56: 123.

2. De Fiore L. Chi è l’autore di un articolo scientifico? Recenti Prog Med 2023; 114: 773-8.

3. Misra DP, Ravindran V, Agarwal V. Integrity of authorship and peer review practices: challenges and opportunities for improvement. J Korean Med Sci 2018; 33: e287.

4. Candal-Pedreira C, Ross JS, Ruano-Ravina A, Egilman DS, Fernández E, Pérez-Ríos M. Retracted papers originating from paper mills: cross sectional study. BMJ 2022; 379: e071517.

5. COPE Council. COPE Discussion document: authorship. September 2019 Version 1: Published 9 June 2014.

6. Else H. Multimillion-dollar trade in paper authorships alarms publishers. Nature 2023; 613: 617-8.

7. Abalkina A. Publication and collaboration anomalies in academic papers originating from a paper mill: evidence from Russia. arXiv preprint arXiv:2112.13322. 2021 Dec 26.

8. COPE & STM. Paper mills. Research report from COPE & STM, English. Committee on publication ethics 2022; version1. June 2022.

9. Nash J. Paper mills. The dark side of the academic publishing industry. MDPI 2022; 9 maggio.

10. Brainard J. Rethinking retraction. Science 2018; 362: 390-3.

11. Thorp HH. Rethinking the retraction process. Science 2022; 377: 793.

12. Fanelli D, Wong J, Moher D. What difference might retractions make? An estimate of the potential epistemic cost of retractions on meta-analyses. Account Res 2022; 29: 442-59.

13. Fanelli D, Schleicher M, Fang FC, Casadevall A, Bik EM. Do individual and institutional predictors of misconduct vary by country? Results of a matched-control analysis of problematic image duplications. PLoS One 2022; 17: e0255334.

14. Hvistendahl M. China’s publication bazaar. Science 2013; 342: 1035-9.

15. Yang W. Research integrity in China. Science 2013; 342: 1019.

16. Else H. Dozens of papers co-authored by Nobel laureate raise concerns. Nature 2022; 611: 19-20.

17. Haug CJ. Peer-review fraud--Hacking the scientific publication process. N Engl J Med 2015; 373: 2393-5.