Dalla letteratura

In collaborazione con l’Associazione Alessandro Liberati – Network Italiano Cochrane
www.associali.it

Dobbiamo riconsiderare la gerarchia delle evidenze?

Qualsiasi nuovo studio sperimentale dovrebbe essere disegnato e realizzato solo dopo aver verificato la disponibilità di evidenze di buona qualità su quell’argomento risultanti da revisioni sistematiche. La raccomandazione di molti autorevoli metodologi internazionali è solitamente disattesa e non poche persone ritengono che questa sia una delle principali ragioni dello spreco di risorse in ricerca inutile. In altre parole, si continuano a condurre studi su argomenti riguardo ai quali già disponiamo di conoscenze sufficienti.

Le revisioni sistematiche sono dunque uno strumento chiave della ricerca clinica ed epidemiologica: l’elemento che per primo determina la necessità di uno studio e che, una volta concluso, ne valuta i risultati alla luce delle altre prove disponibili. Pietra fondante, dunque, posta però in cima alla piramide delle evidenze costruita oltre 25 anni fa dall’Evidence-based Medicine Working Group e periodicamente soggetta a critiche e a ristrutturazioni. Qualsiasi pietra, in una posizione così particolare, sarebbe però in precario equilibrio.

Soprattutto se oggetto delle analisi di una persona battagliera come Trisha Greenhalgh, medico inglese oggi alla University of Oxford e da tempo tra gli osservatori più critici del mondo della EBM. In un articolo uscito sullo European Journal of Clinical Investigation, Greenhalgh mette in discussione la gerarchia delle prove, sostenendo che la superiorità delle revisioni sistematiche sugli altri documenti è ingiustificata e poco difendibile1. Soprattutto, le revisioni sistematiche sono considerate assai più autorevoli delle rassegne narrative in un confronto che, però, non tiene conto che i loro obiettivi sono differenti, al punto che i due tipi di documento dovrebbero essere considerati complementari e non alternativi.

Occorre distinguere – sostengono Greenhalgh e le coautrici dell’articolo – tra i dubbi e le questioni aperte che richiedono dati (per i quali sono appropriate le revisioni sistematiche convenzionali accompagnate da una meta-analisi) da quelli che richiedono una chiarificazione e un’intuizione consapevole dei problemi oggetto di riflessione (per i quali, invece, è necessaria una sintesi più discorsiva). Per certi aspetti, le revisioni sistematiche sono strumenti più tecnici che possono dare indicazioni su argomenti circoscritti, mentre il contributo delle rassegne narrative è finalizzato a una comprensione più comprensiva di un tema complesso.

Distinzioni che, però, non possono prescindere dal considerare come i confini tra i due tipi di documenti si stanno facendo sempre meno netti. Infatti, negli ultimi anni sono state proposte le hermeneutic review (che non presuppongono ricerca e selezione sistematica delle evidenze disponibili ma una ricostruzione della cornice dei saperi utili per proporre un’interpretazione), le realist review (che mettono a fuoco i rapporti di causalità tra fenomeni o processi), le meta-narrative review (che propongono delle timeline di come alcuni argomenti si sono evoluti nel corso degli anni). È evidente come la comunità scientifica stia da tempo cercando di andare incontro a una domanda di conoscenza affinando i propri strumenti di comunicazione e, prima ancora, le metodologie di analisi.

Il percorso si è reso necessario anche per la progressiva perdita di credibilità delle revisioni sistematiche conseguente al loro utilizzo come strumenti di marketing: «Disponiamo di evidenze crescenti di come la scienza delle revisioni sistematiche sia progressivamente condizionata da conflitti di interesse commerciali e di altra natura», nonostante il percorso della loro produzione sia teoricamente determinato dai passaggi previsti nelle diverse checklist elaborate a livello internazionale. È un cavallo di battaglia di Greenhalgh, quello della corruzione della base di evidenze, argomento di un suo lavoro molto letto e citato2. Che la qualità di molta letteratura “accreditata” lasci a desiderare è sotto gli occhi di tutti, ma in molti sostengono sia sempre meglio una revisione sistematica con qualche difetto di una rassegna tradizionale basata sull’eminenza del proprio autore. Niente affatto, risponde la Perspective sullo European Journal: perfino lo spiluccare qua e là le ciliegie sull’albero della letteratura scientifica, scegliendo quelle più utili a corroborare una propria tesi, può essere il metodo per difendere un’interpretazione, una particolare lettura utile a informare le decisioni cliniche come anche le scelte dei decision maker politici.

In definitiva, le rassegne narrative non sono le cugine povere delle revisioni sistematiche, ma solo una forma diversa di contributo accademico all’elaborazione delle conoscenze. Non si tratta di una discussione sulla lana caprina, perché potrebbe avere delle ripercussioni sulla formulazione dei bandi di finanziamento e sui criteri per la valutazione della ricerca.

Bibliografia

1. Greenhalgh T, Thorne S, Malterud K. Time to challenge the spurious hierarchy of systematic over narrative reviews? Eur J Clin Invest 2018; e12931.

2. Greenhalgh T, Howick J, Maskrey N. Evidence based medicine: a movement in crisis? BMJ 2014; 348: g3725.




L’epidemiologia nel paese delle meraviglie

Descriveresti una sinfonia di Beethoven come un insieme di variazioni di onde sonore? Si chiude così, con una citazione da Albert Einstein, un ampio saggio di Rodolfo Saracci sullo European Journal of Epidemiology: l’epidemiologia nel paese delle meraviglie, il paese dei big data e della medicina di precisione1. Uno scritto permeato dall’acutezza di sguardo (“a closer scrutiny”) col quale l’autore si è soffermato su alcune delle novità più pubblicizzate della medicina dei nostri anni.

Tra gli elementi che connotano i big data, osserva Saracci, manca la validità. Questa la quarta “v” che da sola potrebbe qualificare le tre precedenti: volume, varietà, velocità. Non è una novità, il “primato della validità del dato”, se è vero che già dai primi anni Settanta del secolo scorso era al centro delle riflessioni di Paul Meier e della International Biometric Society, ai cui vertici erano personalità del calibro di Tom Chalmers e Peter Armitage. «Concentriamoci sulle fonti di bias, se esistono, e mettiamo da parte tutto il resto che andremo a considerare successivamente», ammoniva Meier. La prima conclusione di Saracci è dunque che il valore dei dati non è nella loro ampiezza (bigness) ma nella validità del percorso che ha portato alla loro misurazione, base della stima della validità interna ed esterna di qualsiasi ricerca.







Da anni, i “big research data” – quelli esplicitamente raccolti per attività di ricerca – hanno richiesto un impegno particolare per garantire la qualità della loro misurazione, come dimostrato per esempio da molti studi condotti presso la International Agency for Research on Cancer. I “grandi numeri” generati per altri scopi – “big secondary data” – chiedono altrettanta cura nella misurazione e nelle procedure per la valutazione di qualità. Che gli algoritmi possano arrivare a determinare rapporti di causa-effetto e correlazioni spingendosi oltre il limite dell’analisi possibile per la mente umana è una tesi poco sostenibile: anche se giunge da Chris Anderson, personalità chiave dei nuovi scenari della tecnologia dei nostri anni. “Il diluvio di dati” non può rendere obsoleto il metodo scientifico.

L’analisi di Saracci considera diverse applicazioni dei big secondary data: la prima è la real time surveillance, che ha mostrato i propri limiti nella nota vicenda di Google Flu Trends, principalmente da ricondurre proprio alle incertezze sulla validità del dato. Un altro mantra dei nostri anni è la real world evidence (RWE) ed è anche il secondo problema aperto affrontato dall’autore. I registri sono la fonte migliore ma non sempre sono disponibili, non lo sono ovunque e spesso sono privi di quelle informazioni che potrebbero dare le risposte necessarie per rendere i dati raccolti traducibili in decisioni e comportamenti clinici. Inoltre, la RWE si basa spesso sulle cartelle cliniche elettroniche, dimenticando come siano incoerenti nei format e frequentemente compilate in modo disomogeneo. Senza contare che molta “evidenza dal mondo reale” ha un valore limitato ai setting nei quali è stata raccolta. Altro punto considerato riguarda la possibilità di usare la RWE per la stima del rischio, con la prospettiva – addirittura – di poter fare a meno degli studi osservazionali e delle sperimentazioni controllate randomizzate.

Saracci arriva dunque a riflettere sulla medicina di precisione, una sorta di miraggio le cui fondamenta potrebbero essere minate semplicemente ponendosi una domanda: “Potremo mai intervenire sulla salute della popolazione del pianeta ricorrendo a percorsi in ogni occasione individualizzati, per ciascun singolo abitante dei sette miliardi e mezzo che abitano la Terra?”. Una prospettiva irreale, ma sostenuta da importanti interessi economici, se è vero che “tanto più sono individualizzati percorsi e soluzioni cliniche tanto maggiori sono i costi per il sistema sanitario”. La deriva può essere quella di ridurre la persona a un “datoma”, da gestire attraverso algoritmi e intelligenza artificiale in un contesto di assistenza privato da ogni aspetto di cura e presa in carico della persona malata?

Domanda retorica: la risposta è invece nel recupero di un’epidemiologia saggia che si confermi la base di qualsiasi azione di sanità pubblica. Servono nuovi percorsi di formazione dei giovani epidemiologi, il recupero della centralità del rapporto tra medico e paziente, la riconsiderazione del concetto stesso di salute: così che nessun medico “nuovo” possa avvicinarsi a una persona malata come farebbe chi intendesse godere di una sinfonia di Beethoven vivendola come un insieme di variazioni di onde sonore…

Bibliografia

1. Saracci R. Epidemiology in wonderland: Big data and precision medicine. Eur J Epidemiology 2018; published 5 april 2018.

Una classificazione di errori e frodi editoriali

Può essere parzialmente ritirato, ritirato con sostituzione, ritirato e ripubblicato. Può essere soggetto a una short refutation o essere corredato da una nota che segnala che qualcosa potrebbe accadere (matter arising). Può vedersi affiancato un erratum o un corrigendum e, nei casi estremi, può essere soggetto di annullamento (withdrawal), cosa diversa dal venir cancellato (cancelled). Parliamo di un articolo scientifico e, tra la fantasia dei plagiatori e la molteplicità delle occasioni di errore che si presentano nella rendicontazione della ricerca, la situazione è talmente confusa che è necessaria una svolta.

La chiedono Daniele Fanelli, John Ioannidis e Steven Goodman: lavorando (anche) al Meta-Research Innovation Center di Stanford (METRICS), qualsiasi elemento che contribuisca a determinare distorsioni nella definizione della base di conoscenze diventa una cosa da risolvere con urgenza1. Le riviste scientifiche sono colpite in maniera crescente (anche se su questo non c’è accordo: qualcuno sostiene che è solo migliorata la capacità di scoprire errori e frodi) dalla cattiva condotta degli autori e offrono a questi ultimi poche opzioni per riparare agli incidenti del percorso editoriale. Una tra le questioni più gravi è la relativa trasparenza che accompagna la segnalazione delle correzioni e delle retraction: spesso è dovuta all’opacità dominante nel medical publishing, ma altre volte allo stigma che si associa ai casi di malpractice.




In generale, non c’è una cultura diffusa che promuova l’integrità nella produzione di letteratura scientifica e, allo stesso tempo, non c’è tolleranza per gli errori involontari di cui un autore può essere responsabile. Fanelli, Ioannidis e Goodman hanno preparato una tassonomia dei possibili incidenti che sistematizza aspetti importanti: la natura del problema che rende necessario l’intervento editoriale, le conseguenze dei diversi tipi di problema sul complesso della letteratura scientifica, la figura editoriale responsabile (il direttore di una rivista, l’autore o altre), la persona dalla quale parte la segnalazione del problema. Per ciascuno di questi elementi, gli autori suggeriscono come l’articolo dovrebbe essere corretto, il format della correzione, il percorso della revisione critica della correzione stessa, l’attribuzione della authorship della correzione.

Tra le cose più interessanti c’è la formalizzazione della possibilità che una linea-guida o una raccomandazione sia “ritirata” (retired) nel momento in cui gli autori ritengano il contenuto superato e non abbiano la possibilità di aggiornarlo. Altra fattispecie in certa misura inedita è la retraction di un lavoro pubblicato due volte per errore e non per dolo: attualmente, le banche dati bibliografiche segnalano la duplicate publication ma, in questo modo, associano almeno implicitamente un giudizio negativo a quello che in realtà è solo uno sbaglio.

In conclusione, la proposta del METRICS sembra puntare alla promozione dell’integrità della ricerca e della sua disseminazione, mitigando l’approccio sanzionatorio e penalizzante che attualmente prevale nei confronti dei casi di cattiva condotta editoriale.

Bibliografia

1. Fanelli D, Ioannidis JPA, Goodman S. Improving the integrity of published science: an expanded taxonomy of retractions and corrections. Eur J Clin Invest 2018; 48: e12898.