Tutte le prove sono real world evidence

Holger Schünemann1

1Department of health research methods, evidence, and impact, McMaster University, Hamilton, Canada; Cochrane Canada e GRADE working group.

Pervenuto su invito il 5 aprile 2019.

Riassunto. Gli studi controllati randomizzati sono criticati per la difficoltà di trasferire i risultati ottenuti all’assistenza sanitaria e alla pratica clinica. Le popolazioni di pazienti arruolate nello studio sarebbero troppo diverse dai malati che incontra il medico. La soluzione di questi problemi dovrebbe giungere dalla cosiddetta real world evidence: dati generati dal monitoraggio dei pazienti stessi, dai registri di patologia, dalle cartelle cliniche elettroniche o, in prospettiva, dai big data. Però, tutte le prove – se di buona qualità – sono “real world evidence”, sia che provengano da studi controllati randomizzati, sia che giungano da studi osservazionali o da altri disegni di studio. Tenendo presente che quanto maggiore è l’aderenza alla realtà desiderata, tanto più alto è il rischio di bias. La soluzione vera ai problemi della ricerca clinica può venire solo dalla valutazione attenta delle prove e dalla determinazione di quanto attendibilmente le prove supportino tutti i fattori che possono determinare una raccomandazione o una decisione. Questi fattori comprendono l’importanza di un problema di salute, l’equilibrio tra benefici per la salute e rischi, i valori che le persone attribuiscono ai risultati, l’uso delle risorse, l’equità, l’accettabilità e la fattibilità. Idealmente, l’evidenza dovrebbe essere esposta in modo trasparente in un framework GRADE evidence to decision (EtD).

All evidence is real world evidence.

Summary. Randomized controlled trials are criticized for the difficulty of translating the results obtained to healthcare and clinical practice. The populations of patients enrolled in the studies are supposed to be too different from the patients encountered daily by the health professionals. The solution of these problems should come from the so-called real world evidence: data generated by the patients, from diseases registries, from electronic medical records or, in perspective, from big data. However, all evidence is real world evidence – whether RCT or observational or any other source. In a sense the more real you want to be one the more is the risk of bias. The answer to the problems of clinical research can only come from the careful evaluation of the evidence, assessing how reliably the evidence support all the factors that can determine a recommendation or a decision. These factors include the importance of a health problem, the balance between health benefits and risks, the values that people attach to outcomes, resource use, equity, acceptability and feasibility. Ideally, the evidence should be exposed transparently in a GRADE framework evidence to decision (EtD).

Le linee guida di pratica clinica sono spesso criticate perché non presterebbero sufficiente attenzione alla real world evidence (RWE) come i big data, i dati generati dai pazienti, i dati dei registri o le cartelle cliniche elettroniche. Generalmente si ritiene che la RWE rifletta in modo più accurato ciò che accade al di fuori di un ambiente di ricerca controllato. In questo contesto, gli studi randomizzati e controllati (RCT) possono essere liquidati come prove che non riflettono il mondo reale. La logica di questo ragionamento è che le prove ottenute al di fuori degli RCT possono essere più direttamente applicabili alle popolazioni, agli interventi, ai comparatori e agli esiti (problem/patient/population, intervention, comparison/control, outcome - PICO) di cui si occupano medici, operatori sanitari, ricercatori, decisori di politica sanitaria e malati e che queste prove sono più adatte a supportare la medicina personalizzata o l’assistenza sanitaria individualizzata. Questa enfasi sull’applicabilità, sulla generalizzabilità, sulla validità esterna o sui concetti di trasferibilità, che si può semplicemente etichettare come indiretta, sembra ragionevole; in particolare, per raccomandazioni di linee guida affidabili che dovrebbero informare i migliori interventi e le decisioni nella pratica quotidiana1. Tuttavia, un’indebita enfasi sulla RWE è potenzialmente rischiosa per le linee guida e non solo.

In primo luogo, l’attuale concetto di RWE suggerisce che gli RCT provengono da un mondo irreale. Ma le prove degli RCT fanno parte del mondo reale e i ricercatori stanno studiando il modo migliore per considerare PICO reali, benché spesso selezionati. Dal modo col quale sono formulati dovrebbe essere chiaro come siano parte di quel mondo reale.

In secondo luogo, concentrarsi solo sulla RWE mette in ombra il rischio di errori sistematici (bias) enfatizzando la directness. Persino le prove che più scaturiscono dal mondo reale non saranno sufficienti a fornire la certezza che un intervento abbia gli effetti desiderati se vengono introdotti altri bias quando i pazienti sono assegnati a un intervento o non riescono a ottenere un confronto equo tra un intervento e un’alternativa nella produzione di RWE. A chi sono utili prove più “utilizzabili” se gli effetti sono fasulli? Infatti, la certezza degli effetti degli interventi la abbiamo solo se i dati sono ottenuti attraverso una ricerca rigorosa nel disegno dello studio e nell’esecuzione (rischio di bias) ed essa risponde fedelmente al PICO di interesse; se i dati non rappresentano un risultato casuale, sono coerenti con quelli di altri studi condotti in modo simile, e sono valutati e pubblicati in maniera completa2.




In questo contesto, la indirectness (non diretta trasferibilità dei risultati al contesto di interesse) e la imprecision (quando gli studi includono pochi pazienti e/o si verificano pochi eventi, producendo così stime con intervalli di confidenza molto ampi) sono spesso le maggiori preoccupazioni in un RCT. La RWE, d’altro canto, può ridurre i timori relativi alla indirectness, ma non li elimina. Per esempio, ritenendo che la RWE sia superiore perché più direttamente applicabile al PICO di interesse e utilizzandola per dimostrare che un intervento è efficace, ignoriamo il fatto che qualsiasi evidenza influenzi decisioni future, non decisioni “actual”. Indipendentemente dalla fedeltà con cui i PICO sono rappresentati nella RWE, quando una decisione effettiva viene presa sulla base di RWE, chi prende una decisione estrapola dati da un contesto diverso. Pertanto, tutte le prove sono indirette, ed etichettare qualcosa come RWE non risolve il problema. Allo stesso tempo, chi produce linee guida dovrebbe applicare un approccio che integri tutti i tipi di prove per ridurre le preoccupazioni sulla indirectness e quindi giudicarne la forza1,3.

La RWE spesso fornisce anche prove più precise attraverso la raccolta di dati di routine su larga scala, ma ciò non riduce la maggiore predisposizione al bias di confondimento e selezione. Ciò che può scaturire dalla RWE sono effetti precisi – ma distorti – degli interventi. I domini GRADE per aumentare la certezza nelle prove e minimizzare il rischio di bias, aiutano a mettere a fuoco le poche eccezioni per quando c’è un minore trade-off tra la indirectness e il rischio di bias. Quando è improbabile che il confondimento o il bias di selezione siano la causa di effetti precisi di grandi dimensioni, oppure esiste una relazione dose-effetto o è presente un bias confondente plausibile, aumenta la nostra certezza negli effetti4. Questo deve essere tenuto a mente.

In terzo luogo, l’enfasi sulla RWE è nelle mani di coloro che manipolano i dati per ottenere qualche vantaggio: i bias nella RWE sono più difficili da determinare perché gli strumenti disponibili per riuscirci sono più impegnativi; le analisi sono spesso meno trasparenti e più facili da manipolare; e la registrazione dei protocolli delle analisi programmate non viene eseguita.

Glorificare la RWE (indirettamente) criticando altre metodologie di ricerca e le prove che possiamo trarre da RCT appanna i risultati di trial pragmatici o di grandi studi internazionali che attenuano le preoccupazioni sulla indirectness senza sacrificare i principi che sappiamo possono aiutare a ridurre il rischio di bias.

Infine, la frase “prove del mondo reale” annacqua quello su cui dovremmo piuttosto ­concentrarci. Le raccomandazioni affidabili devono basarsi su una valutazione delle prove e sulla determinazione di quanto attendibilmente le prove supportino tutti i fattori che determinano una raccomandazione o una decisione. Questi fattori comprendono l’importanza di un problema di salute, l’equilibrio tra benefici per la salute e rischi, i valori che le persone attribuiscono ai risultati, l’uso delle risorse, l’equità, l’accettabilità e la fattibilità. Idealmente, l’evidenza dovrebbe essere esposta in modo trasparente in un framework GRADE evidence to decision (EtD)5.

Tuttavia, non tutti i criteri in un framework EtD richiedono prove da studi controllati randomizzati. Coloro che enfatizzano la RWE spesso confondono intenzionalmente le acque, affermando che è inappropriato richiedere lo svolgimento di un RCT per determinare l’importanza o il peso di un problema di assistenza sanitaria, o per mettere a fuoco i valori delle persone o per integrare dati qualitativi. Hanno ragione. Ma sottolineando che, da sola, la RWE è sufficiente per arrivare a raccomandazioni affidabili confondono i problemi. Questo perché la RWE è sufficiente solo per una parte del framework EtD e queste sfumature possono essere difficili da comprendere. I framework EtD dovrebbero menzionare esplicitamente la certezza delle prove basate sui modelli di studio appropriati e pertinenti per tutti questi fattori, per esempio studi non randomizzati per la prognosi e il baseline risk, senza la necessità di usare l’etichetta di RWE.

A mio parere, dovremmo smettere di usare l’espressione RWE per suggerirne la superiorità sugli RCT, o addirittura per andare oltre gli RCT, e dovremmo essere cauti nell’usare il termine RWE per ridimensionare la discussione sui bias. Tutte le prove sono reali nel nostro mondo. Chi lavora alle linee guida dovrebbe valutare se i big data, i dati generati dai pazienti o i dati dei registri o delle cartelle cliniche elettroniche possono mitigare le principali preoccupazioni sollevate dalle prove che risultano da RCT per informare le decisioni: principalmente indirectness, imprecision e uso di prove appropriate per informare i fattori che influenzano la fiducia nelle raccomandazioni. Dovrebbero quindi valutare la certezza delle prove, indipendentemente dalla loro etichetta. L’approccio GRADE fornisce già una guida dettagliata per ottenere questi risultati5.

Conflitto di interessi: l’autore è co-chair del gruppo di lavoro GRADE.

Bibliografia

1. Schünemann HJ, Tugwell P, Reeves BC, et al. Non-randomized studies as a source of complementary, sequential or replacement evidence for randomized controlled trials in systematic reviews on the effects of interventions. Res Synth Methods 2013; 4: 49-62.

2. Guyatt GH, Oxman AD, Kunz R, Vist GE, Falck-Ytter Y, Schünemann HJ; GRADE Working Group. What is “quality of evidence” and why is it important to clinicians? BMJ 2008; 336: 995-8.

3. Guyatt GH, Oxman AD, Kunz R, et al.; GRADE Working Group. GRADE guidelines: 8. Rating the quality of evidence-indirectness. J Clin Epidemiol 2011; 64: 1303-10.

4. Guyatt GH, Oxman AD, Sultan S, et al.; GRADE Working Group. GRADE guidelines: 9. Rating up the quality of evidence. J Clin Epidemiol 2011; 64: 1311-6.

5. Alonso-Coello P, Schünemann HJ, Moberg J, et al.; GRADE Working Group. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction. BMJ 2016; 353: i2016.