ROBIS: un nuovo strumento sviluppato per valutare i rischi di distorsione nelle revisioni sistematiche*

Penny Whitinga,b,c, Jelena Savovića,b, Julian P.T. Higginsa,d, Deborah M. Caldwella,
Barnaby C. Reevese, Beverley Sheaf, Philippa Daviesa,b, Jos Kleijnenc,g, Rachel Churchilla,
the ROBIS Group**

aSchool of Social and Community Medicine, University of Bristol, UK; bThe National Institute for Health Research Collaboration for Leadership in Applied Health Research and Care West at University Hospitals Bristol NHS Foundation Trust, Bristol, UK; cKleijnen Systematic Reviews, Unit 6, Escrick Business Park, York, UK; dCentre for Reviews and Dissemination, University of York, UK; eSchool of Clinical Sciences, University of Bristol, UK; fCommunity Information and Epidemiological Technologies Institute of Population Health, Ottawa, Canada; gSchool for Public Health and Primary Care (CAPHRI), Maastricht University, The Netherlands.

Traduzione in italiano a cura di: Laura Amato1, Federico Bertolini2, Silvia Minozzi1, Rosella Saulle1, Simona Vecchi1

1Dipartimento di Epidemiologia, SSR-ASL Roma1 Regione Lazio, Roma; 2Dipartimento di Neuroscienze, Biomedicina e Scienze del Movimento, Sezione di Psichiatria, Università di Verona.

*Tradotto dall’articolo: ROBIS Group. ROBIS: a new tool to assess risk of bias in systematic reviews was developed. J Clin Epidemiol 2016; 69: 225-34.

Riassunto. Obiettivo. Sviluppare ROBIS, un nuovo strumento per valutare i rischi di distorsione (bias) nelle revisioni sistematiche (piuttosto che negli studi primari). Disegno di studio e setting. Per sviluppare ROBIS abbiamo utilizzato un approccio in quattro stadi: definire l’obiettivo, ricercare le prove disponibili, organizzare incontri faccia a faccia, perfezionare lo strumento attraverso uno studio pilota. Risultati. ROBIS è stato sviluppato allo scopo di valutare le revisioni sistematiche in ambito sanitario su: effetti degli interventi sanitari, diagnosi, prognosi ed eziologia. Lo strumento è destinato principalmente a coloro che sviluppano linee-guida, autori di overview di revisioni sistematiche (revisioni di revisioni) e autori di revisioni che potrebbero voler valutare o evitare rischi di bias nelle loro revisioni. Lo strumento si completa in tre fasi: 1) valutare la rilevanza del quesito di ricerca (opzionale); 2) identificare i punti critici del processo di revisione; 3) valutare il rischio complessivo di bias (distorsione sistematica). La fase 2 considera quattro domini attraverso i quali possono essere introdotti rischi di bias nelle revisioni sistematiche: 1) criteri di eleggibilità degli studi; 2) identificazione e selezione degli studi; 3) raccolta dei dati; 3) sintesi e risultati. La fase 3 valuta il rischio complessivo di bias nell’interpretazione dei risultati della revisione e se l’interpretazione ha tenuto conto degli eventuali limiti identificati in uno qualsiasi dei domini della fase 2. Sono inoltre inserite domande chiave di supporto alla valutazione di eventuali dubbi relativi al processo di conduzione della revisione (fase 2) e al complessivo rischio di bias della revisione stessa (fase 3); queste domande mirano a individuare i possibili bias che possono verificarsi durante tutto il processo di stesura di una revisione sistematica, dalla progettazione alla conduzione, alla sintesi dei risultati fino alla scrittura delle conclusioni. Conclusioni. ROBIS è il primo strumento rigorosamente disegnato e sviluppato per la valutazione del rischio di bias nelle revisioni sistematiche.

Parole chiave. Evidenza, meta-analisi, qualità, revisioni sistematiche, rischi di bias, strumento di valutazione.

ROBIS: a new tool to assess risk of bias in systematic reviews was developed.

Summary. Objective. To develop ROBIS, a new tool for assessing the risk of bias in systematic reviews (rather than in primary studies). Study design and setting. We used four-stage approach to develop ROBIS: define the scope, review the evidence base, hold a face-to-face meeting, and refine the tool through piloting. Results. ROBIS is currently aimed at four broad categories of reviews mainly within health care settings: interventions, diagnosis, prognosis, and etiology. The target audience of ROBIS is primarily guideline developers, authors of overviews of systematic reviews (“reviews of reviews”), and review authors who might want to assess or avoid risk of bias in their reviews. The tool is completed in three phases: 1) assess relevance (optional), 2) identify concerns with the review process, and 3) judge risk of bias. Phase 2 covers four domains through which bias may be introduced into a systematic review: 1) study eligibility criteria; 2) identification and selection of studies; 3) data collection and study appraisal; and 4) synthesis and findings. Phase 3 assesses the overall risk of bias in the interpretation of review findings and whether this considered limitations identified in any of the phase 2 domains. Signaling questions are included to help judge concerns with the review process (phase 2) and the overall risk of bias in the review (phase 3); these questions flag aspects of review design related to the potential for bias and aim to help assessors judge risk of bias in the review process, results, and conclusions. Conclusions. ROBIS is the first rigorously developed tool designed specifically to assess the risk of bias in systematic reviews.

Key words. Evidence, meta-analysis, quality, risk of bias, systematic review, tool.

Introduzione

Le revisioni sistematiche sono generalmente considerate la fonte più attendibile di prove relative a un intervento medico, a un test, a un marker, ecc.1,2. Possono essere utili per rispondere a domande relative a una vasta gamma di argomenti e possono includere vari tipi di disegni di studio. Sempre più spesso, le linee-guida cliniche di alta qualità metodologica che si basano su prove di evidenza (evidence-based) hanno tra i loro standard l’utilizzo di revisioni sistematiche3, che a loro volta possono contribuire a definire percorsi assistenziali, decisioni di coverage, terapie, farmaci e così via. Poiché le revisioni sistematiche svolgono un ruolo importante nel processo delle decisioni cliniche e nell’allocazione delle risorse, i responsabili delle decisioni (politici, manager, professionisti sanitari) dovrebbero aspettarsi che esse vengano condotte seguendo una metodologia rigorosa e che siano prive di bias (distorsioni sistematiche).

Difetti sistematici o limiti nella progettazione o nella conduzione di una revisione hanno il potenziale per distorcerne i risultati. I bias possono verificarsi in qualsiasi fase del processo di sviluppo di una revisione; coloro che le utilizzano hanno bisogno di conoscere questi eventuali bias quando interpretano i risultati e le conclusioni di una revisione. Oggi si è sempre più consapevoli dei potenziali difetti nella progettazione e nella conduzione di revisioni sistematiche. Negli ultimi anni gli autori di revisioni si sono concentrati sempre più su come prevenire i potenziali bias sviluppando linee-guida e metodologie di riferimento per la loro conduzione. Per esempio, la Cochrane Collaboration ha formalmente adottato le linee-guida MECIR (Methodological Expectations of Cochrane Intervention Review)4, e l’Institute of Medicine degli USA ha raccomandato una metodologia standard per condurre revisioni sistematiche di buona qualità5. Lo sviluppo e l’utilizzo di PRISMA6,7 ha permesso di migliorare il reporting delle revisioni sistematiche. Questo aiuta il lettore a valutare se sono stati compiuti tutti i passi necessari per minimizzare i rischi di bias durante la progettazione e la conduzione di una revisione.

Attualmente esistono vari strumenti per la valutazione critica della qualità delle revisioni sistematiche. Sebbene nessuno di essi sia accettato universalmente, lo strumento AMSTAR è probabilmente quello più comunemente utilizzato8. Non siamo a conoscenza di strumenti disegnati specificamente per valutare i rischi di bias nelle revisioni sistematiche; tutti gli strumenti attualmente disponibili hanno l’obiettivo più vasto di una valutazione critica della revisione8,9 o si focalizzano specificatamente sulle meta-analisi10. Per colmare questa lacuna, abbiamo sviluppato lo strumento ROBIS, di seguito descritto.

Sviluppo di ROBIS

Lo sviluppo di ROBIS si è basato su un approccio a quattro fasi11: 1) definire l’obiettivo; 2) ricercare le prove disponibili; 3) organizzare incontri faccia a faccia; 4) perfezionare lo strumento attraverso uno studio pilota.

Sviluppo della fase 1: definire l’obiettivo

Abbiamo costituito un gruppo di coordinamento formato da 11 esperti in revisioni sistematiche. Questo gruppo, attraverso regolari teleconferenze, ha concordato le caratteristiche chiave dell’obiettivo di ROBIS. L’obiettivo è stato poi successivamente definito in incontri faccia a faccia e tramite il metodo Delphi, che è stato utilizzato anche per definire i contenuti dello strumento. Abbiamo convenuto che ROBIS dovesse valutare sia il rischio di bias di una revisione sia (se appropriato) la rilevanza del quesito di ricerca. Più specificamente, valuterà: 1) la misura in cui la domanda di ricerca affrontata dalla revisione coincida con la domanda di ricerca posta dal suo utilizzatore (per es., autore dell’overview o produttore della linea-guida); 2) quanto, attraverso i metodi utilizzati nella revisione, siano stati minimizzati i rischi di bias nelle stime sintetiche e nelle conclusioni. I risultati di una revisione possono essere di “rilevanza limitata” se la domanda cui essa intende rispondere non coincide con la domanda dell’overview o della linea-guida. Si verifica un “bias” se difetti sistematici o limiti nel disegno, conduzione e analisi della revisione distorcono i risultati o le conclusioni della revisione stessa. È importante la distinzione tra bias presenti nella revisione (chiamati anche metabias) e bias presenti negli studi primari in essa inclusi. Una revisione sistematica può essere giudicata a basso rischio di bias anche se gli studi che include sono tutti ad alto rischio di bias, quando, nel trarre le conclusioni, la revisione ha valutato e considerato in modo appropriato i rischi di bias degli studi primari.

L’obiettivo principale nello sviluppo di ROBIS è quello di ottenere uno strumento il più versatile possibile mirato inizialmente a valutare revisioni sistematiche relative all’efficacia (interventi), all’eziologia, alla diagnosi e alla prognosi (vedere il box per esempi relativi a ciascun tipo di revisione)12-15. Lo strumento deve consentire a persone con differenti background, interessate a sviluppare linee-guida, autori di overview di revisioni sistematiche (revisioni di revisioni) e autori di revisioni che vogliono valutare o evitare rischi di bias nelle loro revisioni, di distinguere tra revisioni ad alto rischio di bias e revisioni a basso rischio di bias.

Abbiamo scelto di adottare una struttura basata su domini simile a quella utilizzata in strumenti progettati per valutare il rischio di bias negli studi primari (per es., Cochrane Risk of Bias Tool16, QUADAS-217, ACROBAT-NRS18 e PROBAST19). Abbiamo, inoltre, convenuto su un approccio a tre fasi per valutare i rischi di bias relativi al processo di conduzione della revisione: informazioni utilizzate per giudicare il rischio di bias, domande chiave e giudizi. Abbiamo deciso che alle domande chiave si può rispondere “sì”, “probabilmente sì”, “probabilmente no”, “no”, “nessuna informazione”. Il rischio di bias viene valutato come “basso”, “alto”, “non chiaro”.




Sviluppo della fase 2: revisione delle prove disponibili

Abbiamo utilizzato tre differenti approcci per ottenere le informazioni utili per lo sviluppo di ROBIS. Innanzitutto abbiamo classificato le 80 voci del MECIR per la conduzione delle revisioni sistematiche4 nel seguente modo: relative ai bias, alla variabilità/applicabilità, alla qualità del reporting, o come item di “processo” (cioè, item relativi a come la revisione dovrebbe essere condotta da una prospettiva pratica). Poi per ciascuna delle 46 voci classificate come “bias item”, abbiamo sviluppato delle “domande chiave”. Successivamente, abbiamo preso in esame 40 strumenti, già validati, di valutazione della qualità metodologica delle revisioni o delle meta-analisi, individuando 5 fonti di possibili distorsioni (definizione del quesito clinico/criteri di inclusione, ricerca della letteratura, metodi, sintesi e conclusioni). Abbiamo anche raccolto informazioni sulla struttura di ogni strumento e sul grado di concordanza nei giudizi tra valutatori. Infine, per terza cosa, abbiamo condotto una revisione delle overview che avevano utilizzato lo strumento AMSTAR per valutare la qualità delle revisioni sistematiche. Lo scopo di questa revisione era quello di fornire informazioni sulle esigenze dei potenziali utilizzatori di ROBIS. Dettagli più completi di queste due fasi (revisioni degli strumenti già esistenti e delle overview che utilizzavano AMSTAR) saranno riportati separatamente. Sulla base delle prove ottenute da queste tre fonti, abbiamo riassunto le informazioni sui requisiti che ROBIS doveva avere e identificato le domande chiave che dovevano essere incluse nello strumento.

Sviluppo della fase 3: incontri faccia a faccia del gruppo ROBIS

Abbiamo avuto un incontro di persona, della durata di un giorno, il 17 settembre 2013 prima del Cochrane Colloquium di Quebec City, in Canada. Il principale scopo di questo incontro era quello di sviluppare una prima bozza di ROBIS. Le 21 persone che vi hanno partecipato (inclusi sette membri del Cochrane Steering Group) sono state invitate a fornire stimoli e suggerimenti da una vasta gamma di soggetti potenzialmente interessati all’utilizzo dello strumento, inclusi metodologi, esperti in revisioni sistematiche, produttori di linee-guida provenienti da differenti Paesi e differenti organizzazioni. Dieci persone invitate sono state impossibilitate a partecipare e hanno poi avuto la possibilità di collaborare allo sviluppo di ROBIS attraverso un processo Delphi. Abbiamo delineato lo scopo del lavoro e presentato la sintesi delle prove di evidenza ottenute durante la fase 2. La discussione iniziale del gruppo si è focalizzata su diversi aspetti: se l’utilizzo di ROBIS dovesse essere limitato a revisioni di studi controllati randomizzati o se si dovesse essere più generici rispetto al disegno di studio; sulla definizione di bias nella prospettiva di ROBIS; su come si potesse valutare un rischio complessivo di bias di una singola revisione senza utilizzare punteggi di qualità sommari; se il giudizio sui conflitti di interesse/fonte dei finanziamenti dovesse o meno essere incluso in ROBIS e infine sui domini da includere nello strumento. La discussione è poi proseguita in piccoli gruppi di quattro o cinque partecipanti con lo scopo di passare in rassegna le domande chiave all’interno di ciascun dominio. Sulla base dei risultati di questo incontro e relativi feedback, abbiamo potuto sviluppare una prima bozza dello strumento ROBIS.

Sviluppo della fase 4: studio pilota e perfezionamento

Per finalizzare lo scopo e i contenuti di ROBIS abbiamo utilizzato un metodo Delphi modificato. Sono stati sviluppati dei questionari online per ottenere feedback strutturati per ogni ciclo di consultazione. I partecipanti al processo Delphi includevano membri del Cochrane Steering Group che non avevano contribuito direttamente allo sviluppo dell’argomento oggetto della consultazione, partecipanti all’incontro faccia a faccia, e inoltre cinque metodologi che non avevano potuto partecipare all’incontro stesso. Ciò ha portato a un numero massimo di 29 risposte per ciclo di consultazione. Dopo tre cicli di consultazione Delphi, abbiamo deciso che vi era sufficiente accordo e che non erano necessarie ulteriori consultazioni. Ai partecipanti è stata inviata la bozza della versione concordata di ROBIS con la possibilità di commentarla. È stata quindi prodotta una bozza finale dello strumento da testare in uno studio pilota. Abbiamo tenuto tre workshop su ROBIS: due rivolti ad autori di revisioni sistematiche a York, UK (maggio e ottobre 2014) e uno al Cochrane Colloquium a Hyderabad (settembre 2014). Questi workshop hanno offerto la possibilità ai partecipanti di testare lo strumento e fornire suggerimenti su aspetti pratici relativi al suo utilizzo, che sono stati incorporati nel documento-guida per il suo utilizzo. Tre coppie indipendenti di autori che hanno lavorato all’overview hanno testato la bozza dello strumento e hanno dato dei feedback strutturati. Informazioni sul livello di concordanza erano disponibili per una coppia di revisori, che non facevano parte di coloro che hanno sviluppato lo strumento, e che hanno valutato otto revisioni, quattro Cochrane e quattro non Cochrane. Questo ci ha fornito informazioni su 40 doppie valutazioni dei vari domini (cinque domini ROBIS valutati per otto revisioni da due revisori). I revisori si sono trovati d’accordo nella valutazione di 26 domini (65%) e in disaccordo per 14. La maggior parte delle discordanze erano dovute al fatto che un revisore valutava come “non chiaro” un dominio mentre l’altro dava un punteggio di basso o alto rischio. Solo a quattro domini (10%) un revisore ha dato una valutazione di alto rischio mentre l’altro revisore lo ha valutato a basso rischio. I revisori hanno concordato su tutte le valutazioni per tre delle otto revisioni; queste revisioni sono state classificate come a basso rischio per tutti i domini. I domini che si riferiscono alla sintesi e ai risultati sono quelli per cui vi era più disaccordo. Per tre revisioni, valutate a basso rischio per questi domini, vi era concordanza, mentre c’era disaccordo su come valutarli nelle altre cinque revisioni. La concordanza era maggiore per le revisioni Cochrane rispetto a quelle non Cochrane: per le doppie valutazioni di 20 domini nelle revisioni Cochrane, solo per due domini c’è stato disaccordo. Per questo fenomeno vi sono due possibili spiegazioni. La prima è che vi è un maggiore accordo per le revisioni giudicate a basso rischio di bias. Le revisioni Cochrane, esaminate con ROBIS, in genere hanno una valutazione migliore e quindi potrebbe essere più facile analizzarle perché sono a basso rischio di bias. Una seconda possibile spiegazione è che in genere le revisioni Cochrane forniscono informazioni più dettagliate sui metodi il che rende più facile applicare ROBIS. Questo potrebbe suggerire che le difficoltà nell’utilizzo di ROBIS sono dovute maggiormente ai limiti nel reporting delle revisioni piuttosto che a difficoltà nell’applicare lo strumento in sé. Questa ipotesi è supportata dall’esame delle “motivazioni del giudizio” dei due revisori e dalle risposte alle domande chiave che suggeriscono che alcune delle discrepanze nella valutazione dei domini fossero dovute a differenze nel modo in cui i due revisori hanno gestito la mancanza di informazioni presente nelle revisioni.

Sulla base dello studio pilota, abbiamo prodotto la versione finale di ROBIS e un documento di guida al suo utilizzo.

Lo strumento ROBIS

Lo strumento ROBIS, il documento di guida al suo utilizzo e le Appendici sono disponibili sul sito web di Recentri Progressi in Medicina (www.recentiprogressi.it).

Lo strumento si completa in tre fasi: 1) valutare la rilevanza del quesito di ricerca (opzionale); 2) identificare i punti critici del processo di revisione; 3) valutare il rischio complessivo di bias della revisione. Sono state incluse domande chiave per aiutare a valutare specifici dubbi sui potenziali bias della revisione. Rispondere a queste domande chiave aiuta il valutatore a giudicare il rischio complessivo di bias. La tabella 1 riassume i domini delle fasi 2 e 3 e le domande chiave per ciascun dominio. Una descrizione dettagliata di ciascun dominio e una guida su come valutare le singole domande chiave sono disponibili nel manuale di guida all’uso di ROBIS (www.recentiprogressi.it).




ROBIS fase 1: valutare la rilevanza del quesito di ricerca (opzionale)

I valutatori per prima cosa riportano il quesito a cui cercano di dare risposta (per es., nella loro overview o linea-guida): abbiamo chiamato questo quesito “domanda target”. Per revisioni sull’efficacia degli interventi, viene loro richiesto di definire tale domanda in termini di PICO (partecipanti, intervento, confronto ed esiti). Per revisioni che rispondono a differenti quesiti (per es., test diagnostici, fattori prognostici, eziologia o modelli predittivi), sono previste altre categorie, se appropriato (vedi box). I valutatori completano il PICO o l’equivalente per la revisione sistematica da valutare usando ROBIS e quindi devono chiedersi se le due domande (la domanda target e la domanda della revisione sistematica) coincidono. Se una o più delle categorie (PICO o equivalente) non coincidono, allora devono dare come valutazione “No”. Se vi è una coincidenza parziale, allora possono giudicare come “Parziale”. Per esempio se la domanda target si riferisce ad adulti e la revisione sistematica include solo partecipanti >60 anni. Se si sta valutando singolarmente una revisione e non vi è una domanda target, allora questa fase di ROBIS può essere omessa.

ROBIS fase 2: identificare i punti critici del processo di revisione

La fase 2 ha l’obiettivo di identificare aree dove possono essere stati introdotti bias nella revisione. Questa fase prevede la valutazione di quattro domini relativi ai processi chiave della revisione: 1) eleggibilità degli studi; 2) identificazione e selezione degli studi; 3) raccolta dei dati e valutazione degli studi; 4) sintesi e risultati. Questa fase di ROBIS identifica le aree potenzialmente critiche per il giudizio finale complessivo sul rischio di bias. Ogni dominio comprende tre sezioni: 1) informazioni utilizzate per giustificare il giudizio dato; 2) domande chiave; 3) giudizio relativo al rischio di bias. I domini dovrebbero essere considerati in modo consequenziale e non valutati come singole unità. Per esempio, questo significa che, quando si valuta il dominio 2 (identificazione e selezione degli studi), il valutatore dovrebbe considerare le strategie di ricerca in relazione al quesito di ricerca specificato nel dominio 1.

Alle domande chiave si può rispondere “sì”, “probabilmente sì”, “no”, “probabilmente no” e “nessuna informazione”, dove il “sì” indica che vi sono poche preoccupazioni. Il successivo livello di preoccupazione circa il rischio di bias associato a ciascun dominio è poi valutato come “basso”, “alto” o “non chiaro”. Se le risposte a tutte le domande chiave relative a un certo dominio sono “sì” o “probabilmente sì” allora il livello di preoccupazione può essere giudicato come basso. Se a una domanda chiave si è risposto “no” o “probabilmente no”, esiste una preoccupazione che vi sia un rischio di bias. La categoria “nessuna informazione” dovrebbe essere utilizzata solo quando vi sono dati insufficienti nella revisione per permettere di formulare un giudizio. Registrando le informazioni utilizzate per raggiungere il giudizio (“motivazioni del giudizio”) aspiriamo a rendere trasparente la valutazione e, se necessario, a facilitare la discussione tra coloro che indipendentemente stanno completando la valutazione. È probabile che, per completare la valutazione, coloro che utilizzano ROBIS abbiano bisogno sia di conoscere la materia oggetto della revisione sia di una competenza metodologica.

Dominio 1: criteri di eleggibilità degli studi

Il primo dominio ha lo scopo di valutare se vengono definiti a priori in modo chiaro e appropriato i criteri di eleggibilità degli studi utili per rispondere al quesito della revisione. Una revisione sistematica dovrebbe cominciare con una domanda o obiettivo chiaro e focalizzato1. Questo dovrebbe riflettersi nella definizione a priori dei criteri utilizzati per decidere l’eleggibilità degli studi da includere nella revisione. La definizione a priori mira a garantire che le decisioni su quali studi includere siano prese in modo coerente piuttosto che sulla base di una conoscenza delle caratteristiche e dei risultati degli studi stessi. Normalmente è possibile valutare se i criteri di eleggibilità siano stati appropriatamente definiti a priori (e rispettati nella revisione) solo se è disponibile un protocollo o un documento registrativo precedente alla conduzione e al reporting della revisione. Quando un tale documento non è disponibile, il valutatore dovrà basare il suo giudizio relativamente a questo dominio sul modo in cui sono riportati i risultati, ma sarà difficile sapere se questi criteri erano stati stabiliti in precedenza e hanno guidato gli autori nel condurre la revisione o se invece siano stati decisi o modificati durante il processo di conduzione della revisione stessa.

Dominio 2: identificazione e selezione degli studi

Questo dominio ha lo scopo di valutare se nella revisione siano stati esclusi studi che soddisfacevano i criteri di inclusione. Una ricerca esaustiva della letteratura mirata a individuare quanti più studi possibile è una componente chiave di ogni revisione sistematica. Idealmente, tale ricerca dovrebbe essere condotta o guidata da un esperto specialista dell’informazione (quello che in inglese viene definito come information specialist). Una selezione di studi priva di bias e basata sui risultati della ricerca assicura che tutti gli studi rilevanti identificati attraverso le ricerche bibliografiche siano compresi nella revisione. Le ricerche dovrebbero includere banche dati e altre fonti elettroniche (giornali indicizzati, atti di convegni, registri di studi in corso) per poter identificare studi pubblicati e non pubblicati, e prevedere altri metodi (per es., controllo delle referenze di revisioni già pubblicate, ricerca di citazioni, ricerca manuale) e l’utilizzo di una strategia di ricerca sensibile e appropriata. Le strategie di ricerca dovrebbero includere termini liberi (per es., nel titolo e nell’abstract) e termini controllati (per es., termini MESH per PubMed o EMTREE per EMBASE) utili per identificare gli studi. Potrebbe essere difficile valutare la sensibilità della ricerca se non si hanno conoscenze metodologiche relative a come si sviluppano le ricerche bibliografiche e se non si ha una conoscenza dell’argomento oggetto della revisione. In generale, il valutatore dovrebbe considerare se è stata inclusa un’appropriata gamma di termini tale da comprendere tutti i possibili modi per descrivere i concetti utili a catturare gli studi relativi alla domanda di ricerca.

Questo dominio considera anche il processo di selezione degli studi per l’inclusione, una volta che la ricerca è stata effettuata. Questo processo comprende lo screening dei titoli e degli abstract e la valutazione dei full text degli studi per l’inclusione. Per minimizzare i possibili bias e gli errori in questi processi, i titoli e gli abstract dovrebbero essere selezionati da due autori indipendentemente e la valutazione dei full text per l’inclusione dovrebbe comprendere almeno due autori (indipendentemente o con uno che esegue la valutazione e il secondo che controlla la decisione presa).

Dominio 3: raccolta dati e valutazione degli studi

Il terzo dominio ha lo scopo di valutare se sono stati introdotti bias durante la raccolta dati o durante il processo di valutazione. Una raccolta rigorosa dei dati dovrebbe prevedere una pianificazione già nella fase del protocollo e l’utilizzo di un modulo di raccolta dati strutturato che sia già stato sperimentato in precedenza. Dovrebbero essere raccolti tutti i dati che possono contribuire alla sintesi e all’interpretazione dei risultati. Questi dati dovrebbero includere sia i dati numerici e statistici sia le caratteristiche più generali degli studi primari inclusi. Se i dati disponibili non erano presentati in forma utile per contribuire alla sintesi, gli autori della revisione dovrebbero riportare come i dati utili sono stati eventualmente ottenuti. Per esempio, possono essere stati contattati gli autori degli studi primari allo scopo di ottenere dati aggiuntivi. Per ricavare i dati richiesti, possono essere utilizzate appropriate trasformazioni statistiche. L’estrazione dei dati può potenzialmente essere suscettibile di errori. Gli errori potrebbero nascere quando si trascrivono i dati o se si sbaglia nel raccogliere le informazioni rilevanti presenti in uno studio. Bias possono inoltre verificarsi durante il processo di estrazione dei dati che è, per sua natura, soggettivo e aperto a interpretazioni. L’estrazione in doppio dei dati è quindi essenziale per salvaguardarsi dagli errori e potenziali bias2.

La valutazione degli studi inclusi dovrebbe essere fatta utilizzando criteri appropriati al disegno dello studio primario incluso nella revisione1,2. Questa valutazione potrebbe essere fatta utilizzando strumenti validati sviluppati per valutare quel tipo di disegno di studio o potrebbe essere fatta utilizzando semplicemente una lista dei criteri rilevanti per individuare potenziali bias. Sia che si utilizzi uno strumento pubblicato sia che si utilizzi una lista di criteri ad hoc, il valutatore dovrebbe considerare se i criteri utilizzati sono sufficienti per identificare i potenziali bias negli studi inclusi. Così come avviene per l’estrazione dei dati, bias o errori possono verificarsi durante questo processo di valutazione. Per cui la valutazione del rischio di bias dovrebbe coinvolgere idealmente due autori che lavorano in modo indipendente, o almeno che il secondo autore controlli le decisioni prese dal primo.

Dominio 4: sintesi e risultati

Questo dominio ha lo scopo di valutare se gli autori della revisione hanno utilizzato metodi appropriati per combinare insieme i dati degli studi primari inclusi (in una sintesi quantitativa o non quantitativa). Gli approcci per sintetizzare i risultati dipendono dalla natura della domanda posta dalla revisione e dal tipo di studi primari che vengono sintetizzati. Per studi clinici randomizzati, un approccio comune è quello di utilizzare una media pesata delle stime dell’effetto del trattamento (per misure di rapporto dell’effetto del trattamento si usa una scala logaritmica), pesando per la precisione delle stime20. Per fare questo si possono usare modelli a effetto fisso o random. In ogni caso, vi sono diversi modelli statistici per presentare i risultati relativi a un esito: per esempio, si può, per dati binari, utilizzare una regressione logistica21, oppure un modello che considera due o più esiti simultaneamente (meta-analisi bivariata o multivariata22), o un modello che valuti gli effetti di multipli trattamenti (network meta-analisi23), o infine un modello che consideri le variazioni degli effetti del trattamento (meta-regressione24); tutti questi diversi approcci possono anche essere combinati tra loro, rendendo la sintesi molto complessa. Opzioni simili sono disponibili anche per revisioni che hanno domande di ricerca diverse. Per revisioni sull’accuratezza diagnostica, un approccio bivariato è lo standard poiché con questo modello la sensitività e la specificità sono considerate simultaneamente, tenendo conto della loro correlazione25. Per alcune revisioni, la sintesi statistica dei risultati può non essere appropriata e quindi i risultati vengono presentati in modo narrativo.

Alcuni dei più importanti aspetti da considerare in ogni sintesi (sia quantitativa sia non quantitativa) sono: 1) se l’approccio analitico utilizzato è appropriato rispetto al quesito di ricerca posto; 2) se si è considerata la variabilità tra gli studi (eterogeneità); 3) se si sono considerati i bias degli studi primari; 4) se i dati provenienti dagli studi sintetizzati sono completi (particolarmente se vi è il rischio che i dati mancanti siano sistematicamente diversi dai dati disponibili, per es., a causa di pubblicazione selettiva degli esiti; 5) se gli autori della revisione hanno introdotto dei bias nel riportare i loro risultati. Aspetti tecnici della meta-analisi, come la scelta del metodo da utilizzare per le stime dell’effetto, non sono considerati importanti. In ogni caso, possono esserci errori di rilievo, come interpretare l’errore standard quale una deviazione standard, non riuscire ad aggiustare a seconda del tipo di disegno, per es., in caso di dati abbinati o raggruppati per cluster, oppure applicando l’approccio standard di medie pesate a rapporti di rischio piuttosto che ai loro logaritmi.

ROBIS fase 3: valutare il rischio di bias della revisione

La fase finale considera se la revisione nel suo insieme è a rischio di bias. Questa valutazione utilizza la stessa struttura di cui si è avvalsa nei singoli domini di fase 2, incluse le domande chiave e le informazioni relative a come si è formulato il giudizio, ma il giudizio relativo alle preoccupazioni sulla presenza di bias è sostituito da un giudizio complessivo sul rischio di bias nella revisione. La prima domanda chiave per questa fase chiede se nell’interpretazione dei risultati sono stati considerati tutti i dubbi identificati nei domini da 1 a 4. Se non sono stati identificati dubbi, a questa domanda si risponde “sì”. Se uno o più dubbi sono stati identificati per uno qualsiasi dei precedenti domini, ma questi sono stati appropriatamente considerati nell’interpretare i risultati e nelle conclusioni, allora di nuovo si può rispondere “sì” e, in base alla valutazione data alle altre domande chiave, la revisione può essere giudicata a “basso rischio di bias”. Questa fase include inoltre altre tre domande chiave correlate all’interpretazione dei risultati della revisione.

Presentazione delle valutazioni fatte con ROBIS

Le overview e le linee-guida dovrebbero riassumere i risultati della valutazione ROBIS per tutte le revisioni sistematiche incluse. La sintesi dovrebbe riassumere, per ogni dominio di fase 2, il numero di revisioni sistematiche che sono state giudicate a livello di preoccupazione basso, alto o non chiaro e il numero di revisioni ad alto o basso rischio complessivo di bias. Se considerata, dovrebbe esserci un riassunto dei risultati della valutazione sulla rilevanza. Gli autori possono scegliere di evidenziare alcune particolari domande chiave per le quali nelle revisioni sistematiche è stata data una buona o cattiva valutazione. Una presentazione attraverso una tabella (tabella 2) o con un grafico (figura 1) può essere utile per riassumere le valutazioni ROBIS di più revisioni. Quando si usa la rappresentazione grafica, gli autori possono considerare più appropriato utilizzare come unità di misura della figura, piuttosto che le singole revisioni, il numero di studi inclusi in ogni revisione, o il numero totale dei partecipanti. Alternativamente gli autori o i produttori di linee-guida possono scegliere di includere solo la revisione più rilevante per la loro domanda di ricerca e con il più basso rischio di bias. Abbiamo anche suggerito una rappresentazione grafica dei risultati della valutazione ROBIS (valutazione dei singoli domini e valutazione globale) per ogni singola revisione (figura 2). Noi sottolineiamo che ROBIS non dovrebbe essere utilizzato per generare un riepilogativo “punteggio di qualità” a causa dei noti problemi associati a tali punteggi26,27.







Discussione

ROBIS è il primo strumento, disegnato e sviluppato in modo rigoroso, per valutare il rischio di bias nelle revisioni sistematiche. L’utilizzo di un approccio basato su domini e supportato da domande chiave è in linea con i recenti metodi utilizzati per sviluppare strumenti per valutare i rischi di bias. Ci auguriamo che l’utilizzo di ROBIS aiuti a migliorare il processo di valutazione del rischio di bias nelle overview e nelle linee-guida, portando a raccomandazioni più solide per migliorare le cure dei pazienti.

Riteniamo che l’approccio adottato per lo sviluppo di ROBIS abbia vari punti di forza. Uno steering group più piccolo ci ha permesso di avere discussioni iniziali focalizzate sullo scopo di ROBIS. Abbiamo poi coinvolto un gruppo più ampio attraverso l’incontro faccia a faccia e la successiva procedura Delphi via web, basandoci sulle prove ottenute con le nostre iniziali revisioni della letteratura. Il gruppo ROBIS più ampio mirava a includere tutte le potenziali parti interessate all’utilizzo dello strumento, come esperti metodologi, autori di revisioni sistematiche, produttori di linee-guida provenienti da differenti Paesi e differenti organizzazioni, questo per assicurarsi che ROBIS risponda alle esigenze di tutti i potenziali utenti. Per evitare di escludere gli stakeholder che non potevano partecipare all’incontro faccia a faccia, li abbiamo invitati a partecipare allo sviluppo del processo attraverso il coinvolgimento nell’indagine con metodo Delphi via web. Il test pilota di ROBIS prevedeva workshop a York e durante il Cochrane Colloquium e l’uso dello strumento nelle loro revisioni sistematiche da parte di volontari. Un potenziale limite è che, a oggi, ROBIS è stato utilizzato principalmente da autori di overview di revisioni. Attualmente stiamo lavorando con una serie di produttori di linee-guida che stanno utilizzando lo strumento e continueremo a seguire questi gruppi in futuro per le attività di testing. Inoltre, continueremo ad aggiornare e migliorare il documento di guida all’utilizzo e invitiamo a darci ulteriori commenti e feedback tramite il sito web ROBINS; per questo scopo, abbiamo sviluppato un sondaggio via web. Abbiamo in programma di usare il network LATITUDES, che presto sarà lanciato (www.latitudes-network.org) per raccogliere ulteriori feedback e aumentare il livello di conoscenza di ROBIS. LATITUDES è una nuova iniziativa simile alla rete EQUATOR che mira ad aumentare l’utilizzo di strumenti di valutazione dei rischi di bias, aiutare le persone a usare questi strumenti in modo più efficace, migliorare l’inserimento dei risultati della valutazione del rischio di distorsioni sistematiche nelle revisioni e diffondere le migliori pratiche in termini di valutazione del rischio di distorsione. Auspichiamo che LATITUDES evidenzi ROBIS come il principale strumento per la valutazione del rischio di bias nelle revisioni sistematiche.

Attualmente ROBIS è finalizzato a quattro grandi categorie di revisioni principalmente nell’ambito dell’assistenza sanitaria: effetto degli interventi, diagnosi, prognosi ed eziologia. Quando avremo sufficiente esperienza nell’utilizzo di ROBIS in queste tipologie di revisioni, valuteremo se sarà opportuno espandere ROBIS ad altri tipi di revisione, includendo aree al di fuori dell’assistenza sanitaria, e, in tal caso, se saranno necessarie modifiche allo strumento stesso o ai documenti guida di accompagnamento.




**The ROBIS group: Lars Beckmann (Institute for Quality and Efficiency in Health Care [IQWiG], Cologne, Germany), Patrick Bossuyt (University of Amsterdam), Deborah Caldwell (University of Bristol)*, Rachel Churchill (University of Bristol)*, Philippa Davies (University of Bristol)*, Kay Dickersin (US Cochrane Center), Kerry Dwan (University of Liverpool), Julie Glanville (York Health Economics Consortium, University of York), Julian Higgins (University of Bristol)*, Jos Kleijnen (KSR York Ltd and University of Maastricht)*, Julia Kreis (Institute for Quality and Efficiency in Health Care [IQWiG], Cologne, Germany), Toby Lasserson (Cochrane Editorial Unit)*, Fergus Macbeth (Wales Cancer Trials Unit), Silvia Minozzi (Lazio Regional Health Service), Karel GM Moons (University of Utrecht), Matthew Page (Monash University), Barney Reeves (University of Bristol)*, Nancy, Santesso (McMaster University), Jelena Savovic´ (University of Bristol)*, Christopher H Schmid (Brown University), Beth Shaw (NICE), Beverley Shea (University of Ottawa)*, David Tovey (Cochrane Editorial Unit)*, Peter Tugwell (University of Ottawa), Meera Viswanathan (RTI International), Jasvinder Singh (University of Alabama at Birmingham & Birmingham Veterans Affairs Medical Center), Penny Whiting (University of Bristol)*, George Wells (University of Ottawa)*, Robert Wolff (KSR York Ltd).

I membri contrassegnati da un asterisco (*) sono anche membri del gruppo direttivo.

Conflitto di interessi: gli autori dichiarano l’assenza di conflitto di interessi.

Ringraziamenti: gli autori desiderano ringraziare per aver contribuito al test pilota: i membri dello staff del Kleijnen Systematic Reviews Ltd che hanno preso parte al workshop su ROBIS, i 17 partecipanti al workshop Cochrane a Hyderabad, Lisa Hartling (Università di Alberta), Michelle Foisy (Università di Alberta), Matthew Page (Università di Monash), Karen Robinson (Medicina del Johns Hopkins), Lisa Wilson (Medicina del Johns Hopkins) e i colleghi che hanno testato ROBIS nelle loro revisioni, e Kate Misso (Kleijnen Systematic Reviews Ltd) per l’aiuto nella ricerca dei domini.

Finanziamenti: questo lavoro è stato finanziato dal Medical Research Council come parte del MRCeNational Institute for Health Research (NIHR) Methodology Research Programme (Grant number MR/K01465X/1). Il tempo di B.C.R. per contribuire allo studio è stato finanziato dal NIHR Bristol Biomedical Research Unit in Cardiovascular Disease. D.M.C. è supportato dal Medical Research Council (UK) Population Health Science fellowship (G0902118).

Contributi degli autori: P.W., R.C. e J.S. sono stati coinvolti nella concezione e nel disegno di questo studio. P.W., J.S., R.C., D.M.C., J.P.T.H., B.C.R., P.D. e B.S. hanno contribuito all’analisi e all’interpretazione dei dati. P.W., R.C., D.M.C., J.S. e J.P.T.H. hanno preparato il draft dell’articolo. B.C.R., P.D. e B.S. hanno contribuito con una revisione critica per importanti contenuti. P.W., R.C., D.M.C., J.S., J.P.T.H., B.C.R., P.D. e B.S. hanno approvato la versione finale dello studio. J.P.T.H. e D.M.C. hanno fornito le competenze statistiche per questo studio. P.W., R.C., J.S. e D.M.C. hanno contribuito alla ricerca di fonti di sovvenzionamento dello studio. J.S. e P.W. hanno contribuito con un supporto amministrativo, tecnico e logistico. P.W., J.S., R.C., D.M.C., J.P.T.H. e P.D. hanno contribuito alla raccolta e assemblaggio dei dati dello studio.

Lo sponsor non ha avuto alcun ruolo nel disegno dello studio; nella raccolta, analisi e interpretazione dei dati; nello scrivere il report; o nelle decisioni relative alla sottomissione dell’articolo per la pubblicazione.

Dati supplementari

Dati supplementari relativi a quest’articolo sono disponibili online su: https://www.recentiprogressi.it.

Bibliografia

1. Higgins JPT, Green S (eds). Cochrane handbook for systematic reviews of interventions [Internet]. Version 5.1.0 [updated March 2011]. The Cochrane Collaboration; 2011. Disponibile su: http://handbook-5-1.cochrane.org/ (ultimo accesso 4 luglio 2018).

2. Centre for Reviews and Dissemination. Systematic Reviews: CRD’s guidance for undertaking reviews in health care [Internet]. York: University of York; 2009. Disponibile su: https://www.york.ac.uk/crd/SysRev/!SSL!/WebHelp/SysRev3.htm (ultimo accesso 4 luglio 2018).

3. Graham R, Mancher M, Miller Wolman D, Greenfield S, Steinberg E (eds). Clinical practice guidelines we can trust. Washington, DC: National Academies Press (US), 2011.

4. Chandler J, Churchill R, Higgins J, Lasserson T, Tovey D. Methodological Expectations of Cochrane Intervention Reviews (MECIR): methodological standard for the conduct of new Cochrane Intervention Reviews. The Cochrane Collaboration; 2012: Version 2.2. Disponibile su: http://methods.cochrane.org/mecir (ultimo accesso 4 luglio 2018).

5. Eden J, Levit L, Berg AO, Morton S (eds). Finding what works in health care: standards for systematic reviews. Washington, DC: The National Academies Press, 2011.

6. Liberati A, Altman DG, Tetzlaff J, et al. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. Plos Med 2009; 6: e1000100.

7. Moher D, Liberati A, Tetzlaff J, Altman DG, PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. Ann Intern Med 2009; 151: 264-9.

8. Shea BJ, Grimshaw JM, Wells GA, et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol 2007; 7: 10.

9. Oxman AD, Guyatt GH. Validation of an index of the quality of review articles. J Clin Epidemiol 1991; 44: 1271-8.

10. Higgins J, Lane PW, Anagnostelis B, et al. A tool to assess the quality of a meta-analysis. Res Synth Methods 2013; 4: 351-66.

11. Moher D, Schulz KF, Simera I, Altman DG. Guidance for developers of health research reporting guidelines. Plos Med 2010; 7: e1000217.

12. Chou R, Hartung D, Rahman B, Wasson N, Cottrell EB, Fu R. Comparative effectiveness of antiviral treatment for hepatitis C virus infection in adults: a systematic review. Ann Intern Med 2013; 158: 114-23.

13. Renehan AG, Tyson M, Egger M, Heller RF, Zwahlen M. Body-mass index and incidence of cancer: a systematic review and meta-analysis of prospective observational studies. Lancet 2008; 371: 569-78.

14. Puli SR, Bechtold ML, Reddy JB, Choudhary A, Antillon MR. Can endoscopic ultrasound predict early rectal cancers that can be resected endoscopically? A meta-analysis and systematic review. Dig Dis Sci 2010; 55: 1221-9.

15. Morris RK, Meller CH, Tamblyn J, et al. Association and prediction of amniotic fluid measurements for Fig. 2. Suggested graphical presentation for ROBIS results from single review: each colored segment shows the concerns for one of the phase 2 ROBIS domains; the final segment (shaded darker) shows the phase risk of bias assessment. adverse pregnancy outcome: systematic review and meta-analysis. BJOG 2014; 121: 686-99.

16. Higgins JPT, Altman DG, Gøtzsche PC, et al. The Cochrane Collaboration’s tool for assessing risk of bias in randomized trials. BMJ 2011; 343: d5928.

17. Whiting PF, Rutjes AW, Westwood ME, et al. QUADAS-2: a revised tool for the quality assessment of diagnostic accuracy studies. Ann Intern Med 2011; 155: 529-36.

18. Sterne JAC, Higgins JPT, Reeves BC, on behalf of the development group for ACROBAT-NRSI. A Cochrane Risk of Bias Assessment Tool: for Non-Randomized Studies of Interventions (ACROBAT-NRSI), Version 1.0.0, 2014. Disponibile su: https://bit.ly/2Np8DSM (ultimo accesso 4 luglio 2018).

19. Wolf R. PROBAST. 2014. Disponibile su: www.systematic-reviews.com/probast (ultimo accesso 4 luglio 2018).

20. Borenstein M, Hedges L, Higgins J, Rothstein H. Introduction to meta-analysis. Chichester, UK: Wiley, 2009.

21. Simmonds MC, Higgins JP. A general framework for the use of logistic regression models in meta-analysis. Stat Methods Med Res 2016; 25: 2858-77.

22. Mavridis D, Salanti G. A practical introduction to multivariate meta-analysis. Stat Methods Med Res 2013; 22: 133-58.

23. Lu G, Ades AE. Combination of direct and indirect evidence in mixed treatment comparisons. Stat Med 2004; 23: 3105-24.

24. Thompson SG, Higgins JP. How should meta-regression analyses be undertaken and interpreted? Stat Med 2002; 21: 1559-73.

25. Leeflang MM, Deeks JJ, Gatsonis C, Bossuyt PM; Cochrane Diagnostic Test Accuracy Working Group. Systematic reviews of diagnostic test accuracy. Ann Intern Med 2008; 149: 889-97.

26. Juni P, Witschi A, Bloch R, Egger M. The hazards of scoring the quality of clinical trials for meta-analysis. JAMA 1999; 282: 1054-60.

27. Whiting P, Harbord R, Kleijnen J. No role for quality scores in systematic reviews of diagnostic accuracy studies. BMC Med Res Methodol 2005; 5: 19.