Guidelines 2.0: sviluppo sistematico di una checklist per la realizzazione di linee-guida affidabili*

Guidelines 2.0: sviluppo sistematico di una checklist per la realizzazione di linee-guida affidabili*

Traduzione a cura di: Gian Paolo Morgano1, Marina Davoli2, Lorenzo Moja3, Laura Amato2, Eliana Ferroni4, Marcello Tirani5

Riassunto. Introduzione. Per colmare la mancanza di guide metodologiche in grado di supportare i produttori di linee-guida nelle varie fasi del processo di sviluppo, si è provveduto alla stesura di un elenco completo di voci collegate a risorse e a strumenti da tenere in considerazione sia per lo sviluppo sia per l’implementazione di una linea-guida. Metodi. Sono state consultate diverse fonti di dati: i manuali scritti da sviluppatori di linee-guida internazionali, i documenti sviluppati da agenzie di linee-guida nazionali e internazionali e da società professionali, gli articoli metodologici inerenti l’argomento. Abbiamo svolto una revisione in duplicato di tutti questi documenti utilizzati come fonti, estratto le voci utilizzando un approccio sensibile e sviluppato gli argomenti generali di rilievo per le linee-guida. I documenti sono stati analizzati indipendentemente da due revisori e le singole voci sono state estratte e isolate. Attraverso un approccio dapprima inclusivo, le singole voci sono state aggregate per argomenti generali di rilievo. In seguito, è stato utilizzato un processo iterativo attraverso cui i diversi criteri sono stati rivisti, alla ricerca di duplicati o voci mancanti, con il coinvolgimento di esperti al fine di avere una revisione critica delle voci considerate. Risultati. Abbiamo sviluppato una checklist di 18 macro-argomenti e 146 voci e una pagina internet per facilitare l’uso dell’elenco da parte degli sviluppatori (http://cebgrade.mcmaster.ca/guidecheck.html). Gli argomenti e le voci incluse coprono tutte le fasi di stesura di una linea-guida, dalla pianificazione alla formulazione delle raccomandazioni, sino alla diffusione e alla valutazione. La checklist definitiva contiene, inoltre, link a materiale di formazione, nonché a risorse metodologiche per una corretta applicazione delle voci stesse. Conclusioni. La checklist rappresenterà una risorsa importante per i produttori di linee-guida e verrà costantemente revisionata e migliorata grazie ad approcci di partecipazione e condivisione.

Parole chiave. Checklist per linee-guida, linee-guida in sanità, sviluppo di linee-guida.

Guidelines 2.0: systematic development of a comprehensive checklist for a successful guideline enterprise.

Summary. Introduction. Guideline developers worldwide are struggling with the lack of guidance for the practical steps in the guideline enterprise. Our objective was to systematically compile a comprehensive checklist of items linked to relevant resources and tools that guideline developers would consider for development and support of implementation. Methods. Data sources included manuals of international guideline developers, literature on guidelines for guidelines with a focus on international and national guideline agencies, professional societies, and recent systematic guidance articles. We reviewed these sources in duplicate, extracted items using a sensitive approach and developed overarching topics that are relevant to guidelines. In an iterative process, we reviewed items for duplication and omissions and involved experts in guideline development for revisions. Results. We developed a checklist with 18 topics and 146 items and a webpage to facilitate its use by guideline developers (http://cebgrade.mcmaster.ca/guidecheck.html). The topics and items included cover all stages of the guideline enterprise, from planning to formulating recommendations, to dissemination and evaluation. The final itemized guideline development checklist (GDC) includes links to training material and resources for methodology. Conclusions. The GDC will serve as a resource for those involved in guideline development and we will use crowdsourcing to keep the checklist up to date and enhance it.

Key words. Guideline checklist, guideline development process, healthcare guidelines.

Introduzione

Le linee-guida in ambito sanitario e una loro corretta implementazione rappresentano un argomento di interesse non solo per le organizzazioni nazionali e le società scientifiche, ma anche per gli operatori sanitari, i policy-maker, i pazienti e i cittadini. Sebbene siano disponibili numerosi strumenti per valutarne l’affidabilità1-3, mancano tuttora a livello internazionale regole chiare, strumenti e risorse che permettano ai produttori di linee-guida di redigere documenti affidabili.

Diversi documenti abbracciano l’intero iter di sviluppo di una linea-guida, considerando inoltre gli sforzi utili per il successivo mantenimento, quali i processi di implementazione e valutazione3-19.

Nel 2006, una serie di revisioni sui metodi utilizzati nello sviluppo delle linee-guida, ha portato alla formulazione di alcune proposte da sottoporre all’Organizzazione Mondiale della Sanità (OMS) per migliorare l’uso delle evidenze scientifiche nello sviluppo di raccomandazioni, di linee-guida e di decisioni di policy6. Un altro progetto, che ha coinvolto i rappresentanti di 36 organizzazioni internazionali, portando alla realizzazione di una serie di 15 articoli, ha sottolineato i diversi passaggi e le metodiche utili allo sviluppo di linee-guida per le società scientifiche11. I risultati di questi progetti, insieme ai lavori prodotti dall’Institute of Medicine e dal Guideline International Network (GIN), sono stati utilizzati quale materiale di riferimento a livello internazionale, nell’ambito di vari workshop e progetti di consulenza21, per fornire un supporto agli sviluppatori di linee-guida, tra cui diversi ministeri della salute20.

Le esperienze provenienti dall’implementazione del programma nazionale di sviluppo delle linee-guida, avvenute con la collaborazione dell’OMS in Estonia e del Ministero della Salute in Arabia Saudita, insieme con le linee di ricerca avviate nell’ambito del progetto DECIDE (Developing and Evaluating Communication strategies to support Informed Decisions and practice based on Evidence)22 hanno evidenziato, tuttavia, la necessità di semplificare l’attuazione dei diversi passaggi necessari per la produzione e l’implementazione delle linee-guida.

Nonostante la disponibilità di manuali specifici prodotti dalle singole organizzazioni, manca tuttora un elenco che sia comprensivo delle voci da considerare nella progettazione, nello sviluppo, nell’implementazione, nella valutazione e nell’aggiornamento delle linee-guida, nonché un portale web che li renda facilmente disponibili insieme ad altre risorse metodologiche.

Il nostro obiettivo è quello di produrre una lista completa di voci e di sviluppare un portale che permetta ai produttori di linee-guida, a prescindere dalla loro esperienza specifica, di accedere facilmente alle risorse da considerare in tutte le fasi dello sviluppo di una linea-guida, dalla progettazione alla formulazione di raccomandazioni, alla loro implementazione, valutazione e aggiornamento. Come obiettivo secondario ci impegniamo a identificare le lacune tuttora esistenti nei processi e nelle metodologie attualmente disponibili, fornendo gli strumenti per colmarle.

Metodi

Selezione delle fonti dei dati

Sono stati utilizzati, quali fonti informative, tutti quei documenti che descrivevano le metodologie e i processi usati nello sviluppo di linee-guida. Nessuna restrizione è stata posta durante la ricerca per quanto riguarda le date di pubblicazione dei documenti cercati. In particolare, sono stati seguiti i seguenti criteri di inclusione per i documenti da utilizzarsi:

• documenti descritti come “linee-guida per le linee-guida”, report o manuali in cui erano descritte le metodologie per la stesura di linee-guida, pubblicati da società o enti preposti allo sviluppo di linee-guida (agenzie nazionali, società scientifiche e gruppi internazionali);

• documenti che descrivevano il processo di sviluppo di linee-guida in ambito sanitario, incluse le linee-guida per la pratica clinica, per la sanità pubblica e per i sistemi e servizi sanitari;

• documenti che trattassero l’argomento rispetto a una prospettiva geografica ampia, per esempio globale, includendo quindi la prospettiva di più continenti (Nord America, Sud America, Europa, Asia e Australia), o che descrivessero il processo di sviluppo delle linee-guida per Paesi raggruppati in base al reddito (ad alto, medio e basso reddito).

Ricerca e processo di selezione

Il nostro scopo è stato quello di ottenere un campione rappresentativo di tutte le fonti informative disponibili e di raggiungere la saturazione degli argomenti e delle voci da includere nella checklist. Abbiamo utilizzato inizialmente un processo iterativo: due autori (HJS e EAA) hanno identificato un elenco iniziale di report considerati documenti “chiave” per la loro rilevanza nell’ambito delle metodologie per le linee-guida1-3,6-9,11,23.

Abbiamo quindi identificato una lista allargata di esperti di linee-guida, così da poter ricevere da loro ulteriori suggerimenti su altre fonti. L’individuazione e la selezione degli esperti è stata promossa all’interno di un gruppo di discussione e tramite una fitta corrispondenza mail tra gli autori. La selezione degli stessi esperti è stata guidata dall’esperienza pluridecennale maturata sul campo in qualità di sviluppatori ed esperti, a nostra volta, nell’ambito delle linee-guida, dall’appartenenza a comitati e panel nazionali e internazionali, dalla partecipazione a congressi di settore (per es., il GIN) e da una recente ricerca sistematica effettuata sui manuali per linee-guida (le strategie di ricerca sono disponibili su richiesta). Basandoci su questa ricerca sistematica abbiamo sviluppato un ulteriore elenco di fonti di documenti potenzialmente eleggibili, che è stato revisionato dopo una prima estrazione dei dati per verificare se la saturazione fosse stata o meno raggiunta. Quest’ultimo elenco include in particolare i manuali e gli articoli riguardanti le metodologie sviluppate da società scientifiche11.

Nel maggio 2013, è stata effettuata una ricerca sui siti web dei produttori di linee-guida per individuare rapporti metodologici, manuali di linee-guida e manuali supplementari pertinenti (per es., manuali per la redazione e l’aggiornamento delle linee-guida); quando non disponibili online, tali documenti sono stati reperiti contattando direttamente le organizzazioni che li hanno prodotti. In ultimo abbiamo coinvolto i ricercatori del nostro gruppo di lavoro maggiormente esperti nello sviluppo di linee-guida (GG, JT, MR, PA-C, RH, SLN, ST, AO) per individuare ed eventualmente includere altri documenti.

Estrazione dei dati e analisi

Uno degli autori (WW) ha analizzato la lista iniziale delle fonti di report metodologici e manuali per le linee-guida, estratto le voci e individuato gli argomenti generali da considerare per la redazione della checklist preliminare. Tale checklist è stata poi validata da un altro autore (HJS) e successivamente impiegata per produrre una scheda da utilizzarsi per l’estrazione dei dati da ciascun documento-fonte.

Alcuni autori (WW, IE, MF, MV, RB-P, K-TL, SK, TB, YZ, UR, IN) hanno lavorato in coppia per analizzare i documenti ed estrarne le voci rilevanti, effettuando inoltre un controllo di quelli già inclusi nella checklist preliminare, aggiungendo/modificando ove ritenuto necessario.

Dato che il nostro obiettivo era di essere quanto più esaustivi possibile, qualsiasi voce oggetto di discussione è stata considerata potenzialmente eleggibile per l’inclusione nella checklist.

Agli incaricati dell’estrazione dei dati sono state fornite una guida con le istruzioni per l’analisi dei documenti originali e una copia del form di estrazione standard. Sia la guida con le istruzioni sia il form sono stati prodotti con il coinvolgimento di chi si sarebbe occupato della fase di estrazione, e successivamente sperimentati in uno studio pilota su un campione di 4 documenti, prima di procedere con l’estrazione dei dati di tutti i documenti.

Le istruzioni includevano note per individuare figure, diagrammi di flusso, punti elenco e il testo descrittivo sui diversi passi da seguire per sviluppare le linee-guida. Ai responsabili dell’estrazione dei dati è stato richiesto di includere nella checklist ogni nuova voce individuata.

Gli incaricati dell’estrazione dei dati hanno analizzato i documenti di origine, escludendo le voci esistenti e suggerendone di nuove. Hanno, inoltre, identificato referenze bibliografiche e link che rimandavano a strumenti di formazione e materiali per le voci già disponibili, e a risorse metodologiche per applicare le voci nei processi di sviluppo delle linee-guida. I responsabili dell’estrazione hanno utilizzato il format per inserire commenti sulla formulazione delle voci, fornire ulteriori informazioni su di essi e suggerirne l’inserimento all’interno di argomenti specifici. Nel momento in cui uno dei due incaricati dell’estrazione suggeriva una voce o spuntava una voce esistente, questa veniva inclusa nell’elenco inziale delle voci. Un terzo revisore è stato inoltre utilizzato per confermare che la voce fosse stata effettivamente trattata nel documento utilizzato come fonte.

A seguito dell’estrazione dei dati, tutti gli autori sono stati invitati a rivedere e riconsiderare la checklist, ad apportare suggerimenti per ulteriori revisioni e ad approvare la bozza finale. È stato inoltre consultato il gruppo di esperti per ottenere ulteriori suggerimenti e feedback circa la completezza della checklist utilizzando un form per feedback già testato e contenente la bozza finale. Come passo finale, due autori (MV e WW) hanno proceduto alla revisione di otto ulteriori documenti per accertarsi che la saturazione fosse stata raggiunta24-31. Nessun nuovo argomento o elemento che non fosse già stato incluso è stato da loro identificato, a conferma che la saturazione era stata effettivamente raggiunta.

Risultati

La figura 1 descrive i criteri di identificazione, selezione ed eleggibilità dei documenti utilizzati come fonte.

L’elenco iniziale di 43 documenti includeva documenti metodologici rilevanti1-3,6,7, fonti individuate attraverso discussioni di gruppo e corrispondenza via e-mail20,24,25,27,28,30-55 e fonti suggerite da esperti5,26,29,56,57. Otto documenti sono stati esclusi perché non è stato possibile reperirne il full-text48-55. Per i restanti 35 documenti, sono stati estratti i dati da 271-3,5-7,11,20,23,32-47,56,57 mentre 8 sono stati revisionati per verificare la completezza degli argomenti e delle voci selezionate24-31.

Le singole voci e gli argomenti da utilizzarsi per compilare la checklist preliminare sono stati ottenuti da 9 documenti metodologici e da 18 manuali per lo sviluppo delle linee-guida (tabella 1).

L’estrazione iniziale ha permesso di costruire una lista di 19 macro-argomenti e 123 voci. Una seconda revisione dei 18 manuali per lo sviluppo di linee-guida ha evidenziato 15 ulteriori voci per un totale di 138 voci complessive. Attraverso successivi processi iterativi di revisione da parte del team di ricerca e del gruppo di esperti, 2 argomenti sono stati accorpati, raggiungendo così un totale di 18 macro-argomenti, e sono state identificate ulteriori 8 nuove voci per un totale di 146 voci. La tabella 2 fornisce un elenco dei 18 macro-argomenti, corredati da una spiegazione e descrizione della loro importanza nell’ambito del processo di sviluppo delle linee-guida. Gli argomenti e le voci selezionati coprono tutte le fasi di sviluppo, dalla pianificazione alla formulazione delle raccomandazioni, dalla diffusione alla valutazione e all’aggiornamento. Qualora identificati, la checklist include inoltre i link agli strumenti didattici e al materiale formativo, nonché a risorse metodologiche per facilitare l’applicazione delle voci stesse, individuando anche la presenza di eventuali lacune. Esempi di strumenti di apprendimento e materiale per la formazione includono tutorial, letture e referenze (per es., spiegazioni di come alcune organizzazioni realizzino determinati passaggi), utili per aiutare i produttori di linee-guida a identificare i fattori da considerare nella definizione delle priorità e nella selezione dell’argomento, e suggerimenti per rispettare le politiche sul conflitto di interessi o per stabilire un appropriato codice di condotta all’interno del gruppo di sviluppo. Esempi di risorse per l’implementazione delle voci includono metodi, strumenti e riferimenti bibliografici utili a guidare i produttori di linee-guida nella realizzazione delle diverse fasi, fornendo un modello per la dichiarazione dei conflitti di interesse, la valutazione della forza delle raccomandazioni e l’adattamento degli strumenti utili a diffondere in modo appropriato le linee-guida. La tabella 3 descrive la versione finale della checklist per lo sviluppo delle linee-guida (GDC). Tutti gli autori sono risultati concordi sul fatto che, nonostante l’organizzazione e la definizione delle priorità debbano necessariamente precedere la maggior parte dei diversi passaggi, un ordinamento rigido degli stessi è difficile da concordare alla luce del fatto che gli sviluppatori di linee-guida si trovano spesso nella posizione di dover tornare indietro a considerare voci che sono menzionate in argomenti precedenti o guardare avanti a voci successive per migliorare la loro comprensione di un argomento specifico. La figura 2 descrive la correlazione tra le varie fasi e i diversi argomenti, fornendo una rappresentazione grafica del processo di sviluppo delle linee-guida.

Inoltre, abbiamo compilato un glossario di parole chiave per facilitare l’interpretazione della checklist (vedi Appendice 1, disponibile anche presso www.cmaj.ca / ricerca / suppl / doi: 10 .1503/cmaj 0,131237 / -/DC1). Infine, abbiamo creato una versione interattiva della checklist che include gli strumenti di apprendimento e le risorse per la sua implementazione (disponibile presso http://cebgrade.mcmaster.ca/guidecheck.html).

Discussione

Risultati principali

Basandoci su una revisione completa delle risorse disponibili per gli sviluppatori di linee-guida, abbiamo prodotto una checklist il più possibile esauriente, contenente tutti i passaggi atti allo sviluppo di una linea-guida, strutturata in 146 voci comprese all’interno di 18 macro-argomenti. Questo elenco, che copre l’intero processo di stesura di una linea-guida, non è da intendersi né funzionale alla valutazione della credibilità di una linea-guida né alla descrizione minuziosa dei diversi passaggi da intraprendere (per es., relativi alla conduzione di una revisione sistematica a supporto di una raccomandazione specifica). Il suo scopo è invece quello di servire quale risorsa interattiva e pubblicamente disponibile, comprensiva di link agli strumenti di apprendimento e di formazione, per coloro i quali siano interessati a iniziare, migliorare o valutare lo sviluppo di una linea-guida.

Confronti con altri studi

Per quanto a nostra conoscenza, nonostante esistano diversi manuali prodotti per lo sviluppo di linee-guida, non vi è alcun elenco completo di criteri e voci da prendere in considerazione per la stesura e l’implementazione di una linea-guida che sia libero dai vincoli di istituzioni o organizzazioni. La forza principale di questo studio è rappresentata dalla dettagliata ed estesa revisione di tutte le fonti chiave presenti e dal loro aggiornamento. Inoltre, l’esperienza nell’utilizzo dei vari manuali, maturata da parte di alcuni autori nel corso degli anni, ha facilitato l’identificazione delle lacune, così come delle risorse rilevanti.

Limiti

Un possibile limite del nostro lavoro è rappresentato dalla lunghezza della checklist prodotta. Tuttavia, la checklist è pensata per essere il più possibile generale, con l’intento di coprire tutti gli argomenti e le voci che potrebbero essere considerati nella stesura di una linea-guida, così come di essere applicabile a tutte le diverse tipologie di linee-guida esistenti, incluse quelle cliniche, normative e di sanità pubblica. Chi intende utilizzare la checklist può, inoltre, ignorare le fasi che ritiene essere non rilevanti per l’argomento o l’area per la quale intende sviluppare la linea-guida, considerando tuttavia che l’inclusione delle voci principali è essenziale per la produzione di linee-guida affidabili.

Un altro potenziale limite della checklist è quello di aver attribuito lo stesso peso, in termini di importanza, a ogni fase del processo. I produttori di linee-guida generalmente dispongono di tempo, finanziamenti e risorse umane limitati e spesso hanno bisogno di dare priorità a uno step piuttosto che a un altro. Poter disporre di una checklist completa permetterà loro una maggiore trasparenza nell’esplicitare a quali argomenti hanno dato maggiore priorità e per quale motivo.

Il campo di sviluppo delle linee-guida è un campo in costante evoluzione, in particolare in quelle aree dove, a tutt’oggi, si riscontra la mancanza di indicazioni di riferimento formali, come per esempio relativamente alle modalità di incorporazione dell’importanza data agli outcome e agli interventi, o i valori e le preferenze dei pazienti. Abbiamo sviluppato la checklist basandoci sulle pubblicazioni, i manuali e i report metodologici attualmente disponibili, tuttavia le voci e i criteri relativi a quelle aree dove vi è ancora una carenza di indicazioni formali potrebbero non essere stati inclusi adeguatamente nella checklist. Inoltre, la valutazione della checklist con quei produttori di linee-guida che non sono stati coinvolti nel suo sviluppo è iniziata solo recentemente (un progetto sulle malattie rare [www.rarebestpractice.eu]). Ciononostante, grazie ai feedback forniti dagli utenti della versione on-line della checklist, una sua revisione e un aggiornamento continui sono già predisposti.

Conclusioni

Interpretazione dei risultati

La nostra checklist fornisce un elenco completo di voci da prendere in considerazione per lo sviluppo di linee-guida e, sebbene includa tutte le fasi del processo (dalla progettazione alla realizzazione di una linea-guida), alcune aree restano ancora senza una regolamentazione specifica, come dimostra la carenza di dettagli su alcuni elementi specifici da noi stessi individuata. Attualmente i manuali sui processi di sviluppo delle linee-guida pongono molta attenzione alla revisione sistematica dell’evidenza e agli outcome clinici, mentre viene data minore attenzione ad aspetti quali l’equità, l’uso delle risorse e di valori e le preferenze dei pazienti. In maniera simile ci sono aree per le quali è evidente la carenza di supporti didattici e strumenti utili nell’implementazione delle diverse fasi. I manuali per lo sviluppo di linee-guida descrivono i vari passaggi e le considerazioni da farsi nel processo di stesura, ma omettono dettagli specifici su come questo processo debba essere raggiunto. Informazioni specifiche sui processi di interazione all’interno dei gruppi di lavoro, come la risoluzione dei conflitti, sono spesso presenti in documenti a uso interno, ma accedere a strumenti formativi e materiali di apprendimento potrebbe rivelarsi sicuramente utile a coloro che hanno intrapreso il processo di sviluppo di una propria linea-guida. Inoltre, la disponibilità di informazioni sulle diverse fasi del processo di sviluppo delle linee-guida dovrebbe garantire maggiore coerenza tra i diversi gruppi di lavoro all’interno di una stessa organizzazione.

La nostra checklist è focalizzata sui processi e passaggi pratici utili allo sviluppo di una linea-guida.

Implicazioni per la pratica

La nostra checklist si concentra sui processi e le azioni pratiche da seguire, ed è destinata a essere utilizzata dai produttori di linee-guida per pianificarne e monitorarne lo sviluppo, tenendo conto di tutti i passi fondamentali a esso correlati, consentendo loro di tralasciare quelle voci che non si rivelino applicabili nel caso specifico. Tuttavia, seguire le fasi proposte nella checklist assicurerà l’inclusione di voci chiave, aumentando di conseguenza la probabilità che le linee-guida raggiungano un alto grado di attendibilità. Per tale motivo, gli utilizzatori della checklist hanno bisogno di acquisire una conoscenza di base solida sugli argomenti e sulle voci prima di applicarli, in modo da comprendere come essi siano interconnessi ma non necessariamente sequenziali (figura 2).

Come parte del nostro lavoro con il Grading of Recommendations Assessment, Development and Evaluation (GRADE) Working Group (www.gradeworkinggroup.org) e il progetto DECIDE (www.decide-collaboration.eu) questa checklist verrà implementata nel nostro portale web: Guideline Development Tool (www.guidelinedevelopment.org), mettendola gratuitamente a disposizione delle organizzazioni non profit.

Implicazioni per la ricerca

I nostri progetti futuri si concentreranno nel raccogliere ulteriori feedback attraverso il crowdsourcing, nel mantenere la checklist aggiornata e nel rendere disponibili ulteriori risorse per la formazione e l’apprendimento sul nostro sito web interattivo (http://cebgrade.mcmaster.ca/guidecheck.html) e nella Guideline Development Tool. Questa attività includerà ulteriori processi di valutazione, in particolare su quelle fasi del processo che necessitano maggiore impiego di tempo e risorse.

Bibliografia

1. Brouwers MC, Kho ME, Browman GP, et al. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ 2010; 182: E839-E842.

2. Qaseem A, Forland F, Macbeth F, Ollenschlager G, Phillips S, van der Wees P. Guidelines International Network: toward international standards for clinical practice guidelines. Ann Intern Med 2012; 156: 525-31.

3. Graham R, Mancher M, Miller D, et al. (eds); Committee on Standards for Developing Trustworthy Clinical Practice Guidelines. Clinical practice guidelines we can trust. Washington, DC: National Academies Press, 2011; http://www.nap.edu/openbook.php?record_id=13058. Accessed April 22, 2013.

4. Ahmed F, Temte JL, Campos-Outcalt D, Schünemann HJ. Methods for developing evidence-based recommendations by the Advisory Committee on Immunization Practices (ACIP) of the US Centers for Disease Control and Prevention (CDC). Vaccine 2011; 29: 9171-6.

5. Guyatt GH, Norris SL, Schulman S, et al. Methodology for the development of antithrombotic therapy and prevention of thrombosis guidelines: antithrombotic therapy and prevention of thrombosis, 9th ed: American College of Chest Physicians Evidence-Based Clinical Practice Guidelines. Chest 2012; 141 (2 suppl): 53S-70S.

6. Oxman AD, Fretheim A, Schünemann HJ. Improving the use of research evidence in guideline development: introduction. Health Res Policy Syst 2006; 4: 12.

7. Eccles M, Grimshaw J, Shekelle P, Schünemann H, Woolf S. Developing clinical practice guidelines: target audiences, identifying topics for guidelines, guideline group composition and functioning and conflicts of interest. Implement Sci 2012; 7: 60.

8. Woolf S, Schünemann H, Eccles M, Grimshaw J, Shekelle P. Developing clinical practice guidelines: types of evidence and outcomes; values and economics, synthesis, grading, and presentation and deriving recommendations. Implementat Sci 2012; 7: 61.

9. Shekelle P, Woolf S, Grimshaw J, Schünemann H, Eccles M. Developing clinical practice guidelines: reviewing, reporting, and publishing guidelines; updating guidelines; and the emerging issues of enhancing guideline implementability and accounting for comorbid conditions in guideline development. Implement Sci 2012; 7: 62.

10. Schünemann HJ, Hill SR, Kakad M, et al. Transparent development of the WHO rapid advice guidelines. PLoS Med 2007; 4: e119.

11. Schünemann HJ, Woodhead M, Anzueto A, et al. A guide to guidelines for professional societies and other developers of recommendations: Introduction to integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 215-8.

12. Field MJ, Lohr N (eds); Committee to Advise the Public Health Service on Clinical Practice Guidelines. Clinical practice guidelines: directions for a new program. Washington, DC: National Academies Press, 1990; http://www.nap.edu/openbook.php?record_id=1626. Accessed April 22, 2013.

13. Atkins D, Best D, Briss PA, et al. Grading quality of evidence and strength of recommendations. BMJ 2004; 328: 1490.

14. Guyatt GH, Oxman AD, Kunz R, et al. Going from evidence to recommendations. BMJ 2008; 336: 1049-51.

15. Guyatt GH, Oxman AD, Kunz R, et al. Incorporating considerations of resources use into grading recommendations. BMJ 2008; 336: 1170-3.

16. Guyatt GH, Oxman AD, Kunz R, et al. What is “quality of evidence” and why is it important to clinicians? BMJ 2008; 336: 995-8.

17. Guyatt GH, Oxman AD, Vist GE, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ 2008; 336: 924-6.

18. Jaeschke R, Guyatt GH, Dellinger P, et al. Use of GRADE grid to reach decisions on clinical practice guidelines when consensus is elusive. BMJ 2008; 337: a744.

19. Schünemann HJ, Oxman AD, Brozek J, et al. Grading quality of evidence and strength of recommendations for diagnostic tests and strategies. BMJ 2008; 336: 1106-10.

20. Estonian handbook for guidelines development. Geneva: World Health Organization, 2011; http://whqlibdoc.who.int/publications/2011/9789241502429_eng.pdf. Accessed April 22, 2013.

21. Yang K, Chen Y, Li Y, Schünemann HJ. Editorial: can China master the guideline challenge? Health Res Policy Syst 2013; 11: 1.

22. Treweek S, Oxman AD, Alderson P, et al. Developing and evaluating communication strategies to support informed decisions and practice based on evidence (DECIDE): protocol and preliminary results. Implement Sci 2013; 8: 6.

23. Shiffman RN, Shekelle P, Overhage JM, Slutsky J, Grimshaw J, Deshpande AM. Standardized reporting of clinical practice guidelines: a proposal from the Conference on Guideline Standardization. Ann Intern Med 2003; 139: 493-8.

24. American Academy of Neurology. Clinical Practice Guideline Process Manual, 2011 ed. http://www.aan.com/Guidelines/Home/Development. Accessed April 22, 2013.

25. American College of Radiology. Practice guidelines and technical standards handbook. 2011; http://www.acr.org/~/media/ACR/Documents/PGTS/DevelopmentHandbook.pdf. Accessed June 26, 2013.

26. American College of Rheumatology. Policy and Procedure Manual for Clinical Practice Guidelines. 2012; http://www.rheumatology.org/Practice/Clinical/Guidelines/Clinical_Practice_Guidelines. Accessed July 5, 2013.

27. American Society of Clinical Oncology. American Society of Clinical Oncology Guideline Procedures Manual: Expert Panel Version 4.0. 2011; http://www.asco.org/sites/default/files/methodology_manual_1.25.11_0.pdf. Accessed April 22, 2013.

28. American Urological Association. Overview: Standard Operating Procedures. 2011; https://www.auanet.org/common/pdf/education/Guidelines-SOP.pdf. Accessed April 22, 2013.

29. Council of Medical Specialty Societies. Principles for the Development of Specialty Society Clinical Guidelines. 2012; http://www.cmss.org/DefaultTwoColumn.aspx?id=505. Accessed July 5, 2013.

30. Dougados M, Betteridge N, Burmester GR, et al. EULAR standardised operating procedures for the elaboration, evaluation, dissemination, and implementation of recommendations endorsed by the EULAR standing committees. Ann Rheum Dis 2004; 63: 1172-6.

31. Cincinnati Children’s Hospital Medical Center Evidence-Based Care Group. Let Evidence Guide Every New Decision (LEGEND) Evidence-Based Care Guideline Development and Update Process. 2006; http://www.cincinnatichildrens.org/service/j/anderson-center/evidence-based-care/legend. Accessed April 22, 2013.

32. Rosenfeld RM, Shiffman RN, Robertson P. Clinical Practice Guideline Development Manual, Third Edition: a quality-driven approach for translating evidence into action. Otolaryngol Head Neck Surg 2013; 148 (1 suppl): S1-S55.

33. American College of Cardiology Foundation and American Heart Association. Methodology manual and policies from the ACCF/AHA task force on practice guidelines. 2010; http://my.americanheart.org/professional/StatementsGuidelines/PoliciesDevelopment/Development/Methodologies-and-Policies-from-the-ACCAHA-Task-Force-on-Practice-Guidelines_UCM_320470_Article.jsp. Accessed April 22, 2013.

34. American College of Cardiology Foundation and American Heart Association. Manuscript Development Process. 2010; http://my.americanheart.org/professional/StatementsGuidelines/PoliciesDevelopment/Policies-Development_UCM_316897_Article.jsp. Accessed April 22, 2013.

35. American Heart Association Stroke Council. Supplementary Methodology Manual for AHA Stroke Council Guideline Writing Groups. 2010; http://my.americanheart.org/professional/StatementsGuidelines/PoliciesDevelopment/Policies-Development_UCM_316897_Article.jsp. Accessed April 22, 2013.

36. Jacobs AK, Kushner FG, Ettinger SM, et al. ACCF/AHA clinical practice guideline methodology summit report: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines. J Am Coll Cardiol 2013; 61: 213-65.

37. Canadian Task Force on Preventive Health Care. Canadian Task Force on Preventive Health Care Procedure Manual. 2011; http://canadiantaskforce.ca/methods/methods-manual/. Accessed April 22, 2013.

38. Cancer Care Ontario. Program in Evidence-Based Care Handbook. 2012; http://www.cancercare.on.ca/about/programs/pebc/pebc-products/. Accessed April 22, 2013.

39. Cancer Care Ontario. Program in Evidence-Based Care Document Assessment and Review Protocol. 2012; http://www.cancercare.on.ca/about/programs/pebc/document__review/. Accessed April 22, 2013.

40. Cancer Care Ontario. Program in Evidence-Based Care Conflict of Interest Policy. 2011; http://www.cancercare.on.ca/cms/one.aspx?objectId=7582&contextId=1377. Accessed April 22, 2013.

41. Centers for Disease Control and Prevention. Guidelines and recommendations: a CDC primer. Atlanta, Georgia: Office of the Associate Director for Science Centers for Disease Control and Prevention, 2012.

42. Davino-Ramaya C, Krause LK, Robbins CW, et al. Transparency matters: Kaiser Permanente’s National Guideline Program methodological processes. Perm J 2012; 16: 55-62.

43. Agency for Healthcare Research and Quality. U.S. Preventive Services Task Force Procedure Manual. 2008; http://www.uspreventiveservicestaskforce.org/uspstf08/methods/procmanual.htm. Accessed April 22, 2013.

44. Esandi ME, Luca MD, Chapman E, Schapochnik N, Bernztein R, Otheguy L. Guía para la adaptación de Guías de Práctica Clínica. 2008; http://publicaciones.ops.org.ar/publicaciones/otras pub/GuiadeGuias.pdf. Accessed April 22, 2013.

45. Gutiérrez GC, Bossert T, Espinosa JQ, et al. Guía metodológica para la elaboración de Guías de Atención Integral en el Sistema General de Seguridad Social en Salud Colombiano. 2010; http://www.minsalud.gov.co/Documentos y Publicaciones/GUIA METODOLOGICA PARA LA ELABORACI%C3%93N DE GU%C3%8DAS DE ATENCI%C3%93N INTEGRAL.pdf. Accessed April 22, 2013.

46. Ministerio de Salud. Norma técnica para la elaboración de guías de practica clinica. 2005; http://bvs.minsa.gob.pe/local/MINSA/1176_DGSP196.pdf. Accessed April 22, 2013.

47. European Society of Cardiology. Recommendations for Guidelines Production. 2010; http://www.escardio.org/guidelines-surveys/esc-guidelines/about/Pages/rules-writing.aspx. Accessed April 22, 2013.

48. National Institute for Health and Clinical Excellence. The guidelines manual. 2012; http://publications.nice.org.uk/the-guidelines-manual-pmg6. Accessed April 22, 2013.

49. National Institute for Health and Clinical Excellence. The guidelines manual: Appendix A – Agreements and advice for Guideline Development Group members. 2012; http://publications.nice.org.uk/pmg6a. Accessed April 22, 2013.

50. National Institute for Health and Clinical Excellence. How NICE clinical guidelines are developed: An overview for stakeholders, the public and the NHS. 5th Edition. 2012; http://publications.nice.org.uk/pmg6f. Accessed April 22, 2013.

51. National Institute for Health and Clinical Excellence. Positively Equal: A guide to addressing equality issues in developing clinical guidelines. 2012; http://www.nice.org.uk/aboutnice/howwework/developingniceclinicalguidelines/PositivelyEqual.jsp. Accessed July 5, 2013.

52. Scottish Intercollegiate Guidelines Network. SIGN 50: A guideline developer’s handbook. 2011; http://www.sign.ac.uk/guidelines/fulltext/50/. Accessed April 22, 2013.

53. Ministerio de Sanidad y Consumo. Elaboración de guías de práctica clínica en el sistema nacional de salud: manual metodológico. 2007; http://www.guiasalud.es/emanuales/elaboracion/index-02.html. Accessed April 22, 2013.

54. World Health Organization. WHO Handbook for Guideline Development. 2012; http://apps.who.int/iris/bitstream/10665/75146/1/9789241548441_eng.pdf. Accessed April 22, 2013.

55. National Health and Medical Research Council. Procedures and requirements for meeting the 2011 NHMRC standard for clinical practice guidelines. 2011; http://www.nhmrc.gov.au/guidelines/publications/cp133-and-cp133a. Accessed April 22, 2013.

56. National Health and Medical Research Council. Guideline Development and Conflicts of Interest: Identifying and Managing Conflicts of Interest of Prospective Members and Members of NHMRC Committees and Working Groups Developing Guidelines. 2012; http://www.nhmrc.gov.au/guidelines-and-publications/information-guideline-developers/guideline-development-and-conflicts. Accessed April 22, 2013.

57. New Zealand Guidelines Group. Handbook for the preparation of explicit evidence-based clinical practice guidelines. Wellington: New Zealand Guidelines Group, 2001.

58. The ADAPTE Collaboration. The ADAPTE process: resource toolkit for guideline adaptation. Version 2.0. 2009; http://www.g-i-n.net/document-store/working-groups-documents/adaptation/adapte-resource-toolkit-guideline-adaptation-2-0.pdf. Accessed July 5, 2013.

59. Brouwers MC, Kho ME, Browman GP, et al. Development of the AGREE II, part 1: performance, usefulness and areas for improvement. Can Med Assoc J 2010; 182: 1045-52.

60. Brouwers MC, Kho ME, Browman GP, et al. Development of the AGREE II, part 2: assessment of validity of items and tools to support application. CMAJ 2010; 182: E472-478.

61. Yale Center for Medical Informatics. COGS: The conference on guideline standardization. 2003; http://gem.med.yale.edu/cogs/statement.do. Accessed April 22, 2013.

62. Schünemann H, Fretheim A, Oxman A. Improving the use of research evidence in guideline development: 1. Guidelines for guidelines. Health Res Policy Syst 2006; 4: 13.

63. Oxman A, Schünemann H, Fretheim A. Improving the use of research evidence in guideline development: 2. Priority setting. Health Res Policy Syst 2006; 4: 14.

64. Fretheim A, Schünemann H, Oxman A. Improving the use of research evidence in guideline development: 3. Group composition and consultation process. Health Res Policy Syst 2006; 4: 15.

65. Boyd E, Bero L. Improving the use of research evidence in guideline development: 4. Managing conflicts of interests. Health Res Policy Syst 2006; 4: 16.

66. Fretheim A, Schünemann H, Oxman A. Improving the use of research evidence in guideline development: 5. Group processes. Health Res Policy Syst 2006; 4: 17.

67. Schünemann H, Oxman A, Fretheim A. Improving the use of research evidence in guideline development: 6. Determining which outcomes are important. Health Res Policy Syst 2006; 4: 18.

68. Oxman A, Schünemann H, Fretheim A. Improving the use of research evidence in guideline development: 7. Deciding what evidence to include. Health Res Policy Syst 2006; 4: 19.

69. Oxman A, Schünemann H, Fretheim A. Improving the use of research evidence in guideline development: 8. Synthesis and presentation of evidence. Health Res Policy Syst 2006; 4: 20.

70. Schünemann H, Fretheim A, Oxman A. Improving the use of research evidence in guideline development: 9. Grading evidence and recommendations. Health Res Policy Syst 2006; 4: 21.

71. Schünemann H, Fretheim A, Oxman A. Improving the use of research evidence in guideline development: 10. Integrating values and consumer involvement. Health Res Policy Syst 2006; 4: 22.

72. Edejer T. Improving the use of research evidence in guideline development: 11. Incorporating considerations of cost-effectiveness, affordability and resource implications. Health Res Policy Syst 2006; 4: 23.

73. Oxman A, Schünemann H, Fretheim A. Improving the use of research evidence in guideline development: 12. Incorporating considerations of equity. Health Res Policy Syst 2006; 4: 24.

74. Schünemann H, Fretheim A, Oxman A. Improving the use of research evidence in guideline development: 13. Applicability, transferability and adaptation. Health Res Policy Syst 2006; 4: 25.

75. Oxman A, Schünemann H, Fretheim A. Improving the use of research evidence in guideline development: 14. Reporting guidelines. Health Res Policy Syst 2006; 4: 26.

76. Fretheim A, Schünemann H, Oxman A. Improving the use of research evidence in guideline development: 15. Disseminating and implementing guidelines. Health Res Policy Syst 2006; 4: 27.

77. Oxman A, Schünemann H, Fretheim A. Improving the use of research evidence in guideline development: 16. Evaluation. Health Res Policy Syst 2006; 4: 28.

78. Yawn BP, Akl EA, Qaseem A, Black P, Campos-Outcalt D. Identifying target audiences: who are the guidelines for?: article 1 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 219-24.

79. Atkins D, Perez-Padilla R, MacNee W, Buist AS, Cruz AA. Priority setting in guideline development: article 2 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 225-8.

80. Kunz R, Fretheim A, Cluzeau F, et al. Guideline group composition and group processes: article 3 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 229-33.

81. Boyd EA, Akl EA, Baumann M, et al. Guideline funding and conflicts of interest: article 4 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 234-42.

82. Wilt TJ, Guyatt G, Kunz R, et al. Deciding what type of evidence and outcomes to include in guidelines: article 5 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 243-50.

83. Hill SR, Olson LG, Falck-Ytter Y, et al. Incorporating considerations of cost-effectiveness, affordability, and resource implications in guideline development: article 6 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 251-5.

84. Guyatt G, Akl EA, Oxman A, et al. Synthesis, grading, and presentation of evidence in guidelines: article 7 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 256-61.

85. Kelson M, Akl EA, Bastian H, et al. Integrating values and consumer involvement in guidelines with the patient at the center: article 8 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 262-8.

86. Cluzeau F, Wedzicha JA, Kelson M, et al. Stakeholder involvement: how to do it right: article 9 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 269-73.

87. Fabbri LM, Boyd C, Boschetto P, et al. How to integrate multiple comorbidities in guideline development: article 10 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 274-81.

88. Schünemann HJ, Oxman AD, Akl EA, et al. Moving from evidence to developing recommendations in guidelines: article 11 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 282-92.

89. Wilson KC, Irwin RS, File TM, Schünemann HJ, Guyatt GH, Rabe KF. Reporting and publishing guidelines: article 12 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 293-7.

90. Grimshaw JM, Schünemann HJ, Burgers J, et al. Disseminating and implementing guidelines: article 13 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 298-303.

91. Burgers JS, Anzueto A, Black PN, et al. Adaptation, evaluation, and updating of guidelines: article 14 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 304-10.

92. World Health Organization. Health Systems Strengthening Glossary. 2013; http://www.who.int/healthsystems/hss_glossary/en/index.html. Accessed July 26, 2013.

93. Institute of Medicine Committee on Methods for Setting Priorities for Guidelines Development. Setting priorities for clinical practice guidelines. Washington, DC: National Academy Press, 1995.

94. Hofmann B. Toward a procedure for integrating moral issues in health technology assessment. Int J Technol Assess Health Care 2005; 21: 312-8.

95. Academy of Medicine of Malaysia. Clinical Practice Guidelines. 2013; http://www.acadmed.org.my/index.cfm?&menuid=67. Accessed April 22, 2013.

96. Japan Ministry of Health Labour and Welfare. Ministry of Health Labour and Welfare. 2013; http://www.mhlw.go.jp/english. Accessed April 22, 2013.

97. Ministry of Health Republic of Indonesia. Ministry of Health Republic of Indonesia. 2013; http://www.depkes.go.id/en/. Accessed April 22, 2013.

98. Republic of Turkey Ministry of Health. Guidelines. 2013; http://www.saglik.gov.tr/TR/belge/1-339/yonergeler.html. Accessed April 22, 2013.

99. Chile Ministry of Health. Clinical Practice Guidelines. 2013; http://www.minsal.gob.cl/portal/url/page/minsalcl/g_gesauge/guias.html Accessed April 22, 2013.

100. European Center for Disease Prevention and Control. Guidance. 2013; http://www.ecdc.europa.eu/en/publications/guidance/Pages/index.aspx. Accessed April 22, 2013.

101. National Heart Lung and Blood Institute. Systematic Evidence Reviews and Clinical Practice Guidelines. 2013; http://www.nhlbi.nih.gov/guidelines/index.htm. Accessed April 22, 2013.

102. National Institutes of Health AIDSinfo. Clinical Guidelines Portal. 2013; http://aidsinfo.nih.gov/guidelines. Accessed April 22, 2013.

Appendice 1

Glossario

Il glossario include la definizione di tutti i termini e gli acronimi presenti nella checklist per aiutare l’interpretazione delle voci utilizzate. Nell’elenco i termini associati sono divisi in categorie che descrivono i vari aspetti dello sviluppo di una linea-guida.

Bibliografia

1. National Institute for Health and Clinical Excellence. The guidelines manual: Appendix L – Abbreviations and Glossary. 2012; http://publications.nice.org.uk/the-guidelines-manual-appendix-l-abbreviations-and-glossary-pmg6d/l2-glossary. Accessed July 21, 2013.

2. World Health Organization. Estonian Handbook for Guidelines Development. 2011; http://whqlibdoc.who.int/publications/2011/9789241502429_eng.pdf. Accessed April 22, 2013.

3. Kunz R, Fretheim A, Cluzeau F, et al. Guideline group composition and group processes: article 3 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 229-33.

4. Institute of Medicine Committee on Standards for Developing Trustworthy Clinical Practice Guidelines. Clinical Practice Guidelines We Can Trust. 2011; http://www.nap.edu/openbook.php?record_id=13058. Accessed April 22, 2013.

5. Kelson M, Akl EA, Bastian H, et al. Integrating values and consumer involvement in guidelines with the patient at the center: article 8 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 262-8.

6. National Institute for Health and Clinical Excellence. Glossary. 2013; http://www.nice.org.uk/website/glossary/glossary.jsp. Accessed July 21, 2013.

7. National Health and Medical Research Council. Procedures and requirements for meeting the 2011 NHMRC standard for clinical practice guidelines. 2011; http://www.nhmrc.gov.au/guidelines/publications/cp133-and-cp133a. Accessed April 22, 2013.

8. Yawn BP, Akl EA, Qaseem A, Black P, Campos-Outcalt D. Identifying target audiences: who are the guidelines for?: article 1 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 219-24.

9. Atkins D, Perez-Padilla R, MacNee W, Buist AS, Cruz AA. Priority setting in guideline development: article 2 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 225-8.

10. World Health Organization. Health Systems Strengthening Glossary. 2013; http://www.who.int/healthsystems/hss_glossary/en/index.html. Accessed July 26, 2013.

11. Grimshaw JM, Schünemann HJ, Burgers J, et al. Disseminating and implementing guidelines: article 13 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 298-303.

12. The ADAPTE Collaboration. The ADAPTE process: resource toolkit for guideline adaptation. Version 2.0. 2009; http://www.g-i-n.net/document-store/working-groups-documents/adaptation/adapte-resource-toolkit-guideline-adaptation-2-0.pdf. Accessed July 5, 2013.

13. Schünemann HJ, Osborne M, Moss J, et al. An official American Thoracic Society Policy statement: managing conflict of interest in professional societies. Am J Respir Crit Care Med 2009; 180: 564-80.

14. Boyd EA, Akl EA, Baumann M, et al. Guideline funding and conflicts of interest: article 4 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 234-42.

15. Oxman A, Schünemann H, Fretheim A. Improving the use of research evidence in guideline development: 12. Incorporating considerations of equity. Health Res Policy Syst 2006; 4: 24.

16. AGREE Research Trust. The AGREE enterprise website. 2013; http://www.agreetrust.org. Accessed July 21, 2013.

17. Qaseem A, Forland F, Macbeth F, Ollenschlager G, Phillips S, van der Wees P. Guidelines international network: toward international standards for clinical practice guidelines. Ann Intern Med 2012; 156: 525-31.

18. Wilt TJ, Guyatt G, Kunz R, et al. Deciding what type of evidence and outcomes to include in guidelines: article 5 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 243-50.

19. Fabbri LM, Boyd C, Boschetto P, et al. How to integrate multiple comorbidities in guideline development: article 10 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Soc 2012; 9: 274-81.

20. Guyatt G, Montori V, Schünemann HJ, Bhandari M. Putting the patient first: in our practice, and in our use of language. ACP J Club 2004; 140: A11-2.

21. Guyatt G, Oxman AD, Kunz R, et al. GRADE guidelines: 2. Framing the question and deciding on important outcomes. J Clin Epidemiol 2011; 64: 395-400.

22. Balshem H, Helfand M, Schünemann HJ, et al. GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol 2011; 64: 401-6.

23. Guyatt G, Oxman AD, Akl EA, et al. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables. J Clin Epidemiol 2011; 64: 383-94.

24. Schünemann HJ, Oxman AD, Akl EA, et al. Moving from evidence to developing recommendations in guidelines: article 11 in integrating and coordinating efforts in COPD guideline development. An official ATS/ERS workshop report. Proc Am Thorac Society 2012; 9: 282-92.

25. Andrews J, Guyatt G, Oxman AD, et al. GRADE guidelines: 14. Going from evidence to recommendations: the significance and presentation of recommendations. J Clin Epidemiol 2013; 66: 719-25.

26. Brown P BK, Chalkidou K, Chalmers I, et al. How to formulate research recommendations. BMJ 2006; 333: 804-6.

27. The GRADE working group. GRADE Working Group. 2013; http://www.gradeworkinggroup.org. Accessed July 21, 2013.

28. US Preventive Services Task Force. Methods and processes. 2013; http://www.uspreventiveservicestaskforce.org/methods.htm. Accessed July 21, 2013.