Docstoc

EBM

Document Sample
EBM Powered By Docstoc
					  Analisi critica della letteratura
      e dei lavori scientifici

Metodologia per il medico di famiglia



   Scuola Toscana di
     Formazione

                                        1
   Elementi di validità di un
      lavoro di ricerca.
 Validità   metodologica.

 Rilevanza   clinica.

 Trasferibilità.

                                2
       Analisi critica dei lavori
              scientifici
   Quale ipotesi gli autori volevano
    provare?

   Quale tipo di studio è stato
    effettuato?

   La metodologia è corretta?



                                        3
    Classificare un articolo
 Studi osservazionali
 Studi sperimentali




 Ricerche quantitative
 Ricerche qualitative


                               4
     La ricerca qualitativa
Se le ricerche quantitative studiano la
 diversità quantitativa dei fenomeni,
 esprimendola in forma numerica e
 probabilistica, le ricerche qualitative
 ne cercano i motivi e postulano
 spiegazioni o pongono interrogativi



                                           5
         La ricerca qualitativa

   Metodi
   q     Documentazione (atti dei convegni e
    comportamento dei medici)
   q    Osservazione passiva (descrizione)
   q    Osservazione partecipativa
   q    Intervista (di solito strutturata)
   q   Focus groups
                                            6
        Classificare un articolo
    Studi primari

   q    Studi sperimentali
   q    RCT
   q    Studi di coorte
   q    Studi caso controllo
   q    Studi osservazionali trasversali


                                            7
       Classificare un articolo
   Studi secondari

q       Revisioni Sistematiche
q       Non sistematiche
q       Metaanalisi
q       Linee Guida

                                  8
        Classificare un articolo
                       Studi secondari
   Revisioni non sistematiche: riassumono un gruppo
    di studi primari
   Revisioni sistematiche: riassumono studi primari
    esaminati e valutati secondo una metodica precisa e
    rigorosa
   Metanalisi: integrano i risultati numerici di più studi
    primari
   Linee guida: si basano sugli studi primari per trarre
    conclusioni su come si dovrebbe svolgere la pratica
    clinica
   Analisi decisionali/ analisi economiche
                                                              9
       Classificare un articolo
In ordine di importanza

1.   RCT definitivi Metaanalisi
2.   RCT non definitivi
3.   Studi di coorte o caso controllo
4.   Studi osservazionali
5.   Casi clinici
6.   Studi ecologici
                                        10
  Gerarchia dei tipi di studio
in funzione del livello di prove
           Metanalisi
     Revisioni Sistematiche


             RCTs
   (Studi Controllati Random)
        Studi di Coorte
      Studi Caso-Controllo
   Studi Osservaz. Trasversali
           Casi Clinici
                                   11
     Metaanalisi( over review)
    Revisione globale, sistematica
    ed organizzata e sintesi
    statistica retrospettiva dei
    risultati di più studi clinici che
    affrontano il medesimo
    argomento.

   Si basa su criteri di valutazione
    espliciti.
                                         12
   Revisioni di studi clinici
         (pubblicati)
 Non   sistematiche



 Sistematiche




                                13
        Metanalisi: i metodi.
 NARRATIVO ( il più classico),tipico
  della revisione tradizionale in cui chi
  analizza i dati ne riassume i risultati ed
  esprime la sua opinione.
 IL METODO DEI VOTI, in cui si
  suddividono gli studi disponibili in positivi,
  negativi, incerti ( posta troppa enfasi sulla
  sugnificatività statistica).
                                               14
          Metanalisi.
 Come i trials randomizzati
  anche le MA possono essere
  condotte in modo inappropriato
  e concludersi con risultati
  inattendibili.
 Con le MA non si possono avere
  informazioni che non erano
  presenti nei singoli studi.
                               15
 Criteri di validità che gli AA
    devono documentare.
1. Modalità di selezione degli studi.
2. Definizioni adeguate di pazienti,
   trattamenti e razionale dell’analisi.
3. Modalità di estrazione dei dati.
4. Qualità dell’analisi statistica ( test
   utilizzati, misurazione della
   variabilità dei risultati,
   presentazione grafica e
   interpretazione dei risultati.

                                            16
 Metanalisi: criteri di validità.
1. Obiettivo della MA è ben definito e
 clinicamente rilevante?
2. E’ verosimile che la ricerca degli
 studi abbia mancato l’identificazione
 di studi importanti?
3. I criteri di inclusione ed esclusione
 erano ragionevoli e coerenti con
 l’obiettivo?

                                       17
 Metanalisi : criteri di validità.
4. Esiste un numero di studi
 sufficiente per la MA ed il numero
 dei pazienti è ragionevolmente
 elevato?
5. Sono studi simili per caratteristiche
 dei pazienti inclusi,modalità di
 trattamento, end points?
6. Sono i risultati degli studi non
 eterogenei, cioè tendono a
 dimostrare un chiaro beneficio?
                                       18
Metanalisi




             19
               Metanalisi
    Vantaggi

 q Metodi di inclusione precisi (selezione
  di lavori validi)
 q     Grande quantità di informazioni
 q     Riduzione del ritardo fra ricerca e
  applicazione
 q    Generalizzabilità dei risultati
  (popolazione diversificata)

                                         20
        Metanalisi : i limiti.
 I trials sono assai diversi per
  numerosità dei pazienti.
 I pazienti sono diversi da studio a
  studio anche se reclutati con
  analoga diagnosi.
 Condizioni di setting differenti.
 Validità scientifica e attendibilità dei
  risultati diversi ( carenze
  metodologiche).

                                         21
         Metanalisi : i limiti.
   Quando si fa una MA si finisce
    invariabilmente per dimostrare
    una qualche efficacia del
    trattamento studiato.




                                     22
     Analisi critica dei lavori
            scientifici.
 La valutazione va fatta soprattutto sui
  singoli lavori.
 Elementi da valutare:
 Originalità
 Disegno sperimentale adeguato al quesito di
  ricerca.
 Metodo, validato e accuratamente descritto.
 Analisi.
                                            23
             L’ABSTRACT
 Importante quando si vuole effettuare su
  internet una ricerca.
 Convenzionale, descrive:
  problema,metodi,risultati,conclusioni
 Strutturato , descrive :
  obiettivo,disegno,setting,caratteristiche dei
  pazienti,intervento,misure di outcome,
  risultati, conclusioni.

                                                  24
    Articolo scientifico: IMRAD.
 Introduzione.
 Metodi
 Risultati
 ( And)
 Discussione




                                   25
       INTRODUZIONE
 Riassume le informazioni più
  importanti.
 Aiuta a comprendere le ragioni
  dello studio.
 Descrive lo scopo (non le
  conclusioni) della ricerca.
 Cita altri lavori analoghi o
  correlati allo studio.

                                   26
            METODI
 Disegno dello studio.
 Selezione dei pazienti.
 Definizione della malattia.
 Intervento,metodi e trattamenti.
 Misure di outcome
 Potenza ed analisi statistiche.
 Aspetti etici.
                                 27
         RISULTATI
 Descrizione   dei
  partecipanti allo studio
  (rifiuto e perdita nel
  follow-up).
 Risposta alle ipotesi
  formulate.
                             28
        DISCUSSIONE
 Sintesi  dei risultati
  principali.
 Conseguenze “pratiche” dei
  risultati.
 Vantaggi e limiti dei metodi
  utilizzati.
 Studi futuri.

                                 29
    Articoli clinici: caratteristiche
                generali
   Importanza/prestigio della rivista

   Peer review ( lavori accuratamente
    valutati da revisori esperti)

   Impact factor ( parametro che pesa
    le riviste sul numero di citazioni
    ricevute normalizzato per il numero
    di lavori pubblicati)

   Conflitti di interesse                30
    La caccia agli errori della
            ricerca.
 ERRORI METODOLOGICI: nella
  impostazione ed interpretazione
  dello studio.
 DISTORSIONI : diversità fra ciò
  che esce dai laboratori di
  ricerca e ciò che arriva al
  medico ( risultati diversi da
  quelli realmente riscontrati).
                                  31
    ERRORI METODOLOGICI.

   Gli errori nell’analisi e
    nell’interpretazione dei risultati
    possono essere corretti, se
    identificati in tempo, gli errori
    nella impostazione sono sempre
    irrimediabili e spesso
    condizionano il destino della
    ricerca.
                                     32
 ERRORI METODOLOGICI.
1. Mancanza di un confronto : fra i
 più comuni errori l’organizzazione di una
 ricerca di tipo NON COMPARATIVO
 (modo migliore per ottenere un risultato
 positivo).
2. Errata scelta del confronto: non
 validi i confronti retrospettivi o storici né
 quelli contemporanei ma non randomizzati.
                                             33
  ERRORI METODOLOGICI.
3. Mancata o errata randomizzazione :
  non è sufficiente prevedere un gruppo di
  confronto, occorre che ciò avvenga per
  randomizzazione. Molto spesso previsti sistemi
  alternativi ( assegnazione in successione alternata
  oppure in base al giorno di ricovero o data di
  nascita).
 Errata perché si può prevedere o anticipare il
  trattamento da assegnare.
                                                        34
 ERRORI METODOLOGICI.
4. Non adozione delle condizioni
 di CECITA’ singola o doppia.
 Essenziale non solo in fase di assegnazione
 dei trattamenti ma anche , e soprattutto,
 nella fase di conduzione della ricerca e della
 valutazione dei risultati.


                                              35
 ERRORI METODOLOGICI.
5. Non adeguata scelta del
 disegno sperimentale.
 Anche se organizzate secondo i principi
 della sperimentazione controllata e
 randomizzata molte ricerche non sono in
 grado di fornire tutta l’informazione che
 dovrebbero perché pianificate secondo un
 disegno non appropriato.
                                             36
  ERRORI METODOLOGICI.

6. Mancata stima delle dimensioni del
  campione : errore estremamente frequente.
 Nella maggioranza degli studi non c’è accenno alla
  stima del campione che è necessario studiare per
  avere una buona probabilità di mettere in
  evidenza, se esiste, una determinata differenza fra
  i trattamenti in studio.


                                                    37
 ERRORI METODOLOGICI.
6. Mancata stima delle
 dimensioni del campione : in uno
 studio ben organizzato si deve stabilire a
 priori la numerosità del campione sapendo
 quale sia la “ potenza” dello studio ( cioè la
 differenza minima che si può svelare come
 statisticamente significativa).

                                              38
 ERRORI METODOLOGICI.
7. Mediocre livello dello standard
 statistico: è quella che potremmo
 definire la frenesia del p>0,05 , valore che
 in troppi lavori assume un’alea magica di
 significatività dimostrativa. “p” non è la
 probabilità di fare un errore ritenendo
 l’effetto osservato come vero ma
 semplicemente la probabilità dell’ “ipotesi
 nulla”.
                                            39
  ERRORI METODOLOGICI.
7. Mediocre livello dello standard
  statistico:
  nell’applicazione del Test di significatività un
  errore nel quale è facile imbattersi è l’uso
  improprio del test “ T di Student” (parametrico)
  per esempio per effettuare confronti multipli a
  coppia, creando confusione fra inferenza ed
  estrapolazione dei dati.


                                                     40
        DISTORSIONI : 5
         MECCANISMI
        FONDAMENTALI.
1. Vizio del risultato positivo : più
 facile la pubblicazione di ricerche con
 risultato positivo.
2.Parzialità dell’arbitro : più facile la
 pubblicazione di un articolo recante un
 messaggio che concorda con quello dei
 revisori.
                                            41
             DISTORSIONI.
3. Dilemma del rischio relativo ed
  assoluto:
   più facile che venga prescritto un trattamento se i
  risultati della sperimentazione vengono
  rappresentati in termini di rischio relativo piuttosto
  che di rischio assoluto.
 4. Tono del linguaggio : più facile venga
  prescritto un trattamento se i risultati vengono
  enfatizzati.
                                                      42
          DISTORSIONI.
5. Informazione pilotata : più facile
 che venga prescritto un trattamento se
 l’informazione è parziale o si omettono dati
 importanti o vengono rappresentati in modo
 fallace.




                                            43
         DUE errori da non
           commettere.

1- Printed word bias:
   “ mi fido dello studio perché è stato
     pubblicato”.
2- Omission bias:
   “ Ho fretta, quindi passo subito alle
     conclusioni”.
                                           44
 CONCLUSIONI: gli 11 item.
1. Se sono stabiliti i criteri di
 eligibilità.
2. Se questi sono stati applicati prima
 della allocazione del trattamento.
3. Se l’allocazione è stata fatta con
 randomizzazione.
4. Quale metodo di randomizzazione.
5. Le condizioni di cecità.

                                      45
CONCLUSIONI : gli 11 item.
6. Se la valutazione dei risultati è
 fatta in cieco.
7. Quali sono state le
 complicanze del trattamento.
8. Quanti pazienti persi nel
 follow-up e perché e se sono
 stati considerati
  ( Intention to treatment)

                                   46
CONCLUSIONI : gli 11 item.
9. Il tipo di analisi statistica
 utilizzato.
10. I metodi statistici utilizzati.
11. In che modo è stata
 calcolata l’entità del campione
 o l’entità della differenza attesa.


                                   47