Come NON leggere una ricerca scientifica, parte 4 – Rappresentatività

L’articolo è stato aggiornato dopo la pubblicazione iniziale. 

Fino ad ora, nel discorso in cui una ricerca può essere inattendibile o male interpretata dai giornalisti, ci siamo limitati in ogni caso al semplice correlare una sostanza ad un effetto. Il problema però potrebbe essere a monte, come nel caso vi sia un errore nella selezione del campione da analizzare.

Si tratta in poche parole della rappresentatività.

Un esempio banale di ciò potrebbe essere un qualsiasi sondaggio di opinione politica. Dato che è un poco complicato intervistare tutti gli italiani sulle loro preferenze elettorali, questi sondaggi vengono svolti in genere su campioni ristretti di persone. Per esempio, qualche migliaio di intervistati. Spesso nei dibattiti televisivi si assiste a lamentele perché le aspettative alla vigilia di una importante votazione, basate sugli esiti dei sondaggi, vengono disattese; e qualcuno più polemico insinua che i sondaggi siano falsi, allo scopo di influenzare l’opinione pubblica facendogli credere che un particolare candidato riscuota molto consenso.

Complottismi a parte, è evidente che un sondaggio d’opinione è limitato al ristretto campione di intervistati, il quale può oltretutto essere influenzato da vari fattori (luogo di intervista, censo, regione ecc.) [1] in misura maggiore quanto più il campione è ristretto. Non c’è nulla che vieti che in quel migliaio di interviste siano casualmente capitati più elettori di un partito che di un altro, è un problema insito al momento di stabilire campione quello di rappresentare l’intero universo della popolazione. Per questo è importante valutare la dimensione del campione e la sua rappresentatività. Niente è significativo in assoluto, esistono possibili fonte di errore che minano l’affidabilità della statistica se non ci si attiene ad una rigorosa campionatura randomica e ogni indagine andrebbe presa con un grano di sale.

Facciamo un esempio più relativo al mondo delle scienze naturali: la famigerata frase “test clinici hanno mostrato che”, magari accompagnata da un asterisco che rimanda ad una nota in piccolissimo, che troviamo associata a diecimila prodotti dermatologici, integratori alimentari e simili.
Spesso però si scopre che i famigerati test clinici sono stati condotti su poche dozzine di persone, ma chiaramente questo non è sufficiente per determinare la bontà o meno del prodotto! Spesso si tratta infatti di formulazioni blande e dai risultati discutibili, ma la pubblicità può risultare ingannevole cingendosi dell’aura sacrale della scientificità. Il discorso non cambia in caso si facesse riferimento a studi percentuali, poiché a noi dice poco sapere che il tal prodotto ha lasciato soddisfatto l’80% dei partecipanti ad un campione se si trattava di 10 soli individui.
Allo stesso modo, molti studi sulla presunta efficacia dell’omeopatia si rivelano condotti su davvero poche persone, un campione troppo piccolo per escludere che i casi positivi individuati siano dovuti ad un effetto placebo rispetto al gruppo di controllo. Ma in generale ogni tipo di ricerca va analizzata con attenzione per tener conto della significatività dello studio.

Ciò che vale per alcune persone non è detto che valga per tutti.

Va anche notato che in questi casi pubblicitari il prodotto viene accompagnato da frasi come “potrebbe aiutarti nel”, oppure associato al mantenimento di un corretto stile di vita, un’alimentazione sana ed un’attività all’aria fisica. Questo è un altro punto importante, perché (salvo casi particolari come la salute cagionevole o altro) è chiaro che una persona che conduce un determinato stile di vita avrà un livello di benessere e di salute consono. E’ questo che permette di ottenere determinati benefici, non la crema o la pillolina!
Il discorso vale naturalmente anche per molti seguaci delle terapie alternative, che somministrano il loro rimedio a persone in salute (o che stanno guarendo grazie a terapie convenzionali) e attribuiscono l’effetto benefico al loro preparato.
Se abbiamo 100 individui che assumono il farmaco omeopatico contraendo meno raffreddori e 100 che non lo assumono e si ammalano più spesso, si potrebbe dedurre che il merito è del rimedio omeopatico. Ma i 100 osservati sani potrebbero essere di costituzione più robusta degli altri, o condurre una vita attiva all’aria aperta assumendo molta frutta, cosa che lo studio non ci dice.

Chi fa parte di un campione d’indagine statistica può influenzare l’interpretazione dei risultati. Un campione potrebbe non risultare rappresentativo per il semplice motivo che i soggetti studiati non sono adeguati, oppure si sono mal interpretati i risultati. Si tratta di un errore della classe di riferimento.
Durante gli anni ’90 gli studi mostravano che le terapie ormonali HRT non solo ritardavano gli effetti della menopausa, ma mostravano un certo grado di protezione da osteoporosi e malattie cardiovascolari. Si è però scoperto successivamente che in realtà avevano un effetto peggiorativo: i risultati degli studi erano falsati dal fatto che facevano parte dei campioni donne che cercavano a ogni costo di mantenersi in forma e sembrare più giovani e belle.

La rappresentatività del campione di riferimento può essere resa confusa dalla questione della correlazione-causa.
Se analizzassimo l’incidenza di malattie cardiovascolari o tumori gastrointestinali fra la popolazione americana, quella francese e quella cinese, non potremmo sapere immediatamente se eventuali differenze sono dovute a caratteristiche genetiche di resistenza o maggiore suscettibilità, oppure allo stile di vita o all’impatto ambientale. Vedremo solo gli effetti, ma li attribuiremo ad altre cose che stiamo misurando: se ci interessa l’alimentazione, indicheremo gli idrocarburi aromatici policiclici nella bistecca alla griglia, il resveratrolo nel vino, i fitoestrogeni nella soia, gli antiossidanti nel tè nero, l’alimentazione rurale piuttosto che processata e così via.

En passant, la nutrizione è molto legata alla sfera individuale e non si può sempre generalizzare in maniera assoluta. Potremmo prendere come modello un esempio scorretto di stile di vita come quello di Homer Simpson, ma generalizzarlo erroneamente a chiunque consumi carne anche in quantità contenute. Oppure potremmo tirare fuori una dieta vegetariana o vegana carente di nutrienti come anche una che provochi obesità (e lo stesso vale col consumo di carne, ovviamente). Potremmo per assurdo giustificare l’anoressia prendendo un campione di individui che assumono massimo 1000 kcal al giorno e ponendolo a confronto con chi ne assume di più, compresi obesi con evidenti problemi cardiovascolari. Non si devono inoltre confondere gli eccessi in ambo i sensi, le situazioni eccezionali, con la norma.

Ci sono tanti altri esempi.

Per ovviare a questi problemi si svolgono i cosiddetti studi clinici controllati randomizzati, che però sono più costosi e difficili da condurre, e si deve ripiegare su più semplici studi prospettici. In ogni caso è sempre possibile che il ricercatore poco scrupoloso o il giornalista poco diligente possano mal cavare i dati dal buco. In questi casi, analizzando un gruppo di riferimento, si potrebbe in pratica scegliere solo quei termini o quei casi che fanno comodo alla propria tesi, una pratica che in gergo viene detta “cherry picking”.

Ma anche con campioni significativi, condotti per lungo tempo e tenendo conto di tutti i fattori che potrebbero influenzare i risultati o la loro interpretazione, esistono problemi di cui tener conto per evitare di incappare in errori?
Uno è la misinterpretazione del rischio relativo e ne parleremo la prossima volta.

Gli articoli della serie:

  • La prima parte dell’articolo è disponibile cliccando qui.
  • La seconda parte dell’articolo è disponibile cliccando qui.
  • La terza parte dell’articolo è disponibile cliccando qui.
  • La quarta parte dell’articolo è disponibile cliccando qui.
  • La quinta parte dell’articolo è disponibile cliccando qui.
  • La sesta parte dell’articolo è disponibile cliccando qui.

aggiornamento 11/04/2014

Abbiamo citato la nutrizione, facciamo due esempi più dettagliati. Supponiamo per ipotesi di voler screditare il consumo di carne o al contrario la dieta vegana. Non è irrealistico perché tanto nella vita reale quanto sulla rete lo vediamo quotidianamente.

Pubblichiamo un libro rivoluzionario assieme all’autorevole Morgan Fairfax della Fenimore Cook Enterprises per darci un tono, in cui riportiamo studi scelti appositamente. Ci sono molti studi epidemiologici che analizzano gli effetti di un particolare alimento o regime dietetico. Alcuni sono ben fatti, come il progetto EPIC, ma altri lasciano a desiderare per vari motivi.
Ora è irrilevante se la nostra tesi sia esatta o sbagliata nelle conclusioni, quel che conta sono i riferimenti che prendiamo a esempio per giustificarla, di modo da illustrare gli errori che si possono commettere nel riutilizzarli.

Iniziamo con quello dove vogliamo far passare il messaggio che mangiare anche solo una piccola quantità di carni faccia ragionevolmente male. Scegliamo per esempio questo studio [2].  Ha un campione abbastanza vasto, pertanto può essere significativo.

Le conclusioni:

Red and processed meat intakes were associated with modest increases in total mortality, cancer mortality and CVD mortality.

Queste carni sono state associate a un incremento modesto della mortalità. Innanzitutto, bisogna fare attenzione perché non si parla di carne in generale, ma di carni rosse e processate, che è già un altro discorso. Per le carni bianche e il pesce il discorso può essere ben diverso.  Ma leggiamo più nel dettaglio l’articolo:

During 10 years of follow-up, there were 47,976 male deaths and 23,276 female deaths. In general, those in the highest quintile of red meat intake tended to consume a slightly lower amount of white meat, but a higher amount of processed meat than those in the lowest quintile. Subjects who consumed more red meat tended to be married, more likely to be of non-Hispanic white ethnicity, more likely to be a current smokerhave a higher body mass index, and a higher daily intake of energy, total fat and saturated fat; whereas they tended to have a lower education level, were less physically active and consumed less fruits, vegetables, fiber and vitamin supplements

E ancora:
Main outcome measures included total mortality and deaths due to cancer, cardiovascular disease, injuries and sudden deaths, and all other causes.
Tradotto: sono state contate circa 70.000 morti in un campione di 500.000 individui, i soggetti che mangiavano più carne rossa o lavorata avevano più problemi di salute rispetto a quelli che ne mangiavano di meno, mentre quelli che invece mangiavano anche carni bianche avevano addirittura un rapporto inverso. Tali soggetti con più problemi di salute erano anche più proni, fra le varie cose, a fumare, essere più grassi, praticare meno attività fisica e consumare meno frutta e verdura! Fra le morti, sono incluse quelle dovute a cancro e malattie cardiovascolari, ma anche per incidenti, infortuni e altre cause!!!

Risulta un po’ poco per titolare scandalizzati, sicuramente ci sono studi più precisi e con meno fattori confondenti sullo stesso argomento.

Ora facciamo da bravi sofisti il procedimento inverso: dimostriamo che chi è vegano o vegetariano gode di cattiva salute, per par condicio.
Di recente è uscito uno studio austriaco che apparentemente asserirebbe al contrario che la dieta vegetariana causerebbe infatti uno stile di vita meno salutare, dove si è più cagionevoli, esposti ad allergie di varia natura e deboli.
Valgono le stesse considerazioni fatte fino ad ora e non ci dilunghiamo perché ne ha parlato molto bene Chiara Segrè qui [3] spiegando perché fare attenzione con questo studio e non prenderlo per oro colato: dalla debolezza della determinazione della salute (questionari) allo scarso controllo degli stili di vita.
Le ricerche, inoltre, suggerivano un’inversione della correlazione, cioè persone con una salute peggiore si sono successivamente affidate ad una dieta vegetariana per cercare di migliorare la loro salute. Nei titoloni sensazionalistici dei giornali però ciò non traspare, e si vuole far passare un messaggio, che “mangi vegetariano e stai male”, esattamente come in altri siti alternativi.
Potete stare certi però che il vostro blog farà un sacco di visite da parte dei tifosi della vostra squadra e, se pubblicate un libro o un articolo su un quotidiano, molte persone acquisteranno la vostra opera attratte dal tenore emotivo delle dichiarazioni.

Note:

[1] Un sondaggio politico condotto a Verona darà chiaramente risultati diversi di uno condotto a Livorno. La percentuale di italiani che vota il Suditrolervolkspartei sarà, a intuito, concentrata solo in Alto Adige e non equamente distribuita lungo la penisola. Così come troveremo movimenti neoborbonici soprattutto al Meridione.

[2] Meat intake and mortality: a prospective study of over half a million people (http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2803089/)

[3] Chiara Segrè – Adesso la dieta vegetariana fa male?

 

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: