Come NON leggere una ricerca scientifica, parte 3 – Rappresentatività

Fino ad ora, nel discorso in cui una ricerca può essere inattendibile o male interpretata dai giornalisti, ci siamo limitati in ogni caso al semplice correlare due eventi o fenomeni. Il problema però potrebbe essere a monte, come nel caso vi sia un errore nella selezione del campione da analizzare.

Si tratta in poche parole della rappresentatività.

Un esempio banale di ciò potrebbe essere un qualsiasi sondaggio di opinione politica. Dato che è un poco complicato intervistare tutti gli italiani sulle loro preferenze elettorali, questi sondaggi vengono svolti in genere su campioni ristretti di persone. Per esempio, qualche migliaio di intervistati. Spesso nei dibattiti televisivi si assiste a lamentele perché le aspettative alla vigilia di una importante votazione, basate sugli esiti dei sondaggi, vengono disattese; e qualcuno più polemico insinua che i sondaggi siano falsi, allo scopo di influenzare l’opinione pubblica facendogli credere che un particolare candidato riscuota molto consenso.

Complottismi a parte, è evidente che un sondaggio d’opinione è limitato al ristretto campione di intervistati, il quale può oltretutto essere influenzato da vari fattori (luogo di intervista, censo, regione ecc.) [1] in misura maggiore quanto più il campione è ristretto. Non c’è nulla che vieti che in quel migliaio di interviste siano casualmente capitati più elettori di un partito che di un altro, è un problema insito al momento di stabilire campione quello di rappresentare l’intero universo della popolazione. Per questo è importante valutare la dimensione del campione e la sua rappresentatività. Non bisogna prendere ogni risultato ottenuto per oro colato, esistono possibili fonte di errore che minano l’affidabilità della statistica se non ci si attiene ad una rigorosa campionatura randomica e ogni indagine andrebbe presa con un grano di sale.

Facciamo un esempio più relativo al mondo delle scienze naturali: la famigerata frase “test clinici hanno mostrato che”, magari accompagnata da un asterisco che rimanda ad una nota in piccolissimo, che troviamo associata a diecimila prodotti dermatologici, integratori alimentari e simili.
Spesso però si scopre che i famigerati test clinici sono stati condotti su poche dozzine di persone, ma chiaramente questo non è sufficiente per determinare la bontà o meno del prodotto! Spesso si tratta infatti di formulazioni blande e dai risultati discutibili, ma la pubblicità può risultare ingannevole cingendosi dell’aura sacrale della scientificità. Il discorso non cambia in caso si facesse riferimento a studi percentuali, poiché a noi dice poco sapere che il tal prodotto ha lasciato soddisfatto l’80% dei partecipanti ad un campione se si trattava di 10 soli individui.
Allo stesso modo, molti studi sulla presunta efficacia dell’omeopatia si rivelano condotti su davvero poche persone, un campione troppo piccolo per escludere che i casi positivi individuati siano dovuti ad un effetto placebo rispetto al gruppo di controllo. Ma in generale ogni tipo di ricerca va analizzata con attenzione per tener conto della significatività dello studio. Ciò che vale per alcune persone non è detto che valga per tutti.

Va anche notato che in questi casi pubblicitari il prodotto viene accompagnato da frasi come “potrebbe aiutarti nel”, oppure associato al mantenimento di un corretto stile di vita, un’alimentazione sana ed un’attività all’aria fisica. Questo è un altro punto importante, perché (salvo casi particolari come la salute cagionevole o altro) è chiaro che una persona che conduce un determinato stile di vita avrà un livello di benessere e di salute consono. E’ questo che permette di ottenere determinati benefici, non la crema o la pillolina!
Il discorso vale naturalmente anche per molti seguaci delle terapie alternative, che somministrano il loro rimedio a persone in salute (o che stanno guarendo grazie a terapie convenzionali) e attribuiscono l’effetto benefico al loro preparato.
Se abbiamo 100 individui che assumono il farmaco omeopatico contraendo meno raffreddori e 100 che non lo assumono e si ammalano più spesso, si potrebbe dedurre che il merito è del rimedio omeopatico. Ma i 100 osservati sani potrebbero essere di costituzione più robusta degli altri, o condurre una vita attiva all’aria aperta assumendo molta frutta, cosa che lo studio non ci dice.

Chi fa parte di un campione d’indagine statistica può influenzare l’interpretazione dei risultati. Un campione potrebbe non risultare rappresentativo per il semplice motivo che i soggetti studiati non sono adeguati, oppure si sono mal interpretati i risultati.
Durante gli anni ’90 gli studi mostravano che le terapie ormonali HRT non solo ritardavano gli effetti della menopausa, ma mostravano un certo grado di protezione da osteoporosi e malattie cardiovascolari. Si è però scoperto successivamente che in realtà avevano un effetto peggiorativo: i risultati degli studi erano falsati dal fatto che facevano parte dei campioni donne che cercavano a ogni costo di mantenersi in forma e sembrare più giovani e belle.

La rappresentatività del campione di riferimento può essere resa confusa dalla questione della correlazione-causa.
Se analizzassimo l’incidenza di malattie cardiovascolari o tumori gastrointestinali fra la popolazione americana, quella francese e quella cinese, non potremmo sapere immediatamente se eventuali differenze sono dovute a caratteristiche genetiche di resistenza o maggiore suscettibilità, oppure allo stile di vita o all’impatto ambientale. Vedremo solo gli effetti, ma li attribuiremo ad altre cose che stiamo misurando: se ci interessa l’alimentazione, indicheremo gli idrocarburi aromatici policiclici nella bistecca alla griglia, il resveratrolo nel vino, i fitoestrogeni nella soia, gli antiossidanti nel tè nero, l’alimentazione rurale piuttosto che processata e così via.

Ci sono tanti altri esempi.

Per ovviare a questi problemi si svolgono i cosiddetti studi clinici controllati randomizzati, che però sono più costosi e difficili da condurre, e si deve ripiegare su più semplici studi prospettici. In ogni caso è sempre possibile che il ricercatore poco scrupoloso o il giornalista poco diligente possano mal cavare i dati dal buco. In questi casi, analizzando un gruppo di riferimento, si potrebbe in pratica scegliere solo quei termini o quei casi che fanno comodo alla propria tesi, una pratica che in gergo viene detta “cherry picking”.

Ma anche con campioni significativi, condotti per lungo tempo e tenendo conto di tutti i fattori che potrebbero influenzare i risultati o la loro interpretazione, esistono problemi di cui tener conto per evitare di incappare in errori?
Uno è la misinterpretazione del rischio relativo e ne parleremo la prossima volta.

Gli articoli della serie:

  • La prima parte dell’articolo è disponibile cliccando qui.
  • La seconda parte dell’articolo è disponibile cliccando qui.
  • La terza parte dell’articolo è disponibile cliccando qui.
  • La quarta parte dell’articolo è disponibile cliccando qui.

Note:

[1] Un sondaggio politico condotto a Verona darà chiaramente risultati diversi di uno condotto a Livorno. La percentuale di italiani che vota il Suditrolervolkspartei sarà, a intuito, concentrata solo in Alto Adige e non equamente distribuita lungo la penisola. Così come troveremo movimenti neoborbonici soprattutto al Meridione.

 

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: