Come NON leggere una ricerca, parte 6 – Verifica delle fonti, citazioni e il telefono rotto

La maggioranza delle bufale che circolano sono sempre di livello dilettantesco, chiacchiere da bar o in piazza fra ragazzi. Eppure vengono condivise immediatamente senza nemmeno curarsi della loro veridicità o dell’affidabilità di chi le propone. Fra le pubblicazioni scientifiche controllare le fonti è ancora più importante: le citazioni vanno poi a costituire il fattore di impatto su cui si fonda l’attendibilità di molte riviste.

Facciamo un esempio molto semplice per capire come controllare adeguatamente una fonte e magari riportarla. Forse avrete già sentito parlare del famigerato mito degli spinaci ricchi di ferro. In sostanza, da piccoli siamo stati abituati a mangiare gli spinaci perché contengono molto ferro, così cresciamo grandi e forti come il babbo (o lo zio).

popeye

Solo che in realtà gli spinaci non avrebbero tanto ferro. Molti decenni fa, stando alla spiegazione a questo mito, a causa di un errore di battitura per cui una virgola era spostata a destra, vennero pubblicate delle tabelle nutrizionali che sostenevano una quantità di ferro dieci volte superiore negli spinaci (da 2.8equalcosa milligrammi ogni 100 g a circa 28 mg).

Che errore! Si è pure fatto davvero strada. Possibile che nessuno se ne fosse mai accorto?

Proviamo a scrivere anche noi, per il giornalino della scuola, per Repubblica o per Nature, un articolo sugli spinaci e sugli errori nel riportare i risultati di un’analisi:

L’idea che gli spinaci siano una buona fonte di ferro è un mito nato negli anni ’30 a causa di una virgola mal posta, facendo apparire la concentrazione dieci volte maggiore rispetto al valore reale.

Questo paragrafo però non va bene, perché non citiamo le fonti; comportamento che può andare bene quando si forniscono informazioni di dominio pubblico che non serve giustificare, ma non è questo il caso. Le affermazioni vanno dimostrate. Inoltre, i lettori più ingenui potrebbero attribuire a noi direttamente la scoperta. Teoricamente affermazioni di questo tipo nelle pubblicazioni scientifiche o negli articoli divulgativi non dovrebbero comparire.

spinaci

Ma non divaghiamo. Cerchiamo maggiori informazioni a riguardo per capire come questo mito si sia diffuso. Nel 1995 Larsson, sul Journal of Internal Medicine, cita [1] proprio questo esempio per spiegare come dati incorretti possono propagarsi col passaparola persino nelle riviste scientifiche.

Aggiorniamo:

L’idea che gli spinaci siano una buona fonte di ferro è un mito nato negli anni ’30 a causa di una virgola mal posta, facendo apparire la concentrazione dieci volte maggiore rispetto al valore reale. (Larsson, 1995: 448–449).

Ora c’è un riferimento alla fonte dove abbiamo trovato l’informazione, con tanto delle pagine precise per verificare (o per approfondire quel che Larsson spiega). Comodo. C’è solo un problema: stiamo omettendo che la nostra fonte è una fonte secondaria, ovvero cita a sua volta un altro autore, in questo caso Hamblin, sul British Medical Journal [2].

Sarebbe opportuno evitare di citare fonti secondarie nel nostro articolo perché i messaggi che passano di fonte in fonte tramite diversi link rischiano col tempo, lungo il percorso, di alterarsi come nel gioco del telefono rotto. Vedremo presto un esempio lampante di ciò.

Quel che non traspare immediatamente è che sfruttando questo fatto e magari giocando sulla pigrizia dei lettori potrei rafforzare una mia citazione aggiungendo ulteriori referenze concordi facilmente disponibili.

jack sparrow meme

Volendo, potremmo ottenere un lungo e imponente elenco di riferimenti, con nomi di giornalisti di gran fama e libri prestigiosi. Sarebbe solo un trucchetto per conferire autorevolezza alle proprie affermazioni, fino a che qualcuno non si metta a verificare una per una tutte le fonti elencate. Solo a quel punto i più scrupolosi e pazienti scopriranno che fanno comunque capo ad Hamblin e sono ridondanti.

Un terzo modo di presentare la nostra tesi potrebbe allora essere questo, molto trasparente:

L’idea che gli spinaci siano una buona fonte di ferro è un mito nato negli anni ’30 a causa di una virgola mal posta, facendo apparire la concentrazione dieci volte maggiore rispetto al valore reale. (Hamblin, 1981, citato da Larsson, 1995: 448–449).

Va benissimo soprattutto se è difficile risalire alla fonte primaria. Ma con Internet è facile da trovare ed è preferibile citare direttamente:

L’idea che gli spinaci siano una buona fonte di ferro è un mito nato negli anni ’30 a causa di una virgola mal posta, facendo apparire la concentrazione dieci volte maggiore rispetto al valore reale. (Hamblin, 1981).

Qual è il problema in questo caso? E’ sottile, ma nel nostro gioco mentale non abbiamo consultato veramente Hamblin, quindi in sostanza… lo stiamo copiaincollando. Un piccolo peccatuccio che sarà arduo da scoprire. Magari lo stiamo anche fraintendendo e per un editore o un revisore sarà difficile correggerci.

Vi sembrerà una questione di lana caprina. Sarebbe ovvio citare direttamente, ma non sempre accade. Purtroppo esistono studi che analizzano statisticamente la diffusione di questa pratica del copiare citazioni (anche fra chi grida al fact checking), abbassando la qualità sia delle fonti accademiche sia di chi è preposto a verificarle [3] [4] [5] [6].

Non c’è solo questo. Facciamo uno sforzo, mettiamo da parte la pigrizia e andiamo a leggere direttamente Hamblin: a differenza di quanto detto da Larsson, il mito non è nato negli anni ’30, quando invece fu scoperto, ma 40 anni prima. Per di più Hamblin mette anche in chiaro che non è stato nemmeno lui a notarlo, ma dei chimici tedeschi.

Proviamo allora a riscrivere la frase nel nostro articolo così:

L’idea che gli spinaci siano una buona fonte di ferro è un mito nato alla fine dell’800 a causa di una virgola mal posta, facendo apparire la concentrazione dieci volte maggiore rispetto al valore reale. Scienziati tedeschi scoprirono l’errore 40 anni più tardi (Hamblin, 1981: 1671).

Anche se abbiamo corretto e riportato in maniera corretta Hamblin, c’è altro: lui non fornisce dati precisi, date, nomi o altro a supportare la sua affermazione secondo cui venne fatto un errore nel mettere le virgole, per poter verificare come l’errore venne fatto o chi è stato a scoprirlo e correggerlo.

Tecnicamente, non si tratta di nulla più che di semplici voci non specificate.

In pratica chiacchiere.

“L’ha detto mio cugino”.

Il mito dell’errore sugli spinaci è un… mito?

lamp

Quasi. O meglio è un mito a metà.

Perché è ancora verissimo che gli spinaci forniscono molto meno ferro di quanto Braccio Di Ferro credesse. Ma principalmente perché si tratta di ferro in gran parte poco biodisponibile [7]. Non sembra esserci stato alcun errore di battitura in ogni caso, o comunque non esiste traccia di queste presunte virgole ballerine. Provando a girare su Google, si trovano dei riferimenti a Emil von Wolff [8] e a Gustav von Bunge [9], ma c’è ambiguità e non è questo il punto.

Si tratta pur sempre di una storia intrigante, potremmo inserirla comunque – in fondo è referenziata. Siamo però intellettualmente onesti e riscriviamo il nostro articolo:

E’ stato suggerito che l’idea che gli spinaci siano una buona fonte di ferro sia un mito nato alla fine dell’800 a causa di una virgola malposta, facendo apparire la concentrazione dieci volte maggiore rispetto al valore reale. Scienziati tedeschi avrebbero scoperto l’errore 40 anni più tardi (Hamblin, 1981: 1671).

Anche un altro autore, Kronick, ha provato a metterci una pezza proprio in quest’ultimo modo [10]. Tutto corretto, ma nel passare da un testo a un altro, i condizionali e le espressioni come “è stato suggerito che” tendono a sparire.

Quelle che sono semplici congetture o assunzioni, così, col tempo finiscono per assumere forma più concreta o a diventare fatti conclamati. Frasi vaghe tendono a svanire man mano che le pubblicazioni citano altri articoli e le citazioni anche se erronee si propagano facilmente.

Sicuri?

telefonorotto

Ad esaminare tutto è stato Ole Bjørn Rekdal, sociologo dell’università di Bergen. Nel suo studio [11] ha compiuto una ricerchina tanto semplice quanto efficace. Partendo dall’esempio di Larsson sugli spinaci, l’analisi di Ole si può riassumere con un concetto banale: la maggior parte delle fonti non viene controllata.
Effettivamente, nonostante la vaghezza e la mancanza di documentazione su quanto Hamblin disse, la storiella degli spinaci e delle virgole si è diffusa a macchia d’olio attraverso giornali, riviste, articoli e persino libri. E’ diventata ed è ancora oggi una vera e propria leggenda metropolitana accademica.

La cosa ironica su cui Ole puntualizza però è che gli stessi Hamblin e Larsson sono alfieri della lotta verso la cattiva scienza e la negligenza accademica, ma sono inciampati in questo piccolo episodio nonostante abbiano constatato che “una volta che viene pubblicato un articolo con informazioni fuorvianti, è quasi impossibile fermare la citazione” (Larsson, pp. 448-449).

Non è poco, perché le bufale si manifestano così, soprattutto quando giornalisti poco attenti riportano male una notizia [12], o quando uno in malafede vuole trovare qualcosa a supporto delle proprie tesi. Se ci leggete, sarete tutti a conoscenza dei titoloni in cui si annuncia la cura per il cancro [13], oppure dei bizzarri report su Otto Warburg [14].

Ole non parla solo del problema delle citazioni ma continua a riflettere su come le leggende metropolitane siano capillari nella nostra società e, in un saggio interessante (ma troppo lungo e articolato per essere affrontato in questa sede rispetto agli scopi), di come molti altri autori siano preoccupati per “disattenzioni” di questo tipo; a volte per distrazione, altre per via dei publish to flourish e publish or perish che spingono a pubblicare quantitativamente a scapito della qualità. Ma i sostenitori di teorie alternative non estrapolino queste parole dal contesto utilizzandole per dimostrare che non c’è da fidarsi della “scienza ufficiale”.

E voi, vi fidate di quanto abbiamo appena scritto, dell’excursus di Ole, delle fonti riportate? Le avete controllate a vostra volta? Le abbiamo controllate noi? Abbiamo riportato correttamente analisi e conclusioni? Siate scettici e approfondite le notizie, soprattutto quando un sostenitore della controinformazione alternativa giunge con la Verità che solo lui capisce e che vi stanno nascondendo.

Non lasciate che il principio dell’ipse dixit, contro cui sbattè anche Galileo, vi confonda le idee, soprattutto quando ad approfittarne sono personaggi dubbi privi di riscontro scientifico: e come incoraggiamento, Manuela Arcuri ha promesso di dare un bacio ai nuovi aspiranti membri dello staff che porteranno validi esempi di debunking [15] [16]. Non ci credete?

Gli articoli della serie:

  • La prima parte è disponibile cliccando qui.
  • La seconda parte è disponibile cliccando qui.
  • La terza parte è disponibile cliccando qui.
  • La quarta parte è disponibile cliccando qui.
  • La quinta parte è disponibile cliccando qui.

Note:

[1] Larsson KS (1995) The dissemination of false data through inadequate citationJournal of Internal Medicine 238(5): 445450.

[2] Hamblin TJ (1981) Fake! British Medical Journal 283(6307): 16711674.

[3] Harzing A-W (2002) Are our referencing errors undermining our scholarship and credibility? The case of expatriate failure rates. Journal of Organizational Behavior23(1): 127148

[4] Morrisey LJ (2004) Bibliometric and bibliographic analysis in an era of electronic scholarly communication. Science & Technology Libraries 22(3–4): 149160.

[5] Wetterer JK (2006) Quotation error, citation copying, and ant extinctions in Madeira. Scientometrics 67(3): 351372

[6] Wright MArmstrong JS (2008) The ombudsman: Verification of citations: Fawlty towers of knowledge? Interfaces 38(2): 125139

[7] http://www.expo.rai.it/gli-spinaci-sono-ricchi-di-ferro/

[8] Fullerton-Smith, Jill (2007). The Truth about Food. Bloomsbury Publishing. p. 224.

[9] http://www.attivissimo.net/antibufala/spinaci/spinaci.htm

[10] Kronick DA (1985) The Literature of the Life Sciences: Reading, Writing, Research

[11] http://sss.sagepub.com/content/44/4/638.long

Fra l’altro, l’articolo di Ole mi venne segnalato dal collega Alessandro Tavecchio. Per dare a Cesare quel che è di Cesare.

[12] http://medbunker.blogspot.it/2013/08/non-siamo-provette.html

[13] http://italiaxlascienza.it/main/2013/06/lennesima-scoperta-di-una-cura-per-il-cancro/

[14] http://italiaxlascienza.it/main/2013/12/cancro-acidosi-e-dieta-alcalina/

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: