Fare le pulci alla scienza: i (nascosti) bias della ricerca scientifica

Ecco il testo formattato:

Per le mie riflessioni, prendo spunto dal libro di Luca De Fiore, Sul pubblicare in medicina; impact factor, open access, peer review, predatory journal e altre creature misteriose, uscito per i tipi de Il Pensiero Scientifico editore nel 2024 con la presentazione di Richard Smith. Lo trovo un libro appassionante, chiaro e assolutamente essenziale non solo per chi frequenta l'ambito scientifico ma per tutta la popolazione: direi che riguarda la società democratica. È bene che chi quotidianamente consulta articoli e riviste scientifiche si faccia idee chiare sulle opportunità straordinarie e sui rischi che la letteratura scientifica contiene: poiché la scienza è un vettore di trasformazione sociale, culturale e economica, i suoi contenuti ricadono sulla popolazione generale.

È vero che il mondo che stiamo vivendo è accelerato dalla comunicazione continua e che siamo distratti da una serie di segnali e stimoli che si succedono con tale rapidità da impedirne anche l'accoglienza e la comprensione, figurarsi l'attendibilità: molte fake-news possono girare incontrollate.

C'è chi vede un pressapochismo crescente, un inebetimento delle popolazioni più sprovvedute, lontane dalla cultura, quindi sempre più manipolabili. Vi è una grande penuria di spirito critico e si evidenzia il desiderio di superare una situazione così ansiogena attraverso la polarizzazione, cioè la costruzione di identità sempre più barricate nella propria verità. Siamo il paese nel quale il grande Bruno De Finetti (nel 1934) scrisse ironicamente: L'invenzione della verità.

Ora, questo riguarda non solo le notizie che passano sui social o nei telegiornali, ma anche il mondo scientifico. De Fiore si dedica, appunto, ad analizzare i molti limiti della ricerca scientifica. Il suo libro tratta un tema molto sensibile, finora delegato a una minoranza di esperti: mettere allo scoperto gli errori del mondo della ricerca scientifica è rischioso, perché è possibile che, da una parte, si sollevi un coro di "noi lo abbiamo sempre saputo che sono tutti venduti", mentre dall'altra si preferisca negare e occultare.

Eppure De Fiore non è sospettabile, appartiene a pieno titolo al mondo della scienza e a quella scuola italiana sulla Qualità in medicina che si rifà a Liberati, pioniere della trasparenza e delle evidenze di cui, noi italiani, siamo orgogliosi. Inoltre la ricchezza degli apparati e della documentazione su cui si basa il volume è tale da suscitare un sentimento di riconoscenza nei confronti di un autore che ha avuto il coraggio di parlare chiaro mettendo il dito su una piaga dello stesso mondo di cui fa parte. Io stesso molto più modestamente ho introdotto il tema in vari consessi. I dati e la bibliografia portati da De Fiore sono estesi e convincenti. I referee che si espongono ad apprezzare il suo lavoro sono numerosi e autorevoli: Victor Montori, Woloshin Grisham, Davoli, Saracci, Addis, Forastiere, Alleva, tutti scienziati di riconosciuto valore.

Infine Richard Smith firma una chiarissima introduzione. Richard Smith è stato direttore del British Medical Journal, pertanto della materia di cui tratta il libro è conoscitore in prima persona quanto pochi altri.

C'è da sperare che, una volta fatto emergere il problema, si apra ora un dibattito che consenta di ripulire l'atmosfera intorno al mondo della scienza. È probabile che molti preferirebbero tenere l'argomento sotto copertura per non mettere in discussione pratiche e interessi molto corposi.

Questo mio scritto è finalizzato a dare un piccolo contributo al dibattito.

Da non molto tempo è sorta e progressivamente ha guadagnato l'attenzione di tutta la popolazione medica e degli stakeholder la medicina basata sulle evidenze che ha creato l'esigenza di ricerche, di dati e di progressive importanti basi epidemiologiche per potere dar valore alle pratiche cliniche. È il discrimine che distingue la pratica tradizionale o quella improvvisata e cialtronesca, da quella seria, aggiornata e, auspicabilmente, efficace.

Con la medicina basata sulle evidenze nasce la Qualità in medicina, che significa offrire ai pazienti le cure migliori possibili: sono le evidenze, la quantità e la qualità dei dati che distinguono la buona pratica clinica da quella scadente.

Con l'andare del tempo, negli ultimi trenta anni, si è sviluppato un vasto mercato che ha dato vita a colossi dell'editoria, i quali hanno inglobato progressivamente i piccoli editori e un gran numero di riviste scientifiche. Un esempio è Elsevier, il più grande editore scientifico del mondo, che pubblica più di 2900 riviste. Alcune di esse, le più significative come The Lancet (o New England Journal of Medicine, proprietà della Massachusetts Medical Society), diventano capofila di una serie di riviste tematiche collegate. Elsevier fa parte ora di Relx, la società che ha una capitalizzazione di mercato di ottantadue miliardi di dollari e che nel 2023 ha pubblicato più di 630mila articoli.

L'editoria scientifica è un grande mercato. Oggi ammonta a oltre 30 miliardi di sterline con più di 36000 riviste e più di 5 milioni di articoli scientifici pubblicati ogni anno.

La quantità delle pubblicazioni ha preso il sopravvento; la qualità spesso interessa molto poco, basti pensare che un numero crescente di autori pubblicano più di 70 articoli all'anno.

La Stanford University ha pubblicato nel gennaio 2024 una ricerca secondo la quale al mondo, nel solo 2022, ci sono stati 1200 ricercatori che hanno pubblicato un articolo scientifico peer-review ogni 5 giorni: cioè più di 60 articoli scientifici in un anno!

In pratica pubblicare un articolo scientifico ogni 5 giorni evidentemente lascia spazio a possibili malpractice (cattive condotte): enorme quantità forse non va di pari passo con buona qualità.

L'editoria scientifica dovrebbe essere ripensata dalle sue fondamenta. In realtà è (dovrebbe essere) un'attività prevalentemente di servizio in quanto è di supporto alla carriera dei professionisti sanitari e di sostegno all'innovazione farmaceutica, all'industria alimentare, alle tecnologie sanitarie.

L'industria farmaceutica, l'industria alimentare, i produttori di bio-tecnologie sanitarie sono di gran lunga i principali finanziatori delle ricerche, il che finisce col creare un circolo perverso in cui i beneficiari dei finanziamenti, cioè i ricercatori, hanno bisogno di fare ricerca per pubblicare e per fare carriera: quindi alimentano il mercato dell'editoria scientifica inondandolo di articoli. Spesso le medesime grandi imprese controllano tutto il circuito.

Anche accettando che tutta questa massa di lavori sia basata su dati validi e attendibili, saremmo comunque in presenza di una pericolosa epidemia editoriale, una "infodemia" così come l'ha definita il direttore generale dell'OMS Tedros Ghebreyesus: l'eccesso di informazione ha fatto sì che, a seguito dello scoppio della pandemia, già solo nel novembre 2020, fosse pubblicato un articolo sul COVID-19 ogni 3 minuti. Si andava avanti a oltre 450 articoli scientifici al giorno, e tutti sul Covid-19.

Con il passaggio alle pubblicazioni online le cose sono anche peggiorate, nel senso che non c'è più un numero limitato di articoli da pubblicare, come invece accade per una rivista cartacea, se non altro per ragioni economiche; e non c'è neanche un numero massimo di pagine a cui un autore deve limitarsi. Oggi, con la pubblicazione online si può scrivere a dismisura: una vera e propria cascata epidemica di notizie a volte falsamente scientifiche.

Che il mercato si sia ibridato e diversificato, contaminando di fatto la scienza, si osserva anche dal fatto che i grandi editori di iniziative scientifiche non seguono linee culturali particolari, non hanno visioni della scienza, ma semplicemente si occupano di pubblicare qualsiasi cosa possa rendere loro un vantaggio economico. Sono imprese come le altre che pensano solo a rimpinguare i bilanci e ad aumentare gli utili.

Ad esempio Cochrane, la rete idealmente più legata all'approccio basato sulle evidenze e che vorrebbe raccogliere solo ricerche corredate di prove di validità di livello molto elevato, in realtà pubblica anche libri e riviste di omeopatia.

Preoccupa il dato di fatto che il perseguimento del vantaggio economico sia correlato alla logica di estensione commerciale dell'industria del farmaco.

Pubblicare costa molto caro: gli autori spesso pagano per essere pubblicati. A volte vengono richieste migliaia di euro all'autore.

Un collega che ha diretto un'iniziativa efficace ed innovativa in una Asl del nord Italia, ne taccio il nome perché non gradirebbe questa pubblicità, si è visto chiedere oltre 4.000 euro per poter pubblicare i risultati dell'esperienza da lui diretta. Non potendo beneficiare di finanziatori, quella iniziativa benemerita e innovativa non trova la possibilità di essere diffusa nelle diverse reti di banche dati perché l'autore non ha i mezzi finanziari per pagarsela. In questo caso, il collega è onesto e non si vende, ma se fosse disposto a rivedere i propri dati, una qualche industria del farmaco o impresa di biotecnologie potrebbe mettere mano al portafoglio per pagare la pubblicazione. Senza sponsor, e senza soldi, non pubblichi; se non pubblichi non acquisisci punti; senza punti non fai carriera.

Il panorama è davvero triste e a volte avvilente, e crea un senso di sfiducia che finisce col danneggiare sia la scienza sia l'interesse della comunità: la gente ha bisogno di sapere come stanno le cose ed è bene che quello che viene offerto come cura sia la soluzione migliore possibile. Tuttavia, se i dati su cui si basano le evidenze migliori sono falsati o si riferiscono a gruppi di popolazione che non rappresentano il caso della persona da trattare e vengono propinate soluzioni basate su errori concettuali o metodologici, è evidente che la possibilità di guadagnare salute si riduce.

C'è da augurarsi che la gran parte dei lavori siano impeccabili; tutte le società scientifiche hanno codici di comportamento che enfatizzano l'etica e la trasparenza; e sicuramente molti ricercatori sono devoti alla scienza, ma il mercato che li circonda, e di cui inevitabilmente, se vogliono pubblicare, vengono a fare parte, funziona con le regole del mercato, non con quelle della scienza.

Agli inizi degli anni '90 è nata la più grande biblioteca online che accoglie gran parte delle pubblicazioni scientifiche, PubMed – Medline, a cui tutti possono accedere e trovare il materiale scientifico accreditato, che ha cioè superato le revisioni e i giudizi di qualità.

Da allora la medicina basata sulle evidenze è diventata una specie di pietra angolare con cui confrontare l'esperienza clinica e condividere con i malati le decisioni sulla cura. Una grande operazione di qualità delle cure offerte dai diversi sistemi curanti.

Il disastro è che, dall'inizio degli anni '90 ad oggi, si sono accumulati milioni di articoli scientifici pubblicati da una miriade di riviste scientifiche, o, a volte, solo apparentemente scientifiche, e si è arrivati ad una situazione paradossale: 

Infatti, sulle medesime materie, appaiono diverse Linee-Guida, tutte basate sulle evidenze ma tra loro contradditorie.

Questo bias cognitivo può nascere dal fatto che nelle ricerche non viene quasi mai spiegato chiaramente il tipo di popolazione studiata, le sue caratteristiche, non solo demografiche o antropologiche ma anche cliniche, o le motivazioni alla cura sulle quali vengono poi esercitate le iniziative mediche. Raramente le ricerche sono targettate, dettagliate, tailorate sulla popolazione specifica studiata; spesso invece vengono poi presentate valide per tutta la popolazione generale, creando così il bias cognitivo.

Un esempio pratico: un servizio opera una selezione all'accesso per identificare chi assistere; conduce su quegli assistiti la ricerca, poi diffonde i dati ottenuti da quel campione come dati validi per la popolazione generale.

L'idea della medicina basata sull'evidenza è stata, nel corso di questi anni, in maniera crescente e tumultuosa, contaminata al punto che è lecito chiedersi se sia ancora possibile fidarsi di un'offerta così abbondante fatta da fonti spesso assai poco attendibili.

Infatti, spiega De Fiore, numerose ricerche si sono rivelate piene di errori o false, cioè basate su bias di ricerca con dati di bassa qualità, o manipolati, che portano evidentemente a conclusioni non basate sulle evidenze ma che servono a dare credibilità all'autore e, eventualmente, al finanziatore della ricerca.

Spesso un articolo ha più autori, un comitato di redazione, e non è detto che siano effettivamente coloro che hanno concretamente redatto gli articoli. Si formano dei comitati di redazione composti da un numero elevato di autori, alcuni dei quali possono trovarsi lì solo per sfruttare la pubblicazione o per fare aumentare la credibilità del contenuto o per altre ragioni. De Fiore offre al lettore una dettagliata bibliografia a conferma di questi metodi.

La questione del publish or perish (pubblica o sparisci) è drammatica.

Per fare carriera devi pubblicare! Nell'epoca che vorrebbe essere della qualità, e quindi della precisione e dell'esattezza, in realtà la massificazione della scienza la riduce al più basso livello possibile, più veloce, più economico, più garantito: quel che conta non è la qualità dell'innovazione e l'importanza ma il numero di ricerche. Più pubblichi più fai punteggio, publish or perish appunto.

Il numero delle pubblicazioni o delle loro citazioni finisce col determinare il valore dell'autore: un altro parametro della massificazione.

In realtà non esistono scorciatoie fatte di numeri per valutare la qualità della ricerca: un autore che facesse una ricerca fondamentale ma non producesse più di uno o due articoli di resoconto godrebbe di pochissima stima.

I furbetti invece fanno ricerche facili e le spezzettano in tante parti in modo da ricavarne più articoli, fanno il cosiddetto sliced salami.

Per poter innalzare il valore personale finisce che le persone tendono a citare se stesse sempre più spesso oppure a citare i colleghi di un circolo nel quale ci si sostiene a vicenda.

In un recente simposio un collega di un certo peso ha citato solo 2 autori, richiamandoli ognuno una decina di volte. Uno era Freud, l'altro lui stesso! Un modello eticamente discutibile, però molto diffuso perché più si è citati più si diventa credibili, aumenta l'impact factor.

Purtroppo gli studi dimostrano che l'Italia è, assieme alla Colombia, l'Egitto, l'Indonesia, l'Iran, la Malesia, il Pakistan, la Romania, la Russia, l'Arabia Saudita e la Thailandia, una nazione dove il fenomeno delle auto-citazioni è più elevato.

Si potrebbe dire che i ricercatori italiani sono più narcisisti di quelli degli altri Paesi Occidentali, oppure che hanno trovato una scorciatoia eticamente discutibile per aumentare il loro valore apparente.

La scienza è il luogo nel quale si possono trovare le risposte almeno a qualcuna delle tante incertezze che caratterizzano la vita in generale e la condizione clinica in particolare, ma in un bosco siffatto, con tanti bias cognitivi e così diffuse pratiche scorrette, si può veramente aver fiducia di ottenere le risposte che si desiderano? 

La produzione scientifica è il principale indicatore di performance accademica e la pressione a pubblicare è elevatissima soprattutto per chi vuole fare carriera.

Uno studio condotto da un gruppo del British Medical Journal guidato da Candal-Pedreira, C. Ross JS, Ruano-Ravina relativo al periodo 2004-2022, pubblicato dal BMJ nel giugno 2022 (Retracted papers originating from paper mill: cross-sectional study, BMJ 2022; 379:e071517), ha repertoriato 58.278.163 articoli.

Di essi, 33741 sono stati successivamente ritirati dopo l'avvenuta pubblicazione per le motivazioni più diverse: vizi sostanziali, frode, plagio o dati di poco valore o manipolati, in pratica disonesti. Nel 2019 vi è stato il picco di questa malpractice: 10,6 articoli ogni 100mila sono stati ritirati (Candal Pedreira, BMJ 2022).

Tra i molteplici aspetti disorientanti vi è il dato di fatto che la ricerca scientifica trascura totalmente i medici di medicina generale e i pediatri di libera scelta che invece sarebbero coloro i quali confrontano il maggior numero di casi della quotidianità. Impegnati nella quotidianità clinica non partecipano praticamente mai come autori di ricerca.

Perché vengono trascurati? Una risposta potrebbe essere: perché la ricerca parte dagli interessi dei ricercatori e non dalle esigenze dei clinici. I clinici di frontiera sono considerati come i portatori di acqua nel ciclismo, compilano al più schede predisposte dai ricercatori.

Questo è un grandissimo problema che segnala come tra il mondo della ricerca e il mondo della pratica vi sia un gap difficilmente superabile.

La ricerca vale per se stessa, serve per fare ricerche e pubblicare le ricerche: chi fa la pratica clinica vede i casi nella maniera tradizionale, ha la pratica come vettore principale.

Sono molto ingaggiato dalla sfida di fare diventare i clinici di base attori attivi nella ricerca anche per motivi personali che voglio condividere. Poco dopo la partenza dei primi servizi del territorio si fece una ricerca sull'inserimento di bambini "handicappati" (si diceva così) come Regione Emilia Romagna, era il '73. Da allora ho sempre pensato che la ricerca dovesse servire alla clinica e quindi dovesse nascere da una domanda clinica.

La scienza è un motore, il motore principale, dello sviluppo sociale, è un metodo per esplorare lo sconosciuto, allargare il raggio della conoscenza e vedere aumentare i punti di contatto col mistero. Grazie alla ricerca scientifica si sono ottenuti risultati straordinari che hanno migliorato le condizioni di vita delle persone e delle comunità.

Nel 1992 avvenne una straordinaria rivoluzione nel campo delle scienze con l'istituzione di PubMed Medline, una banca dati che raccoglie tutto il materiale scientifico peer review. L'intenzione era di disboscare la scena scientifica, di catalogare solo le ricerche che potessero avere una elevata evidenza scientifica tale da poter ispirare i comportamenti clinici in tutto il mondo. Nel tempo è avvenuto un effetto valanga che lascia attoniti gli stessi scienziati e che pone inevitabilmente esigenze di bonifica e regolamentazione. Si è arrivati ad una situazione per cui oggi vi sono repertoriati circa 9 milioni di articoli scientifici che, pur se suddivisi per le diverse discipline, fanno sì che nel campo della salute mentale si debbano conoscere circa un milione di articoli se si volesse essere davvero update! Il che è palesemente una distorsione.

Un fenomeno simile è avvenuto anche nelle altre grandi banche-dati, minori di PubMed, ma pure di grande valore e significato come Psycinfo o Cinhal; in esse pure si è nella fattispecie di repertoriare milioni di articoli scientifici.

La banca scientifica di APA, che è la principale società scientifica in materia di salute mentale, repertoria in PsycNet oltre 5.400.000 articoli scientifici, tutti nell'ambito della psicologia, psichiatria, salute mentale.

La ricerca scientifica è il principale strumento per la prevenzione delle malattie, per l'avanzamento della qualità e dell'efficacia delle cure e, allargando il campo, della civiltà. Vi lavorano alcune fra le migliori menti umane. Dobbiamo sostenere l'espansione delle attività di ricerca, con i nostri governi, e con gli istituti di ricerca.

Le regole del mercato fatte di appeal, commercializzazione, guadagno, speculazione non le giovano.

Chi ama la scienza vorrebbe che fosse sempre seria, impegnata, austera e gioiosa, motivata dal desiderio di ampliare il suo raggio d'azione.

Non c'è più acerrimo nemico di chi produce vino sofisticato del produttore di vino di qualità; costui sente il bisogno di pulire il campo per mantenere non solo alta la credibilità ma per difendere l'integrità professionale.

Lungi dall'essere contro la scienza o contro i suoi "peccati", Sul pubblicare in medicina è un inno al valore della scienza e alla necessità di crescita: è un libro che dovrebbe essere messo a disposizione nelle bibliografie dei corsi di laurea in medicina e nelle altre professioni sanitarie e che dovrebbe essere conosciuto e dibattuto in tutti i contesti che si occupano di pianificazione della salute; è utile anche alla popolazione generale, perché la qualità della scienza è strumento per migliorare la qualità della vita e per diffondere la democrazia.