Valutazione del merito della ricerca

Categoria principale: Libere riflessioni
Categoria: Libere riflessioni
Pubblicato Mercoledì, 31 Marzo 2021 13:52
Scritto da Alberto Dolara
Visite: 3104

Michele Serveto«Nati non foste a viver come bruti, ma per seguir virtute e canoscenza»: così sintetizzava l’attività umana il grande poeta, Dante Alighieri.

Il cammino della conoscenza non è tuttavia sempre facile: in passato le incomprensioni per la ricerca hanno avuto talora esiti tragici, basta pensare all’abiura di Galileo di fronte alla tortura o a Michele Serveto, studioso della circolazione polmonare, finito sul rogo.

Errori di segno opposto si sono verificati più recentemente, nel secolo scorso: la ipervalutazione dei risultati di alcune pubblicazioni sulla terapia chirurgica di malattie psichiatriche, correlata all’attribuzione del premio Nobel, ha avuto esiti devastanti per migliaia di pazienti lobotomizzati.

Il problema attuale è rappresentato dall’elevato e crescente numero dei ricercatori e relative pubblicazioni: circa un milione all’anno quelle recensite da Medline nel 2010 per le scienze mediche, 2.5 milioni nel 2018 di cui il 36% per le scienze mediche e biologiche. Di qui la difficoltà di valutarne il merito e la variabilità dei metodi usati per accertarlo.

Le citazioni, dal latino citare, muovere fortemente, chiamare, invitare, far venire, e dal latino tardo citatio-onis, a prescindere dalla meno frequente declinazione giuridica o militare, hanno rappresentato, almeno fino ai tempi recenti, la base per la valutazione della qualità della ricerca. Sono allo stesso modo ritenute indispensabili per il ricercatore e lo studioso per giustificare, avvalorare, confrontare o mettere in discussione i propri studi o ricerche.

L’Institute for Scientific Information, fondato negli Stati uniti nel 1964, ha pubblicato negli anni successivi i volumi delle Science Citation Index che riportavano il numero di citazioni delle pubblicazioni dei ricercatori di tutto il mondo nella scienza e tecnologia. Nel 1983 alla National Library di Bethesda ho avuto l’opportunità di consultarli non essendo allora reperibili in Italia; la consultazione, molto faticosa, è oggi sostituita dall’elettronica. Nelle conclusioni di un articolo pubblicato sul Giornale Italiano di Cardiologia “Citation Index” affermavo con decisione «Quando si deve valutare il curriculum di un ricercatore o di un gruppo di ricerca la frequenza delle citazioni costituisce una garanzia di gran lunga maggiore del numero assoluto di pubblicazioni scientifiche».1

 

In quel periodo l’affermazione aveva un qualche fondamento, il merito di uno studioso o ricercatore era allora valutato dal numero assoluto delle pubblicazioni e non dal quello delle citazioni ricevute. Alla fine degli anni 70 tuttavia anche l’importanza del numero delle citazioni è stato messo ombra da altri metodi quali ad esempio la scientimetria . Questa disciplina ritiene di maggiore importanza metodi più complessi di una semplice quantificazione delle citazioni come l’’Impact Factor e l’indice h.

Il primo considera soprattutto la qualità della rivista dove l’articolo viene pubblicato. Sottoposto a numerose critiche viene spesso sostituito dall’indice h elaborato da Hirsh, un ricercatore del Dipartimento di Fisica dell’Università di California, da qui il nome dell’indice. Il calcolo è complesso, essenzialmente basato sul numero di citazioni ed il numero di pubblicazioni, ma sono analizzati tutti i lavori pubblicati da un dato autore, numerati in ordine alle citazioni in ordine decrescente.

L’analisi della funzione, numero delle citazioni verso il numero delle pubblicazioni, è visualizzato come un diagramma cartesiano (l’asse delle y riporta il numero delle citazioni e quello delle x il numero delle pubblicazioni) ed è una curva concava; l’intersezione della linea al 45° grado con questa curva esprime il valore di h.

L’Autore di questo indice, molto onestamente, avverte che la sua ricerca è concentrata sulle pubblicazioni nel settore della fisica, ma suggerisce che potrebbe essere utile anche in altre discipline scientifiche, quali ad esempio le scienze mediche.

 Questa conclusione è messa in discussione da studiosi olandesi, i quali dopo aver definito un periodo delle pubblicazioni dei cardiologi del loro Paese dal 2000 al 2009 sul Web of Science di Thomson Reuter, hanno esaminato l’indice h per argomenti e selezionato la “Sindrome di Brugada” e la “Sindrome di Marfan” che dovrebbero rappresentare argomenti appropriati per i ricercatori in cardiologia.2

Ne è risultato un indice h di 59 per la prima ed un indice 29 per la seconda. Hanno concluso che se vi è una disparità cosi grande in un settore piuttosto omogeneo della ricerca è difficile pensare di poter applicare questo indice nella valutazione di ricerche in settori molto diversi tra loro, come la fisica e la biologia. Secondo gli Autori «i manager della ricerca e le forze politiche dovrebbero   fare attenzione ad interpretare e prendere decisioni sulla base dei risultati ottenuti con questi indici».

D’altra parte i media mostrano chiaramente cosa accade quando si devono attribuire avanzamenti di carriera o incarichi apicali e non solo nel settore sanitario.

L’irruzione delle moderne tecnologie ha ampliato a dismisura i metodi di valutazione del merito della ricerca scientifica.

Internet permette di organizzare e rendere possibile la condivisione ed il facile accesso all’informazione, valutare e commentare una ricerca già pubblicata sulla piattaforma web. L’altimetria, nata nel 2010, prende in considerazione oltre al numero usuale di citazioni ricevute da una pubblicazione, altre forme d’impatto come le referenze contenute nella conoscenza di base, i riscontri su Internet, le riviste Open Access e le loro citazioni sui media sociali ed altri canali come i blogs di alto profilo o siti web come Wikipedia.

Nel 2012 la San Francisco Declaration on Research Assessment (DORA), alla quale hanno aderito numerose ed importanti organizzazioni sanitarie degli Stati Uniti,  richiama le istituzioni, chi pubblica le ricerche ed i finanziatori «a cessare di usare misurazioni basate sulle riviste come l’Impact Factor come criteri per valutare i contributi del ricercatore e prendere su queste basi decisioni quali le assunzioni, i mantenimenti in ruolo, le promozioni e la destinazioni dei fondi, ma piuttosto a considerare un ampio range di misure per valutare l’impatto e focalizzare il contributo scientifico delle pubblicazioni individuali.»

  Se l’uso dei metodi soprariportati quali l’Impact Factor e/o l’indice di Hirsh, possono ancora essere utili per assunzioni o promozioni all’interno del mondo accademico, è quasi sempre l’osservazione successiva, il follow-up per usare un anglicismo, che potrà stabilire se una pubblicazione, riferibile ad un determinato periodo storico, contenga qualcosa di nuovo o di utile oppure corrisponda solo alla nota imposizione «public or perish», pubblica o perisci. Ne consegue che l’impatto sociale e clinico può divergere da quello editoriale.

In conclusione la ricerca ha portato a grandi progressi, ma la valutazione del merito delle pubblicazioni deve essere ancora considerata “work in progress”.

Di fronte alla enorme quantità dei dati oggi disponibili la raccomandazione principale è quella di esaminare i risultati senza fretta in particolare quando devono essere applicati nella pratica.

Dare tempo alla scienza è una raccomandazione di alcuni anni fa, ma assume un particolare rilievo nei tempi dell’attuale pandemia.3

La difficoltà della valutazione del merito delle ricerche ha anche un riflesso indiretto sul disorientamento dell’opinione pubblica di fronte ai diversi pareri degli esperti chiamati alla ribalta dei mass media. Un atteggiamento critico costruttivo è sempre auspicabile.

 

 

 

 

Note

 

1. Dolara A. Citation Index. G Ital Cardiol, 1983; 13:200-1

2.  Opthof T, Wilde AAM. Bibliometric data in clinical cardiology revisited. The case of 37 Dutch professors. Neth Heart J 2011:19:246-55

3. Fast Science vs. Slow Science, Or Slow and Steady Wins the Race. THE SCfENTIST @ 4(18): 14, 17 September 1990.