Incontro/dibattito
Ricerca scientifica: come valutare e come reclutare?
Sala conferenze - Area di ricerca CNR
Polo scientifico, Sesto Fiorentino (Firenze)
15 ottobre 2009, ore 15-18
Interventi previsti
Enrico Alleva (Dipartimento di Biologia cellulare e Neuroscienze, Istituto Superiore di Sanità, Roma) [sua scaletta]
Moderatore
Paolo Politi (Istituto dei Sistemi Complessi, CNR)
Per maggiori informazioni:
Paolo Politi, tel. 055 522 6686 Paolo.Politi@isc.cnr.it
Struttura del dibattito
All'inizio del dibattito ogni ospite avrà a disposizione quindici minuti, dopodiché verrà dato spazio alla discussione collettiva e ad ulteriori interventi degli ospiti, i quali mi hanno fatto avere le seguenti scalette per i loro interventi.
Enrico Alleva (Dipartimento di Biologia cellulare e Neuroscienze, Istituto Superiore di Sanità, Roma)
Valutazione nella ricerca biomedica
I criteri e i sistemi di valutazione nel settore biomedico mostrano alcune peculiarità. Innanzitutto la separazione tra ricerca di base, a carattere conoscitivo di processi, e meccanismi fisiologici o fisiopatologici andrebbe contemperata con ricerche di tipo prettamente clinico. La storia e la sociologia del progresso scientifico hanno infatti dimostrato che gli avanzamenti clinici più rilevanti non raramente sono proprio venuti a partire da un sostrato di conoscenze di base che magari anche casualmente hanno permesso l'innovazione terapeutica.
Forse più rilevante in questi ultimi anni è poi il problema dei "bisogni sociali" legati alle patologie: ovviamente, i portatori di interesse delle principali patologie del Nord del mondo (Alzheimer, AIDS, depressione, malattie cardiovascolari, tumori, ecc.) non possono non influenzare la distribuzione dei fondi e, anche indirettamente, i criteri di valutazione.
Nei diversi sistemi nazionali si è creato perciò un equilibrio tra bisogni sociali legati a patologie importanti e indirizzo invece orientato dalla comunità dei ricercatori, per esempio maggiormente influente nel sistema statunitense.
Si toccherà il problema dei farmaci orfani e delle malattie rare e della biomedicina translazionale di tipo I e di tipo II.
Paolo Rossi (Dipartimento di Fisica, Università di Pisa e membro del CUN)
Indicatori quantitativi della ricerca: il caso della fisica
Gli indicatori bibliometrici quantitativi dell'attivita' di ricerca sono un utile
strumento ausiliario per la valutazione, che se opportunamente tarato
puo' essere applicato efficacemente alla valutazione collettiva di strutture e istituzioni,
mentre richiede maggiore cautela nella valutazione individuale.
L'esempio dell'indice H e' discusso in dettaglio, con particolare riferimento alla
comunita' dei fisici italiani (circa 3000 individui)
Paola Verrucchi (Istituto Nazionale per la Fisica della Materia, CNR, Firenze)
-Introduzione (definire lo scopo della valutazione)
-Valutazione come strumento di selezione nelle procedure di reclutamento
-Metodi di valutazione: criteri freddi,caldi e tiepidi
-I "valutatori": la commissione
-Valutare il processo di valutazione: trasparenza, controllo, responsabilita'
-Esempi tratti da tornate concorsuali uni ed epr
Maggiori dettagli sono ricavabili dal documento del tavolo di lavoro nazionale:
http://groups.google.com/group/presidio-cnr-firenze/web/il%20tavolo%20nazionale?hl=it
Jacques Villain (Accademia delle Scienze di Francia, Grenoble)
La valutazione della ricerca è necessaria per correggere ciò che non va bene nella ricerca. Ma non è un lavoro facile. Un allievo in una scuola viene valutato da un professore che sa tutto meglio di lui. Al contrario, un ricercatore conosce la sua specialità meglio di molti fra quelli che debbono valutarlo.
Una soluzione a questo problema è di usare criteri quantitativi: numero di articoli pubblicati in riviste di buona fama, numero di citazioni. Questi criteri hanno qualche valore, ma un valore limitato. Un ricercatore può pubblicare molti articoli molto simili e poco interessanti. Un articolo può essere pubblicato in una rivista che pubblica molti buoni articoli, e non essere buono. Qualche scienziato può essere citato molto più di qualche altro che è molto più inventivo.
I criteri numerici hanno però tre grandi vantaggi : 1) sono obiettivi. 2) costano poco tempo. 3) costano pochi soldi. Possono essere usati come mezzi di valutazione di routine. Sono indicatori qualitativi e approssimativi che debbono essere presi in conto, soprattutto se calano ad un livello troppo basso. Se un ricercatore non pubblica niente, se da un laboratorio non esce nessuna tesi, bisogna preoccuparsene. Al contrario, se un ricercatore viene molto citato, c’è una buona probabilità che la sua ricerca sia eccelente. Ma per esserne sicuro, bisogna leggere e capire gli articoli, non basta contarli. Ovviamente, leggere e capire richiede tempo e gente competente.
Per questa ragione, la valutazione seria di un ricercatore deve essere eccezionale: riservata all’assunzione, o alla trasformazione di un impiego a tempo determinato un un impiego a tempo indeterminato. Forse anche alla promozione, ma forse la migliore regola è di escludere ogni promozione importante senza cambio di laboratorio, senza trasloco.
Quale deve essere questa valutazione seria? Deve essere obiettiva e fatta da gente competente. Per esempio, l’assunzione a tempo indeterminato in un laboratorio deve essere il compito di una commissione contenente esperti esterni al laboratorio, anche stranieri.
Un altro tipo di valutazione è quella di un laboratorio. Molti laboratori hanno un consiglio scientifico. Una parte del suo compito è di dare un’opinione sul laboratorio, appoggiando o non appoggiando le richieste di posti o di soldi. Ma un’altra parte è di dare consigli per le ricerche future. Un consiglio scientifico è una finestra aperta sull’esterno.
Per dare un aspetto più concreto al mio intervento, vorrei evocare la mia propria esperienza in tre diversi paesi.
1) Una decina di anni fa sono stato membro del consiglio scientifico dell’INFM. Il nostro compito principale era di scegliere ogni anno un certo numero x di progetti di ricerca. Ogni progetto era presentato da un laboratorio o da un gruppo di laboratori per un certo numero y di anni. Il bilancio era dell’ordine di z. Cercherò i valori di x (circa 6?), y (=6?), z. Il comitato era internazionale. C’era una discussione con il “capo” del progetto. Ho un buonissimo ricordo di queste riunioni. Ritengo però due problemi: 1) L’elaborazione dei progetti era probabilmente un lavoro considerabile per i scienziati italiani. 2) Il prezzo delle nostre riunioni era un peso per la ricerca italiana.
2) Due decine di anni fa, ho finito un soggiorno di 4 anni in Germania, a Jülich. Ho apprezzato il modo di assumere i ricercatori. Per esempio, i direttori di gruppi erano scelti fra candidati tutti esterni. La scelta era fatta de una commissione contenente membri interni ed esteni, usando rapporti scritti da esperti esterni, spesso stranieri.
3) Alla stessa epoca, sono stato membro del comitato nazionale del CNRS francese. Contiene 50% di membri eletti e 50% di membri scelti dal ministro. Io apparteveno alla seconda categoria. La presenza di membri eletti (generalmente rappresentanti di sindicati) è molto criticata. Criticabile è davvero la proporzione 50/50, ma la presenza di membri eletti è secondo me molto utile, perché garantiscono un contatto fra i ricercatori e i valutatori.La tendenza attuale è di limitare il ruolo del comitato nazionale e di sostituirlo con comitati più burocratici che escludono questo contatto. Non sono convinto che sia buono.