Un processo imperfetto che dovrebbe far confrontare i pari e non sparigliare

La pubblicazione del libro “Sul pubblicare in medicina” di Luca De Fiore ha suscitato interesse all’interno della comunità scientifica. Tra i temi affrontati nel libro quello che più stimola la riflessione, già dalla sua creazione, è quello sulla peer review. Strumento limitato, non duttile, ma tuttora utile (forse). Da aggiornare, ma come? Rendendolo più democratico? Trasparente, partecipato, remunerato...? Ma a chi serve? E per che cosa?

Domande ricorrenti che si trascinano da tempo e che trovano (o possono trovare) risposte diverse a seconda dell’interlocutore.

Abbiamo quindi invitato ad una riflessione sulla revisione tra pari tre editor italiani di riviste internazionali, tre direttori scientifici di IRCCS e tre ricercatori senior. Abbiamo scelto aree e competenze diverse chiedendo loro di formulare anche proposte di possibile miglioramento. Quattro hanno aderito al “gioco”. Red.




La IA review in soccorso alla peer review

Contrariamente al detto publish or perish, penso sia ancora prevalente in salute pubblica l’etica della pubblicazione, quella secondo cui l’obiettivo della ricerca sia nutrire la comunità scientifica e migliorare la salute delle persone e delle popolazioni, prima ancora del nostro ego professionale. Ogni articolo può contribuire alla co-costruzione della salute globale. Secondo questa logica, pubblicare dovrebbe essere un processo rigoroso, virtuoso, rapido, gratuito, accessibile e soprattutto utile.

Produrre letteratura scientifica, pubblicare articoli originali, è in generale legato ad attività di ricerca corrente o a progetti finanziati da un ente. Per le pubblicazioni legate a progetti, una prima difficoltà è gestire i tempi della peer review e della risposta dell’editor che negli ultimi anni sono significativamente dilatati per cui spesso si arriva a pubblicare – e a fatturare – a progetto concluso, nell’impossibilità quindi di utilizzare i fondi dedicati. A titolo di esempio, gli ultimi articoli inviati dal mio gruppo di lavoro nel 2024 nell’ambito delle attività dottorali hanno richiesto mediamente 8 mesi per ricevere i commenti dei revisori alla prima tornata, e ne richiedono altri 4 per arrivare alla pubblicazione. Considerato che i risultati si hanno nella seconda metà del tempo di svolgimento dei progetti, questi tempi delle riviste non sono compatibili con la troppo rigida gestione amministrativa dei fondi dedicati. Ci si trova quindi a dover decidere se pubblicare comunque, in fretta, risultati non consolidati, ricorrere a riviste meno ambite e per questo con tempi più rapidi o, addirittura, a riviste predatorie, che in tre mesi e a costi ridotti garantiscono la pubblicazione indicizzata e impattata. Tutto questo può essere sufficiente per documentare un dottorato di ricerca, e poco male se tra qualche anno la rivista sparirà dalla circolazione. Senza voler generalizzare, si tratta di un fenomeno a cui guardare con attenzione, sia per le ricadute sulla qualità della produzione scientifica, sia per il senso complessivo che la pubblicazione rischia di assumere per le giovani ricercatrici e ricercatori.

Pubblicare secondo il sistema di peer review diventa sempre più complesso non solo per i tempi, ma anche per i costi. È stato facile verificare che i fondi messi a budget tre anni fa oggi risultino ampiamente insufficienti, con un aumento che va dal 30 al 40% su due importanti gruppi editoriali internazionali. Una strategia potrebbe essere la pubblicazione su riviste gestite da società scientifiche, che però sono soggette a potenziali conflitti d’interesse con l’industria, diretti o indiretti, basti pensare al settore farmaceutico o agroalimentare. Pur non contribuendo direttamente alla rivista, l’industria spesso finanzia copiosamente congressi, faculty, formazione e comunicazione, senza che il potenziale conflitto d’interesse sia reso evidente. Un’altra opzione sono le riviste di cui dispongono molti enti di ricerca, anche ben strutturate e con rigorosi processi di peer review, ma si tende a preferire la pubblicazione internazionale anche per non rischiare l’autoreferenzialità.

I tempi, i costi e la qualità della rivista sono quindi tra le difficoltà che le nuove generazioni si trovano ad affrontare fin dalle prime pubblicazioni, una prospettiva non rosea pensando a una futura abilitazione scientifica nazionale o a consolidare il curriculum in vista di una carriera in ambito universitario o in un ente nazionale di ricerca.

L’intelligenza artificiale (IA) può aiutare la produzione scientifica e, nello specifico, la peer review? Sicuramente sì. Una delle prime cose che ho fatto appena entrati in commercio è stato acquistare un abbonamento a un noto prodotto IA. Durante una lezione all’università ho chiesto alle/agli studenti se ne facessero uso. Silenzio totale. Come Voldemort, l’IA sembra essere quella che non può essere nominata, anche se tutti la usano. Una volta spiegato che io la utilizzavo, e che trovavo che con un uso umano intelligente se ne potesse trarre grande vantaggio, ho scoperto l’uso che questa generazione di studenti di medicina e delle professioni sanitarie fa dell’IA, che è estremamente creativo. Abbiamo convenuto che, nella nostra comune esperienza, fare scrivere articoli (o tesi) dall’IA non sia una grande idea, ma chiedere all’IA di individuare i punti di forza, di debolezza e le aree di miglioramento di un testo già impostato funzioni molto bene. Una IA review quindi non può, allo stato attuale di sviluppo, sostituire la revisione fatta da una ricercatrice o un ricercatore. Allo stesso modo, fare un’analisi di dati con l’IA non può (ancora) sostituire la paziente stesura di routine sui programmi statistici, o la costruzione delle categorie deduttive e induttive di un’analisi qualitativa. Tuttavia può essere stimolante confrontare i due prodotti: è come avere una collega che fa una revisione del tuo lavoro e te lo restituisce con i suggerimenti migliorativi e che non si offende se non li accetti.

Saper fare una peer review è una delle competenze che le nuove generazioni sviluppano sul campo, molto meno in aula, insieme alla persona che si occupa della loro supervisione. Inizialmente la si fa in gruppo, confrontandosi sulle eventuali divergenze, fino a quando in autonomia si accettano le richieste dalle riviste. La letteratura riportata nel libro di Luca De Fiore descrive un aumento di commenti irrispettosi, superficiali o inappropriati da parte delle/dei reviewer, soprattutto nei sistemi in singolo cieco. Per la formazione delle giovani ricercatrici e ricercatori, una componente importante dell’attività di revisione è proprio la costruzione del commento. Il commento per le autrici/gli autori deve avere due parti: la prima che riporta cosa non convince dell’articolo e perché; la seconda dettaglia la richiesta migliorativa e offre suggerimenti (p. es. fonti, ulteriori modelli di analisi). Un altro elemento importante sono i feedback positivi che hanno un focus su qualcosa di particolarmente interessante o rilevante dell’articolo. Questo secondo aspetto ha il vantaggio di riconoscere e valorizzare il lavoro fatto da autrici/autori e motivare il miglioramento del testo.

Fare la peer review – e insegnarla – è dispendioso. È paradossale la sproporzione tra il tempo dedicato a fare le peer review e il costo della pubblicazione. In realtà, le revisioni realizzate nel tempo lavorativo del revisore hanno un costo per l’organizzazione di appartenenza. Un costo che alcune riviste riconoscono in parte con uno sconto quando il revisore sottomette un proprio lavoro alla rivista per cui è stato revisore.

Quali sono le soluzioni possibili, nel panorama attuale di tempi, costi, metodi, e in assenza sostanziale di quel “capitalismo etico” in campo editoriale, citato da Luca De Fiore?

Personalmente, la grande quantità di articoli generata nella logica della least publisheable unit non la considero un problema, anzi, e può essere ovviata da sistemi sempre più precisi di raccolta sistematica delle evidenze, dalle revisioni sistematiche, alle metanalisi alle umbrella review, per citarne alcuni. Un sistema di peer review ben concepito contribuisce alla crescita complessiva della comunità scientifica. Si dovrebbero pensare sistemi di fast track, di gestione rapida del processo di sottomissione, peer review ed eventuale pubblicazione, basati su accordi tra gruppi di ricerca, grandi progetti internazionali e riviste, che garantiscano al contempo il rigore e la qualità del processo. L’uso dell’IA potrebbe accelerare la prima parte del processo, quella in cui l’editor decide se l’articolo sia d’interesse o meno per la rivista. Possiamo immaginare l’articolo rivisto dall’IA, che rileva incoerenze, gap statistici, risultati non chiari o contrastanti e altro ancora, secondo una serie di regole e criteri standard per i quali l’IA è programmata e che possono essere migliorati all’occorrenza, sfruttando la sua capacità adattiva. Peraltro, alcuni strumenti di IA dispongono già di sistemi molto sofisticati, adatti per il linguaggio scientifico specialistico. Questo primo filtro, utilizzato in maniera trasparente, consente all’editor e all’autrice/autore di ridurre i tempi della prima fase della submission. Inoltre, l’IA potrebbe essere meno soggetta a bias personali rispetto a un revisore umano, soprattutto nei sistemi in singolo cieco. Sarebbe quindi ipotizzabile un ruolo nuovo per le/i revisori, che dovrebbero essere stipendiati e potrebbero concentrarsi su aspetti più complessi degli articoli, come l’originalità e l’impatto scientifico. Un’altra ipotesi, descritta anche da Luca De Fiore, è la pubblicazione dell’articolo con una peer review aperta post pubblicazione, entro un periodo predefinito. In questa maniera si risparmierebbe tempo, l’articolo potrebbe essere pubblicato in 1-2 mesi e il meccanismo sarebbe trasparente. Ma sono solo ipotesi basate sull’esperienza pratica di chi contribuisce alla produzione scientifica.

Durante una recente conferenza europea l’editor di una importante rivista durante la presentazione del nostro lavoro ci ha proposto di inviare i risultati presentati per la pubblicazione alla sua rivista. Quando gli ho fatto notare che per pubblicare sulla sua rivista i costi sono aumentati raggiungendo gli attuali 5.000 euro, con tempi medi di 10 mesi tra primo invio e pubblicazione, e che sono reviewer a titolo gratuito della rivista, la sua risposta è stata “Yes”. A conferma che forse le soluzioni devono arrivare dal mondo scientifico, non dall’editoria.

Angela Giusti

Istituto Superiore di Sanità

Centro Nazionale per la Prevenzione delle Malattie

e la Promozione della Salute (CNaPPS)

angela.giusti@iss.it

Una valutazione costante collettiva

Ogni ricercatrice/ricercatore, scienziata/scienziato, secondo le sue capacità, prova a contribuire al miglioramento della società di cui fa parte. In una società “ideale”, la collettività dovrebbe supportare e finanziare quella ricerca scientifica in grado di migliorare, per esempio, le condizioni di vita dei cittadini (tutti) o in grado di apportare nuovi fondamenti scientifici. Nel fare ciò, la collettività ha bisogno di strumenti che possano valutare e giudicare il lavoro delle ricercatrici/ricercatori, per poter in qualche modo capire chi ha le capacità e l’esperienza per tentare di portare a termine progetti in grado di soddisfare le necessità collettive. Tra gli strumenti più utilizzati negli ultimi 200 anni per giudicare e valutare i risultati delle ricercatrici/ricercatori vi è la pubblicazione scientifica su riviste che utilizzano la peer review: esperti del campo valutano e giudicano i risultati che verranno poi pubblicati sulle riviste scientifiche “pesandone” la qualità, la novità, il rigore scientifico/metodologico e l’impatto sulla società. Più pubblicazioni avremo, in un bilancio quali-quantitativo, più saremo credibili verso la collettività nel ricevere finanziamenti per portare avanti le nostre linee di ricerca funzionali sempre al bene collettivo. Questo è quello che potrebbe succedere in una società ideale.

Purtroppo, però nel sistema economico in cui viviamo, la maggior parte delle dinamiche menzionate fino ad ora non è sostenibile. I progetti da finanziare, nella maggior parte dei casi, non sono funzionali al benessere della collettività, ma spesso sono funzionali all’arricchimento di pochi. E così, anche il “pesare” e giudicare il lavoro delle ricercatrici/ricercatori rientra in dinamiche dove anche le riviste scientifiche basano spesso la qualità del lavoro non tanto sull’impatto sociale quanto su quello editoriale che porta ad aumentare il profitto degli stessi gruppi editoriali. È chiaro quindi che la peer review (giudizio di 2-5 esperti del campo) non è uno strumento giusto. Quindi, come comportarsi davanti alla peer review? Come si possono evitare ovvi conflitti di interesse e dinamiche non basate sull’impatto sulla società dei risultati scientifici?

Un qualsiasi risultato scientifico, come insieme di diversi esperimenti e risultati tali da poter sostenere un’ipotesi, potrebbe essere mostrato in rete a tutta la comunità scientifica (non solo a 2-5 esperti del campo scelti dal mondo editoriale) che, in maniera dinamica, costante e iterativa, giudica, migliora e arricchisce il risultato scientifico prodotto. Questa “valutazione costante collettiva” autogestita dalla comunità scientifica potrebbe rendere il concetto di peer review più equo e soprattutto renderlo indipendente dal mondo editoriale. Da questi interazione e giudizio costanti, la qualità del lavoro viene così pesata: se il mio lavoro viene commentato, guardato, migliorato, da tanti colleghi, ci sono molte probabilità che il mio lavoro sia di reale impatto sulla società. Forse questo approccio dinamico e globale potrebbe anche evitare le ovvie diseguaglianze tra i Paesi da cui vengono le ricercatrici/ricercatori che inviano i propri risultati ai gruppi editoriali: documentate ormai da anni vi sono costanti diseguaglianze e ingiustizie nel mondo editoriale che limitano il lavoro delle ricercatrici/ricercatori dei Paesi con scarse risorse.

Purtroppo, però, anche questo approccio collettivo potrebbe andare incontro ad un altro limite “classico” della valutazione scientifica: come a scuola la studentessa/studente bravo negli anni viene premiato/a spesso anche per la “fama”, giusta, conquistata, così ricercatrici/ricercatori “famosi” o giovani che provengono da laboratori “famosi”, nella maggior parte dei casi vengono agevolati durante la valutazione editoriale. Ed ecco che il concetto del “mentor”, del “da dove vieni”, “a chi appartieni”, soprattutto per i giovani ricercatori, rimane un limite importante. Forse con il passare del tempo, l’approccio di valutazione costante collettivo menzionato prima potrebbe in qualche modo livellare il concetto del “da dove viene questo lavoro”. In parallelo, approcci blind, dove il lavoro scientifico viene mostrato senza menzionare gli autori dello studio, rimangono a mio avviso poco sinceri e facilmente “rivelabili”.

In conclusione, ci troviamo davanti a una possibilità storica importante per cambiare e ottimizzare radicalmente la peer review, provando a ricordare sempre che nella maggior parte dei casi, i limiti e le ovvie “ingiustizie” dell’attuale sistema peer review rispecchiano le “volontà” e le regole del sistema economico.

Fabrizio Chiodo

Istituto di Chimica Biomolecolare, CNR, Pozzuoli (NA)

f.chiodo@amsterdamumc.nl

Il revisore esperto: un curatore editoriale

Ho recentemente partecipato a un meeting che ha ospitato editor di giornali di ambito cardiovascolare, ad alto impact factor e ampia diffusione. Scopo del meeting era di confrontarsi sulla gestione dei lavori scientifici prima e dopo la loro pubblicazione. Uno dei punti più complessi riguarda i rischi intrinseci nelle scelte dell’ufficio editoriale sull’articolo sottoposto per la pubblicazione. Un aspetto particolarmente delicato è che l’analisi e la valutazione del lavoro sottoposto non debbano in nessun modo snaturare il significato scientifico che l’articolo esprime. Il lavoro di revisione e di editing dovrebbe essere quello di assicurare la pubblicazione di un prodotto in cui le idee degli autori siano assolutamente rispettate. Anche il processo di peer review, argomento proprio di questo capitolo, è stato oggetto di approfondite e talvolta accese discussioni. La revisione fra pari che, come è noto, è forse l’attività che maggiormente impegna un board editoriale, ha costituito, alla fine, l’argomento centrale del dibattito. Si può ancora considerare valido e attuale questo metodo per la valutazione degli articoli proposti per la pubblicazione e quindi alla loro diffusione? Il sistema nasce per rispondere ai principi di equità e trasparenza nella valutazione dei lavori scientifici, fornendo agli autori una “giuria” omogenea nelle competenze, in quanto operanti negli stessi ambiti di ricerca e quindi idonei ad esprimere un giudizio sui dati presentati e sulla loro rilevanza scientifica. I revisori sono scelti tra quei ricercatori che, lavorando nello stesso ambito di ricerca, sono più che mai competenti nel giudicare, appunto, i dati riportati nell’articolo e la loro rilevanza scientifica. Tuttavia la revisione fra pari presenta oggi alcuni punti critici che ne minano l’effettiva validità. Primo fra tutti è sicuramente la reperibilità dei referee. È infatti esperienza comune di come sia oggi difficile ottenere la disponibilità di revisori di un lavoro scientifico. È spesso necessario contattarne moltissimi per ottenere almeno due giudizi validi sull’articolo in esame. Probabilmente ciò dipende da come si è evoluta la ricerca scientifica, con un numero enorme di ambiti super-specialistici e quindi con un esiguo gruppo di persone disponibili, talvolta sepolte sotto un numero enorme di richieste di revisione. Questa difficoltà inficia il concetto di revisione fra pari perché alla fine l’articolo potrebbe essere valutato da revisori che, come idoneità, hanno soprattutto quello di aver accettato l’incarico, ma sono probabilmente poco vicini all’ambito di ricerca in esame, mettendo in crisi il concetto “fra pari”. A questa difficoltà si aggiunge inoltre il ruolo del revisore; sempre più, infatti, la revisione dell’articolo si limita a una mera analisi tecnica dei metodi adottati (epidemiologici, statistici e altri per un articolo di ricerca clinica) non entrando nello specifico significato dell’articolo, sulla sua rilevanza scientifica e sulle sue eventuali e fondamentali ricadute cliniche (per gli articoli pertinenti). Un altro punto debole di tale processo sono le “ricompense” del lavoro svolto dai referee; in altri termini, perché accettare la revisione di un articolo? È certo esperienza comune a chi si occupa di ricerca della quantità di richieste di revisione che si ricevono quotidianamente. Con un tale impegno sicuramente non bastano le attuali motivazioni, ma il revisore dovrebbe essere parte integrante del team del giornale, farne parte fissa e costante, dovrebbe cioè essere una delle figure portanti. Ma a questo punto cosa fanno e dove sono confinati i giovani ricercatori? Fungere da referee può essere formativo e motivo di crescita per un giovane ricercatore? È indubbio che questo processo sia fondamentale nella crescita di un giovane ricercatore e che il confronto con giudizi e critiche di ricercatori più esperti possa essere formativo. Ma ciò riporta di nuovo al ruolo centrale del “revisore esperto”: l’attore principale di un nuovo “processo fra pari”. Le problematiche legate alla valutazione di un articolo scientifico, come per altro, per tutte le valutazioni che attengono alla ricerca, risultano di difficile soluzione.

Miglioramenti nell’approccio alla valutazione scientifica, che non può essere abolita, sono necessari ma devono fare i conti con un mondo della ricerca che cambia continuamente. Tutto ciò tenendo conto anche di quei “piccoli progetti” che non rientrano nelle grandi catene di ricerca internazionali, che monopolizzano oggi le risorse economiche e, ancora, della collocazione geografica. Oggi l’80% degli articoli sottoposti per la pubblicazione proviene da Paesi orientali (in prevalenza dalla Cina) e, in ultimo, il ruolo dell’Occidente che sembra aver ormai acquisito quello di mero osservatore analitico abbandonando ogni coinvolgimento realmente fattivo.

Ferruccio Galletti

Editor in Chief, Nutrition, Metabolism & Cardiovascular Diseases, Elsevier

Università di Napoli Federico II 

galletti@unina.it

Un processo che necessita di manutenzione

L’attuale sistema di revisione è da migliorare, è lento, soffre di troppi bias. Sfido chiunque a trovare un sistema di cui si possa dichiarare “è perfetto”: non richiede alcuna modifica migliorativa, ogni intervento sarebbe distruttivo. Oppure, applicando un ragionamento coerente e implacabile si può affermare che la peer review non è da migliorare, è da eliminare! Sì, grazie, e poi? È pur vero che gli editori si avvalgono di lavoro gratuito dei revisori per pubblicare i loro giornali da cui si producono utili. Come possiamo correggere questa disfunzione? Se ci limitassimo al lato economico, allora noi revisori dovremmo scioperare chiedendo una paga decorosa. La prima conseguenza sarebbe la scomparsa di molti giornali e questo non so se sia auspicabile in assoluto: la varietà biologica è senz’altro un bene da preservare, su quella editoriale non ci sono credo solide conoscenze, ma forse non è proprio da eliminare. Creare una nuova rivista scientifica diventa fonte di profitto, ecco spiegato l’aumento di nuove riviste negli ultimi anni. Chiunque può constatare che negli ultimi 10 anni, a fronte di una riduzione delle testate non-scientifiche, c’è stato un aumento marcato di quelle (cosiddette) scientifiche. Il tutto si riflette in un aumento spropositato di revisioni da parte di periodici di cui non si era sentito parlare mai.

Sarà anche vero che il sistema di H index, di impact factor genera mostri, ma non si può trascurare l’importanza del sistema di citazione, di cui lo Science citation index era antesignano, creato da Eugene Garfield nel lontano 1964. Scopo originario era di realizzare uno strumento di ricerca di autori e pubblicazioni scientifiche ed è evoluto a strumento per misurare la produttività scientifica e l’impatto dei giornali e degli autori. Tanti sono l’interesse e la complessità della materia che nel 1978 inizia la pubblicazione Scientometrics, organo della Società di Scientometria e infometrica.

In ogni caso, occorre riconoscere che le critiche più feroci al sistema di peer review vengono da ricercatori delusi dall’avere avuto rifiutato un lavoro cui tenevano molto e che ritenevano di grande valore scientifico. A sostegno di questa banalissima constatazione ne esiste un’altra altrettanto banale: è molto improbabile sentire le medesime critiche e toni accusatori da chi ha avuto il suo lavoro appena accettato per la pubblicazione su Nature.

L’esperienza ha dimostrato che in ogni specialità le riviste migliori sono quelle in cui è più difficile far accettare un articolo, e queste sono le riviste che hanno un fattore di impatto più elevato. La maggior parte di queste riviste esisteva da molto prima che si diffondesse la “scientometria”. Ritengo difficile che si trovi un sistema più “equo” di quello attuale in tempi brevi; penso che possa essere migliorato l’attuale sistema. Penso che un cambiamento rilevante sia dichiarare nome e cognome dell’autore della revisione, anziché coprirla con l’anonimato. La sottrazione di idee da parte di revisori scorretti è fenomeno noto; ritardare la pubblicazione di uno studio per permettere di presentarne un altro simile è pure accaduto. Una revisione nominale potrebbe scoraggiare revisori anonimi da commettere eventuali abusi.

Da ultimo, ricordiamoci che le revisioni che forse più contano sono quelle dei progetti di ricerca che competono per finanziamenti, anche rilevanti. Dal successo di un progetto dipendono spesso le carriere/stipendi di alcuni ricercatori, non solo un punto di IF… è forse qui che gli abusi possono provocare danni maggiori.

Roberto Latini

Istituto di Ricerche Farmacologiche Mario Negri-IRCCS, Milano

Potere e coercizione del mercato editoriale scientifico

Secondo Scopus e Web of Science si sta superando la quota di 3 milioni di articoli scientifici pubblicati ogni anno. La pandemia ha incrementato notevolmente le pubblicazioni scientifiche (si sono raggiunte anche le 500 pubblicazioni giornaliere) e sebbene questo sia stato ampiamente considerato come un trionfo collettivo contro una minaccia globale, si sarebbero dovuti considerare anche i danni delle pubblicazioni di dubbio valore conoscitivo e la ricaduta nella pratica di risultati ottenuti con scarso rigore1. MDPI, Elsevier, Frontiers, Springer-Nature e Wiley contribuiscono a oltre il 70% dell’aumento di articoli all’anno. MDPI da sola è responsabile del 27% dell’aumento2. C’è quindi un incremento eccessivo della pubblicazione scientifica (per la qualità del prodotto, l’accessibilità, la possibilità anche temporale di beneficiarne) se si considerano i tempi necessari per implementare le risorse (umane ed economiche) destinate alla ricerca. Una rapida e crescente crescita di articoli e giornali scientifici, sostenuta da un mercato editoriale i cui interessi sono altri (il sistema economico a cui fa riferimento Fabrizio Chiodo). Sarebbe una domanda retorica quella di chiedersi oggi se c’è legame tra medicina, politica e potere3. “Chi lavora in medicina e rende visibile, possibile e attraente la conoscenza, e le tecnologie appropriate, di prevenzione, cura, riabilitazione è dunque semplicemente un cittadino che ha come professione quella di assicurare un diritto fondamentale come quello alla vita”4. Se quindi la produzione di conoscenza, anche attraverso le pubblicazioni scientifiche, contribuisce a garantire i diritti di tutti, il sistema di produzione, la catena di eventi sequenziali che porta alla lettura e divulgazione scientifica necessita di aggiustamenti, come esprimono in concordia gli interventi precedenti, ma anche di completa rifondazione. Andrebbero quindi ripresi quei valori etici, anche per la peer review, specifici per chi scrive, chi rivede, chi pubblica, chi legge5. Pubblicare non dovrebbe essere una priorità per acquisire merito, come dice Roberto Latini, perché i criteri di qualificazione per accedere a concorsi o a posizioni professionali dovrebbero essere altri. Fare la revisione di un articolo necessita essere un curatore editoriale, come dice Ferruccio Galletti, ma non al servizio (men che meno retribuito) dell’editore o del direttore della rivista, ma degli autori e ancor più dei potenziali lettori. La motivazione dello scrivere, e dello scrivere di qualità-utilità, è il risultato di un accompagnamento, della responsabilità del mentore di Fabrizio Chiodo e dell’insegnante di Angela Giusti. Si possono quindi apportare modifiche al processo attuale di publishing, ma la scommessa dovrebbe essere quella dello sviluppo di un nuovo sistema di science publishing. Per il momento si potrebbero rendere visibili agli autori i revisori, e viceversa, elemento essenziale per un confronto tra pari. Ma ben altri sono gli elementi da introdurre per garantire trasparenza ed equità.

Tutti dovrebbero accedere all’informazione scientifica. L’esperienza di PLoS (Public Library of Science) andrebbe generalizzata con i necessari adeguamenti. Il modello di una biblioteca medica come la Biblioteca di Alessandria fortemente voluta e sostenuta dalla dinastia dei Tolomei con l’ambizione di raccogliere qualsiasi libro, su ogni argomento, e quanto più antico possibile, privilegiando gli originali alle copie. Una biblioteca soprattutto per studiosi ed eruditi, ma aperta al pubblico. Una biblioteca mitica le cui gestione e organizzazione sono narrate nel romanzo di Denis Guedj6; oggi una biblioteca biomedica, moderna, digitale, spazio di documentazione e formazione per studenti, operatori, ricercatori, cittadini7.

La riflessione necessita però di ulteriori considerazioni e rimandi storici. Nel settembre del 1979 partecipai al congresso annuale della European society for pediatric research che si svolse a Lovanio. Fu la mia prima presentazione in pubblico del lavoro che allora stavamo facendo. Eravamo impegnati a studiare il potenziale uso della teofillina nella terapia del distress respiratorio, in particolare nel neonato pretermine1. Di lì a qualche anno la teofillina sarebbe diventata un farmaco essenziale nella prevenzione e terapia dell’RDS neonatale e non solo. I lavori del congresso si svolgevano nell’aula magna della Katholieke Universiteit Leuven la più antica Università dei Paesi Bassi e la più antica Università cattolica esistente al mondo. Un ambiente suggestivo dove le presentazioni si alternavano ogni 15 minuti (10 di presentazione e 5 per domande-risposte rapide) con spazio per la discussione generale al termine di ogni sessione. Grande attività quindi da parte del coordinatore per gestire in modo efficace le presentazioni e gli interventi in discussione. Nessuna presentazione in contemporanea. Durante la giornata e al termine dei lavori spazi per incontri di lavoro all’interno dell’Università o in una delle birrerie locali assaggiando una birra trappista o una delle tante e famose birre belghe (la Stella Artois, per esempio, birra bionda da sempre prodotta a Lovanio). Quindi clima serio, ma anche conviviale finalizzato a promuovere lo scambio, le relazioni, la condivisione del lavoro pratico e intellettuale che i partecipanti stavano svolgendo in quel periodo. Clima serio sebbene un po’ formale su cui subito inciampai: era prassi che gli oratori indossassero la cravatta durante la loro presentazione. Un collega italiano si tolse la sua e me la passò mentre mi avvicinavo al microfono per iniziare la presentazione. Al termine mi furono fatte due domande, entrambe con considerazioni positive per il lavoro presentato. La prima era una richiesta di chiarimento metodologico. La seconda invece era critica e molto più difficile a cui rispondere perché rimandava a un lavoro non svolto, che si sarebbe potuto svolgere e che poi facemmo, grazie anche a questo intervento8.

Ecco, un tempo i congressi e i workshop scientifici si svolgevano così. Non erano le feste e sagre paesane, con spettacoli in contemporanea e attrazioni per allodole prima e durante il congresso, come sono oggi dopo la mutazione ad opera del mercato. Tra sessioni plenarie e sessioni parallele, letture magistrali e premiazioni, simposi scientifici e simposi sponsorizzati, introduzioni, controversie e presentazioni poster. Uno dei tanti esempi cronici, la saga annuale di una società scientifica nostrana che si compie nell’arco di tre giorni effettivi, con oltre 300 nomi a programma per gli interventi: l’organizzazione bulimica del congresso è servita. L’importante è esserci e che compaiano coloro che contribuiscono alla sopravvivenza del mandante del congresso. Poco importa il contenuto e la qualità della partecipazione, sono dati per certi, è questa la sede non di uno scambio, ma di un passaggio unidirezionale di quanto un mercato fecondo produce. È la fiera con i suoi banchi espositivi in cui il visitatore si può intrattenere (poco e non a suo piacimento) a seconda degli interessi e delle curiosità.

La similitudine con la produzione editoriale è più che apparente. Bisognerebbe quindi recuperare quell’etica dei vecchi incontri scientifici anche tra le pagine cartacee o elettroniche delle future riviste scientifiche. Che gli editori siano le società scientifiche internazionali, le fondazioni, le associazioni e le accademie. Che un numero di una rivista sia come un vecchio congresso con sessioni affidate a coordinatori (editor) e a discussant (reviewer) pertinenti e preparati. Che una presentazione sia pubblica e riceva commenti e suggerimenti tra pari. Stile serio, anche un po’ formale secondo regole concordate e aggiornate. Che oggi i lavori siano visibili a distanza tramite web (riviste open access).

Beh forse riflettere sulla peer review costringe ad ampliare gli orizzonti.

Maurizio Bonati

maurizio.bonati@ricercaepratica.it

Bibliografia

1. Clark J. How covid-19 bolstered an already perverse publishing system. BMJ 2023; 380: p689.

2. Wilcox M. Scientists are publishing too many papers and that’s bad for science. Science Adviser 16 November 2023.
https://www.science.org/content/article/scienceadviser-scientists-are-publishing-too-many-papers-and-s-bad-science

3. Maccacaro GA. Per una medicina da rinnovare. Scritti 1966-1976. Milano: Feltrinelli 1981.

4. Tognoni G. Il peso del sapere medico nel gioco dei poteri. Il Punto 4 novembre 2024. https://ilpunto.it/scienza-e-politica/gianni-tognoni-sapere-medico-nel-gioco-dei-poteri/

5. Remuzzi G. The ethics of peer review process. Updates Surg 2023; 75: 1391-2.

6. Guedj D. La chioma di Berenice. Milano: Longanesi, 2003.

7. De Fiore R. Biblioteche mediche online: che impatto hanno sull’assistenza? Recenti Prog Med 2023; 114: 256-7.

8. Bonati M, Latini R, Marra G, Assael BM, Parini R. Theophylline metabolism during the first month of life and development. Pediatr Res 1981; 15: 304-8.

Nun lo famo, ma lo dimo. Contro la retorica della peer review

“Even with the best of intentions, how and whether peer review identifies high-quality science is unknown. It is, in short, unscientific”. Basterebbe questa frase per ridimensionare il valore della revisione critica degli articoli scientifici. Ad argomentare in questo modo la propria critica alla peer review era Drummond Rennie, la persona che più di ogni altra si è impegnata negli ultimi quarant’anni per rifondare un sistema che, quando è stato studiato in modo rigoroso, non ha mai dimostrato di ottenere gli obiettivi per i quali è stato costruito. La firma conferma l’evidenza che tanto più approfondita è la conoscenza dei retroscena dello science publishing e tanto maggiore è la diffidenza nei confronti della peer review1.

Che un sistema basato su valutazioni soggettive sia presentato come garante della qualità della comunicazione della ricerca scientifica è abbastanza bizzarro. Allo stesso modo, è ben strano che dopo decenni di discussioni non ci si sia arresi all’evidenza che la revisione tra pari (in qualsiasi modalità sia eseguita) non è in grado di raggiungere il proprio scopo, vale a dire impedire la pubblicazione di articoli inutili, dannosi o fraudolenti: “There are scarcely any bars to eventual publication. There seems to be no study too fragmented, no hypothesis too trivial, no literature citation too biased or too egotistical, no design too warped, no methodology too bungled, no presentation of results too inaccurate, too obscure, and too contradictory, no analysis too self-serving, no argument too circular, no conclusions too trifling or too unjustified, and no grammar and syntax too offensive for a paper to end up in print”. Le parole di Rennie sono ancora più valide oggi: il numero di pubblicazioni scientifiche è aumentato del 47% dal 2016 al 2022 superando i 2,8 milioni di documenti usciti nel corso di un anno. Di fatto, qualsiasi cosa alla fine viene pubblicata, tante riviste mediocri sono comunque incluse nelle banche dati e l’utente medio – medico, infermiere o giornalista – è esposto a informazioni di ogni genere, faticando a distinguere il grano dal loglio.

Facendo un passo indietro, dovremmo ammettere che la discussione sulla peer review – quando avviene – è abbastanza superficiale, perché la stessa locuzione <peer review> significa poco: dietro questa espressione si nascondono tanti diversi modi di mettere in pratica un processo di valutazione, a seconda dei gruppi editoriali, della storia delle riviste, della maggiore o minore disponibilità economica di cui dispongono, del modello di publishing che adottano (open access, basato sugli abbonamenti o trasformativo). È un percorso tanto flessibile quanto sono differenti i modi attraverso i quali i publisher internazionali cercano di perseguire i propri profitti. Insomma, la peer review “is thus like poetry, love, or justice” ha scritto Richard Smith , e come queste parole l’espressione indica tante cose diverse.

Nessuna forma di revisione, comunque, ha qualcosa di scientifico – neanche l’uso delle checklist di valutazione degli studi elimina il rischio di una valutazione soggettiva – ma perdipiù è di fatto impossibile da eseguire nei modi in cui le riviste scientifiche dichiarano di farlo. Per due ragioni.

1. La prima è che non ci sono revisori in numero sufficiente per valutare tutti gli articoli sottoposti a riviste indicizzate. Prendiamo il caso di una rivista del gruppo Springer Nature: Scientific Reports. Nel 2024 ha pubblicato 30.447 articoli e sul proprio sito dichiara di accettare solo il 41% delle proposte. Quindi, riceverebbe 74 mila submission ogni anno che richiederebbero almeno 150 mila revisioni, oltre agli oltre 70 mila referaggi iniziali effettuati da un esponente del board editoriale (composto da oltre diecimila persone). Sono il solo a ritenere improbabile garantire la qualità dei giudizi con un traffico di articoli di questa portata? Scientific Reports permette agli autori di indicare un massimo di tre revisori non graditi ma non di suggerire i nomi di potenziali revisori, pratica questa ormai assai diffusa che comporta chiaramente il rischio di distorsioni nella valutazione e condizionamenti del giudizio,.




2. Il secondo motivo per cui la peer review al livello di accuratezza promesso è di fatto impossibile è che valutare nel merito un articolo di ricerca costa moltissimo. I numeri della peer review sono impressionanti e li troviamo sempre più spesso citati anche al di fuori degli approfondimenti accademici: oltre 130 milioni di ore di lavoro regalate dai referee ad aziende editoriali private. Però, la storia recente ci ha anche insegnato che esaminare metodi e risultati di uno studio importante – in altre parole, di un trial candidato a cambiare la pratica clinica – prendendo per buoni i dati presentati dagli autori o dallo sponsor non serve a gran che. È indispensabile andare a vedere dove solitamente si nasconde il diavolo: i dati grezzi a livello dei pazienti. Per farlo occorrono competenze molto avanzate e spesso settimane o mesi di lavoro. Si tratta di costi che nessuna rivista può sostenere. Che fare, allora? Come nella serie televisiva Boris – quando la produzione aveva messo a disposizione del regista René Ferretti ٨٠ dollari per girare la scena della strage degli innocenti – la soluzione è una sola: “nun lo famo, ma lo dimo” (segui il QR code per vedere la sigla della quarta stagione della serie televisiva).

La mancanza di trasparenza è una caratteristica che contraddistingue da decenni l’editoria scientifica; il processo di peer review è tra gli aspetti più opachi del sistema, basti pensare ai 1,2 miliardi di dollari ricevuti in misura diversa da parte di industrie farmaceutiche dai referee delle quattro riviste più conosciute del mondo: New England Journal of Medicine, Lancet, JAMA e BMJ. Insomma, è vero che i referee non ricevono un compenso per le loro revisioni ma in generale non se la passano male. Di loro non si conoscono i nomi, figuriamoci le relazioni con le imprese. Questo è un altro elemento che contribuisce a compromettere la credibilità dei contenuti e di tutti gli attori coinvolti: ricercatori, direttori e staff editoriale, editori, industrie farmaceutiche, di dispositivi, alimentari. Ma nonostante sia una crisi profonda – non economica, ma di valori – non viene presa sul serio: “By targeting quantity over quality, the net is cast wide to catch as much science as possible”. C’è poco da fare: la quantità (di articoli accettati e pubblicati ma soprattutto di denaro circolante) non va mai d’accordo con la qualità.

Le soluzioni esisterebbero ma sono troppo radicali per vederle applicate. “Peer review has become the Teflon body armour of editors, authors and journalists” hanno scritto di recente Heneghan e Jefferson: “Ah, it’s passed peer review, so the paper must be robust, valid and accurate! However, our experience is that increasingly journals (especially the big business ones) refuse to be accountable for the poor quality research, biased presentations and untruths they publish”. 

Allora non è davvero possibile far qualcosa? Forse no: desacralizziamola ’sta peer review. Tutti, dai publisher agli editor, dagli autori ai giornalisti. Citiamola pure e garantiamo di crederci, ma strizzando l’occhio e col sorriso sulle labbra.

Drummond Rennie è stato editor del New England Journal of Medicine già nel 1977, poi deputy editor del JAMA. Nel 1987 ha organizzato la prima edizione del congresso internazionale sulla peer review, la cui prossima edizione si svolgerà nel 2025. È stato presidente della World association of medical editors e condirettore del Cochrane Centre di San Francisco.

Luca De Fiore

luca.defiore@pensiero.it

bibliografia

1. Rennie D. Let’s make peer review scientific. Nature 2026; 535: 31-3.

2 Jefferson T, Alderson P, Wager E, Davidoff F. Effects of editorial peer review: a systematic review. Jama 2002; 287: 2784-6.

3. Rennie D. Guarding the guardians: a conference on editorial peer review. Jama 1986; 256: 2391-2.

4. Hanson MA, Barreiro PG, Crosetto P, Brockington D. The strain on scientific publishing. Quantitative Science Studies 2024, 8: 1-21.

5. Smith R. Peer review: a flawed process at the heart of science and journals. J R Soc Med 2006; 99: 176-82.

6. Chawla DS. Don’t let researchers recommend who reviews their work. Nature 2019; 22 novembre.

7. Acuna DE, Teplitskiy M, Evans JA, Kording K. Author-suggested reviewers rate manuscripts much more favorably: A cross-sectional analysis of the neuroscience section of PLOS ONE. Plos One 2022; 17: e0273994.

8. Aczel B, Szaszi B, Holcombe AO. A billion-dollar donation: estimating the cost of researchers’ time spent on peer review. Res Integr Peer Rev 2021; 6: 1-8.

9. Michalek AM, Hutson AD, Wicher CP, Trump DL. The costs and underappreciated consequences of research misconduct: a case study. PLoS Med 2010; 7: e1000318.

10. Non possiamo fare una cosa ma diciamo di farla.

11. Nguyen D, Murayama A, Nguyen A, et al. Payments by drug and medical device manufacturers to US peer reviewers of major medical journals. JAMA 2024; 332: 1480-2.

12. Horton R. Offline: The crisis in scientific publishing. Lancet 2016; 388: 322.

13. Heneghan C, Jefferson T. Peer review: the seal of quality? Trust the evidence 2022; 10 ottobre.