Billet n°272. Pour évaluer la qualité de sa production de recherche, la Banque de France a construit son propre classement des revues académiques en économie et finance. L’objectif de ce classement est d’inciter à la production de recherches dans les thématiques d’intérêt pour la Banque de France. Ce billet explicite les dix principes utilisés pour guider la construction de ce classement.
La place de la recherche croît continument dans les banques centrales. D’après le site IDEAS-REPEC, le nombre de chercheurs des banques centrales de la zone euro a été multiplié par 3 entre 2012 et 2022 (graphique 1). Par ailleurs, de plus en plus de travaux académiques sont cités dans les discours des banquiers centraux : c’est vrai à la fois pour le nombre de discours et pour le nombre moyen de citations par discours (graphique 2).
La recherche est utile aux banques centrales pour l’aide à la décision, l’information du débat public économique et la contribution à la production académique. Ces trois objectifs structurent la métrique d’évaluation de la qualité de la recherche construite par la Banque de France pour comparer la qualité des publications tout en préservant la liberté académique des chercheurs.
Ce classement des revues vise aussi à inciter à la production d’une recherche de qualité tout en préservant la diversité et l’égalité entre types (théorie, empirie, histoire, expériences) ou thèmes de recherche. Si la qualité de la recherche nourrit la qualité de l’aide à la décision, le besoin de diversité vise à répondre aux situations décrites par Jean-Claude Trichet en 2010 : "face à la crise, nous nous sommes sentis abandonnés par les outils classiques. [..] nous avons été aidés par un des domaines de la littérature économique : l’analyse historique".
Afin de remplir ces objectifs, la Banque de France a défini dix principes pour construire son classement des revues académiques. Ces principes ont été définis par un groupe de travail composé de représentants des directions de la Banque fortement productrices de travaux de recherche, dont les membres sont les signataires de ce billet. Tout au long de l’élaboration de ce classement, ces représentants ont été en interaction avec leurs collègues chercheurs afin de pouvoir prendre en compte leurs réactions et suggestions.
Associer qualité et diversité de la recherche
Un classement est la matérialisation d’une politique scientifique qui doit s’inscrire dans la durée. Le principe 1 a acté la nécessité d’amorcer le classement des revues conformément aux préconisations indiquées dans le rapport d’évaluation externe de la Recherche de la Banque de France conduite en 2016 par Patrick Bolton, Stephen Cecchetti et Lucrezia Reichlin.
La recherche doit viser l’excellence, elle doit être vérifiée et validée par des relecteurs externes anonymes qui garantissent la qualité du travail scientifique. Pour ces raisons, le principe 2 énonce que le classement de la Banque de France ne comprend que des revues à comité de lecture référencées sur le site REPEC.
Chaque revue se caractérise par une gouvernance régissant à la fois le travail des éditeurs et des relecteurs anonymes (referees). Cette gouvernance et la qualité du travail des relecteurs expliquent souvent, en plus des effets de réputation liés à l’ancienneté de la revue, la qualité des meilleures revues. Le principe 3 porte donc sur la détermination des revues du plus haut niveau académique dans chaque champ avec la restriction que, par définition de ce qu’est un sommet (topfield), il ne peut pas exister plus d’une ou deux meilleure(s) revue(s) par champ de recherche.
Le graphique 3 montre la diversité des champs de recherche investis par la Banque de France.
Le principe 4 définit les types de revues académiques classées, avec la préoccupation d’y représenter la diversité des besoins d’expertise. En plus des revues "généralistes", onze champs typiques des domaines habituels de recherche en banque centrale sont listés. L’impératif d’interdisciplinarité dans la recherche a conduit à inclure un champ "sciences sociales", tandis que le champ "environnement/climat" reflète l’intégration de ces enjeux par les banques centrales.
Inciter les chercheurs à la production régulière d’une recherche de qualité
Pour que chaque chercheur se l’approprie et afin de le mobiliser pour l’évaluation de l’activité de recherche, le classement intègre des signaux utiles à l’institution. Les principes 5 à 8 visent globalement à assurer 1) la prise en compte d’article courts publiés dans des revues de qualité avec un processus de validation rapide, 2) la prévisibilité du classement et donc de l’évaluation individuelle ; 3) l’incitation à mener des recherches en co-autorat et 4) la fluidité des carrières des chercheurs entre différentes institutions.
Le principe 5 en particulier, concerne les articles publiés par certaines revues académiques sous une forme courte, de "Papers & Proceedings" ou de papiers invités, qui sont dégradés d’un cran par rapport à la revue concernée.
La recherche est une activité coopérative par excellence nécessitant la mobilisation de compétences variées. Le principe 6 vise à encourager le travail collectif en pondérant favorablement les co-autorats, tout en évitant la juxtaposition d’un trop grand nombre d’auteurs (en dessous de sept).
Le principe 7 est celui de l’attribution effective d’un nombre de points aux chercheurs pour une publication dans chaque journal académique au sein d’un champ donné. Pour prendre en compte la diversité du besoin de recherche, les champs ne sont pas hiérarchisés, quel que soit le taux de citation ou la popularité de ces champs dans le monde académique. Les revues de chaque champ sont classées dans un des cinq niveaux de qualité. Chaque publication dans une revue confère à ses auteurs un nombre de points compris entre 25 pour les revues les moins bien classées et 400 pour les meilleures.
Les carrières des chercheurs ont rarement lieu dans une seule institution. La recherche requiert l’échange, et la mobilité ne doit pas être pénalisée. Le principe 8 assure donc une harmonisation avec d’autres classements des revues par d’autres banques centrales en indiquant qu’aucune revue ne peut être classée par la Banque de France en dessous des revues classées par des institutions comparables.
Ces différents principes permettent de définir pour chaque chercheur une activité minimale attendue de publication, définie sur un cycle de plusieurs années, qui peut ainsi être utilisée au même titre que le nombre de citations, pour la détermination de certaines primes ou pour l’évolution de carrière.
Un classement des revues académiques doit être vivant. Les principes 9 et 10 prévoient que le classement peut être complété en cours d’année pour ajouter un journal non encore pris en compte. Un groupe de chercheurs de la Banque de France se réunit pour cela.
Pour conclure
La recherche est une activité duale, car se situant à la fois dans l’émulation et la coopération. En clarifiant les principes de construction d’un classement des revues, il s’agissait d’expliciter le cadre dans lequel l’évaluation des contributions de chacun serait menée, afin d’offrir une base de discussion opposable et argumentée. Parce que la demande pour un type ou un autre de recherche est en partie imprévisible, il fallait préserver les incitations à publier dans tous les champs potentiellement utiles pour les missions de la Banque de France. Comme le montre le graphique 4, cela a conduit à égaliser la pondération de chaque champ par rapport au classement REPEC.
Source : Calcul des auteurs à partir du classement REPEC « Recursive Discounted Impact Factors (Last 10 Years) » et du classement des revues de la Banque de France.
Lecture du graphique : un chercheur publiant deux articles dans les deux premières catégories de revues d’économétrie obtient avec le classement REPEC 14% de la valeur de ces deux mêmes articles s’ils étaient publiés dans les huit meilleures revues d’économie et de finance contre 60% dans le classement de la Banque de France.
Note : chaque barre donne, pour chacun des champs définis par la Banque de France, le score obtenu par un chercheur ayant publié deux articles de recherche dans les deux premières catégories de revues de son champ. Cette métrique est calculée relativement à la valeur affectée par les classements REPEC et Banque de France aux huit meilleures revues d’économie et de finance (c’est-à-dire le top 5 en économie et le top 3 en finance).