Sa présentation ne se prête pas à une lecture isolée assortie d’un apprentissage individuel. Elle vise prioritairement un groupe animé par un formateur qui suit une démarche progressive.
Néanmoins, le tout premier lien concerne un diaporama d’une cinquantaine de slides - intitulé « Evaluation des publications scientifiques » - qui peut être abordé d’emblée par toute personne désireuse de se familiariser avec les principes fondamentaux de la bibliométrie.
La page se subdivise en plusieurs chapitres.
1. Bases de l’Institute for scientific information (ISI) – Web of Science (WoS) et Journal Citation Reports (JCR) - bref aperçu analytique et critique
Le principe de la formation repose sur l’examen initial des bases bibliométriques de l’Institute for Scientific Information (I.S.I.) : le Web of Science et le Journal Citation Reports.
Le lien
http://isiknowledge.com permet à tout utilisateur situé dans un environnement numérique de travail ayant accès aux bases de l’ISI sur abonnement, de s’y connecter directement sans formalité intermédiaire.
Pour figurer dans la base ISI Highly Cited, le chercheur aura capitalisé suffisamment de citations afin de pouvoir se positionner dans le top 1% du nombre total de citations du champ disciplinaire ESI (Essential Science Indicators, application Thomson complémentaire du Web of science) auquel il est considéré appartenir. L'ESI compte 22 champs disciplinaires.
La présence de chercheurs dans cette base fait bénéficier leur institution de rattachement, ancienne ou actuelle, d’un critère de mention dans le classement de Shanghai, à hauteur de 20% dans la déclinaison des critères (voir plus bas dans le descriptif du lien Classement de Shanghai, chap. 4).
Suivent les références de deux articles de Nature, précurseurs d’un ensemble de critiques que formalisent ou officialisent des rapports comme celui de l’Académie des Sciences du 17 janvier 2011. Entre autres sujets de controverse, le fameux Impact Factor figure en bonne place dans ces articles.
2. Modèles hors WoS natif
Présenté en introduction, le modèle ISI est aujourd’hui adopté par la plupart des administrations centrales chargées de la Recherche, au niveau international.
Nous présentons ici d’autres modèles : l’Eigenfactor appliqué au Journal Citation Reports et le Scimago Journal Ranking appliqué à la base Scopus d’Elsevier. Ces deux modèles reposent sur le principe mathématique de la marche aléatoire (random walk), simulation de type stochastique qui revient à tenir compte de la traçabilité des citations. Il ne suffit pas qu’un article soit cité, encore faut-il qu’il le soit par des revues elles-mêmes citées par d’autres, par des chercheurs dont la réputation est reconnue. Ce principe de traçabilité fait défaut au modèle de l’ISI.
De même, au facteur H de Hirsch, dont les biais ont été démontrés, tant par des bibliomètres de renom comme le Québécois Yves Gingras, que par l’Académie des Sciences, celle-ci oppose aujourd’hui le facteur G de Leo Egghe, qui met en valeur les articles toujours cités dix ans après leur publication et déconseille formellement l’utilisation du facteur H pour évaluer les jeunes chercheurs. Sur ce dernier point, l’éditorial des PNAS de décembre 2010 émet une opinion identique.
Autre modèle alternatif : celui des « boîtes à moustaches », alias Box Plots de l’INRA, fondé sur le principe de distribution de Lotka, repris par Marie-Hélène Magri et son équipe. Il valorise les médianes et non les moyennes, lesquelles sont privilégiées par l’ISI, et faussent de multiples modalités de calcul.
Enfin, le projet SIGAPS de Lille, prolongé par le système SAMPRA, étendu à toutes les institutions de recherche médicale, utilise l’ordre dans lequel sont déclinés les auteurs en tête d’une publication pour concevoir les calculs (priorités dans la contribution effective des co-auteurs au travail rendu, identification du chef de service en ultime position…) et calculer des scores indexés sur des barèmes à retombées budgétaires.
3. Bases et ressources alternatives
Les pionniers du mouvement des Archives ouvertes (Open Access Initiative) Steven Harnad et Tim Brody, ont mis au point une base de données analytique de citations adaptée au miroir britannique de la base ArXiv : Citebase, fermée en 2012. Des graphiques permettaient de suivre l’évolution concomitante des téléchargements et des citations. Des liens dirigaient vers Scholar Google. Une analyse des citations partagées, identique au principe des Shared References du WoS, côtoyait l’analyse des articles co-cités avec l’article de référence.
Co-citations et références partagées sont deux principes qui définissent la notion de réseau social de chercheurs mise en avant par les modèles bibliométriques.
CiteseerX, de l’université de Pittsburgh (Pennsylvanie), spécialisée dans les mathématiques appliquées et l’informatique, reprend ces deux principes fondamentaux.
Will Harzing, économiste enseignant à Londres, a mis au point un système d’évaluation statistique bibliométrique adapté à Scholar Google : Publish or Perish (alias POP). Il est notamment intéressant pour son module d’aide, au chapitre Metrics, dans lequel on voit apparaître des facteurs de pondération associés à l’ancienneté de la publication et au nombre de co-auteurs. Arguments repris par le rapport de l’Académie de janvier 2011.
4. Instances d’évaluation, ressources et documents associés
a) Shanghai et la Lolf
Ces liens définissent le contexte international puis national dans lequel se situe la méthodologie en usage aujourd’hui en France.
Au niveau international, le Classement de Shanghai est toujours suivi avec beaucoup d’attention par le Ministère chargé de la Recherche et de l’Enseignement supérieur. L’intérêt d’une présentation de ce site réside dans le pourcentage de critères de classement qui reviennent à l’ISI. 40 % de façon brute (20% Highly Cited et 20% WoS / JCR), qui peut franchir la barre des 50% voire plus, avec la nécessité de publier dans Science et Nature (20%) : deux périodiques d’excellence mis en exergue en très grande partie du fait de l’Impact Factor singulièrement élevé que leur attribue le JCR de l’ISI.
Au niveau national, plusieurs Programmes numérotés 1nn en fonction des grands axes de recherche, sont élaborés par les ministères de tutelle des organismes de recherche dans le cadre de la LOLF (Loi organique des lois de finances). Ils présentent les indicateurs en fonction desquels sont évalués et répartis les crédits destinés à subventionner les établissement concernés. Par exemple, le n°150 (alias P150) touche la recherche spécifiquement universitaire. Un indicateur essentiel recouvre les publications scientifiques, i.e. ce qui est rendu public et donc témoigne de la visibilité du travail effectué, en échange duquel la subvention est accordée. La performance correspond au delta séparant cette contribution financière « justifiée au premier euro du point de vue du citoyen », du travail fourni au vu de ce que les publications rendent visible et comparable aux niveaux national et international (Europe, trio France/Allemagne/Grande-Bretagne et Monde).
Parallèlement aux publications scientifiques, deux autres critères sont mis en avant : le dépôt de Brevets et la participation aux PCRD (Programmes Cadres de Recherche & Développement) européens. Mais le volet Publications reste capital.
b) L’OST (Observatoire des Sciences et des Techniques)
Une série de liens concerne l’OST rattaché au HCERES : il est chargé d'élaborer des indicateurs conformes aux prescriptions de la LOLF. L’Observatoire reprend, par exemple, les 3 volets du P150 (Publications, Brevets, PCRD) et propose, entre autres, sept indicateurs fondamentaux : « part de publications » d’une entité rapportée à l’Europe ou au monde (références géographiques également visées dans les autres indicateurs) ; « indice de spécialisation scientifique » ; « part de citations à deux ans » ; « indice d’impact relatif à deux ans » ; « indice d’impact espéré à deux ans » ; « indice d'activité par classe de citations » ; « part d’articles en co-publication ». Ils sont définis ci-après sous le lien « Indicateurs de l’OST ».
Les modalités de comptage (de présence et fractionnaire) sont, on le sait, largement tributaires du libellé des affiliations. Depuis 2007, différents PRES (auxquels ont succédé les COMUÉ) et Centres de recherche, ont défini des chartes de signature. Depuis le second semestre 2015 le modèle monoligne est à nouveau majoritairement recommandé. Par ailleurs, des projets comme le RNSR, ScanR et Conditor, contribuent utilement à la remédiation du problème.
c) L’évaluation en Sciences humaines
En Sciences humaines, la problématique de l’évaluation est particulière car en France, le support privilégié de la publication scientifique est plutôt le livre que le périodique ; de plus, en langue française. Les paramètres de base de l’ISI sont tout à fait adaptés au mode opératoire en Sciences expérimentales, mais nullement au domaine Lettres & Sciences humaines. Dans le cadre de la European Science Foundation, a été élaboré l’
European Reference Index for the Humanities (ERIH) qui liste uniquement des périodiques, eux-mêmes à forte tonalité anglo-saxonne.
Ces listes thématiques ont été récupérées par l’AERES dans des conditions généralement inadéquates en regard de la recherche française en Sciences humaines. En outre, certaines listes thématiques sont dépourvues de codes alphanumériques de classification hiérarchisée, alors que d’autres en utilisent ou bien mentionnent le titre des grandes bases bibliométriques et bibliographiques indexant les titres listés. Ces listes AERES ont fait l'objet de mises-à-jour irrégulières et espacées. Elles ne figurent plus sur le site du HCERES, à l'exception (en 2018) de la liste Économie et Gestion. Certaines listes anciennes sont visibles sur le site du CNU (la plus récente, en
Info-Comm) ou plus ou moins aléatoirement dans des résultats de requêtes sur des moteurs de recherche, avec un degré d'actualité discutable (
cf. notamment
Archives)
.
d) Les métriques alternatives (Altmetrics)
Les Altmetrics constituent une alternative au système classique et se traduisent par la mise en œuvre d’applications fondées notamment sur l’usage des réseaux sociaux et des outils de syndication, par exemple : Twitter, PLoS Impact Explorer, Plum Analytics (Ebsco), ImpactStory, Mendeley (Elsevier). Les Altmetrics sont particuièrement réactives dans des domaines à évolution très rapide comme la biologie moléculaire et cellulaire, pour lesquels leurs résultats peuvent se manifester dans les heures qui suivent la publication (voire la prépublication).
En savoir (un peu) plus…
Suggestions bibliographiques de Manuel Durand-Barthez en libre accès :
Liens
Bases de l’Institute for scientific information (ISI) – Web of Science (WOS) – bref aperçu critique
Modèles hors WOS natif
Bases et ressources alternatives
Instances d’évaluation, ressources et documents associés
Politiques nationales
