Groupe de réflexion sur l’analyse et la caractérisation de la production scientifique – Outils et Méthodes
Huitième réunion : 24 juin 2011
Amphithéâtre Stourdzé – Ministère de l’Enseignement supérieur et de la Recherche – Montagne Ste Geneviève
L'évaluation en SHS, par Jacques DUBUCS
Directeur de Recherches au CNRS, Directeur de l'Institut d'Histoire et de philosophie des sciences et des techniques (IHPST/CNRS - ENS- Paris I ) jusqu’en décembre 2010, M. Jacques DUBUCS est actuellement responsable du Service Stratégie de la recherche et de l’innovation SSRI - A6 Secteur Sciences humaines et sociales (SHS) à la Direction générale pour la recherche et l’innovation (DGRI) du Ministère de l'Enseignement supérieur et de la Recherche. Il nous fait part de ses récents travaux sur l'innovation en matière d'évaluation et de caractérisation des unités de recherche SHS.
Cet Atelier lui a permis de s’exprimer très amplement sur ce sujet, traité quelques jours avant de manière extrêmement synthétique dans une communication lors du colloque que l’IN-SHS du CNRS avait consacré à ce thème les 9 et 10 juin 2011.
L’opinion largement répandue selon laquelle les méthodes bibliométriques appliquées dans le domaine STM (Sciences Technologie Médecine) tendent à régenter abusivement la sphère SHS (Sciences de l’Homme et de la Société) émeut profondément cette seconde communauté de chercheurs et justifie l’organisation de séminaires de réflexion structurée. Telle est précisément l’initiative de l’Institut des Sciences humaines et sociales du CNRS à travers les communications de ces deux journées de juin intitulées : Évaluation des productions scientifiques : des innovations en SHS ?
Nous synthétisons donc ci-après les propos tenus par Jacques DUBUCS lors de l’Atelier URFIST du 24 juin, en complément de sa communication du 9 juin.
Au sein de l’Alliance ATHENA, se pose de fait la question cruciale du régime prétendument « extra-ordinaire » des SHS en matière d’évaluation.
Jacques DUBUCS évoque un préjugé courant selon lequel les SHS agiraient à la manière d’un « lubrifiant » vis-à-vis des STM. Ainsi par exemple, les premières contribueraient parfois à expliquer ou faciliter la compréhension des problèmes suscités par les aspects négatifs des secondes : O.G.M., génétique, nanotechnologies...
De fait, les SHS seraient considérées, à certains égards, comme subséquentes, zones de commentaire, marginales et donc difficilement « mesurables » en regard des STM.
D’où, pour Jacques DUBUCS, l’impérieuse nécessité de recourir à des indicateurs adaptés, facteurs d’exotéricité du domaine SHS par rapport aux autres secteurs scientifiques.
Il s’agirait, par le biais d’une évaluation rationnelle, d’abaisser l’indice de viscosité du flux SHS en France, « proche de la glycérine ».
Le caractère singulièrement réduit de la mobilité en SHS, envisagée sous tous ses angles, préoccupe l’Alliance ATHENA, favorable à une accélération des flux dans ce domaine.
Cette fluidité devrait être plus tangible, par exemple, entre les sections du CNU et celles du CNRS. Une traduction possible de cette souplesse pourrait se situer au niveau fondamental des définitions du domaine, avec la mise en œuvre d’une seule nomenclature au lieu des huit existant actuellement.
Ensuite, la restriction du ressort de l’évaluation aux individus (chercheurs) devrait s’affranchir de ces limites pour évaluer et donc « mettre en valeur » le domaine SHS en tant que fédération de disciplines.
Car on assiste aujourd’hui à une anthropisation croissante des sciences de la Nature. Plus qu’une complémentarité, c’est une concaténation patente entre les deux sphères scientifiques traditionnellement opposées qui se fait jour actuellement.
D’où le reproche qu’adresse Jacques DUBUCS à certains tenants des SHS qui se reconnaissent dans l’image de Saint Jérôme, déconnecté de « la science » actualisée, se marginalisant dans un univers disciplinaire à part. Le chercheur hiéronymite folklorise sa communauté et l’asphyxie. A utiliser les armes de ses ennemis, telles quelles, c’est à dire en copiant la méthodologie bibliométrique STM, il ne peut effectivement pas se mettre en valeur. De fait, l’article de périodique, facilement identifiable, constitue l’unité de référence classique en STM. En France, le livre est le support de publication privilégié et ne bénéficie pas des mêmes facilités de repérage en raison de son caractère atomisé, diffus. Il est souvent commis par un seul auteur alors que le co-autorat est de mise en STM. Par ailleurs, la langue française n’est pas un vecteur universel à l’inverse de l’anglais « scientifique ».
Toutes ces considérations techniques ont déjà été maintes fois évoquées en regard des différences de méthode d’évaluation entre les deux grandes sphères de la connaissance et de l’impossibilité de transférer les principes de l’une directement sur l’autre, comme si l’une était vassale de l’autre.
D’où l’importance fondamentale, avant toute initiative tendant à figer quantitativement l’évaluation en SHS, de la caractérisation des unités de recherche et de leurs composantes. Caractériser, c’est se connaître et se faire connaître pour pouvoir se comparer et pour induire des facteurs d’évaluation. Or, aujourd’hui, les modes de caractérisation SHS sont notoirement insuffisants ou inadaptés[1].
Jacques DUBUCS développe ensuite le rapport d’ i à Φ , autrement dit de l’indicateur vers le phénomène.
Dans le prédicat « si i alors Φ », il convient de mettre en évidence deux caractères indispensables d’ i : la fiabilité et la luminosité.
Il est normal que l’indicateur soit doté d’une robustesse et d’une constance le rendant fiable.
Il est aussi hautement souhaitable qu’il soit « lumineux », i.e. aisément perceptible / compréhensible. Corollaire de cette luminosité : une certaine facilité d’appréhension. Il faut qu’il soit accessible sans difficulté.
Ces qualités sont d’autant plus indispensables qu’elles affectent les critères de répartition budgétaire de la part des donneurs d’ordre ou bailleurs de fonds institutionnels. Associer ces observations au fait que la création d’un poste CNRS peut coûter à l’Etat un investissement initial égal ou supérieur à trois millions d’euros n’est pas anodin.
Le problème se posant aujourd’hui de façon récurrente est l’érosion de l’indicateur sous l’effet mécanique des stratégies des acteurs concernés par ce même indicateur (sous l’effet, par exemple, de biais divers, de réseaux d’influence, etc.).
La décorrélation entre l’indicateur et l’excellence visée (Φ) mine la fiabilité de l’indicateur.
D’une manière générale, le terrain de l’évaluation SHS apparaît à maints égards comme un « pavage, une terre craquelée ».
Est à l’étude, afin d’y remédier, la mise en place d’un Groupe de travail sur les indicateurs réunissant des acteurs SHS de différents pays avec le concours de l’Alliance Athéna et de l’O.S.T. (Observatoire des Sciences et des Techniques). L’un des objectifs annoncés est l’analyse de la « valeur » et de l’impact économiques de la recherche SHS.
La recherche STM induit en général la séquence Processus/Produit. Un préjugé fréquent suppose que seul le Processus est envisagé en SHS. Encore ce schéma est-il sujet à caution, car au sein même de la sphère SHS on constate des différences fondamentales entre la culture des humanités et celle des sciences de la société, par exemple dans les jurys de Labex.
Or il est clair que ces deux volets impliquent des retombées dotées d’impact économique, liées notamment à l’anthropisation des sciences expérimentales évoquée plus haut. Encore faut-il mettre au point la méthode idoine permettant d’indiquer cet impact.
Une réaction de la salle, sur ce point, incite Jacques DUBUCS à préciser ce qu’il appelle une approche contrefactualiste. Autrement dit : que se serait-il passé si l’on avait suivi telle ou telle préconisation qui n’a pas eu de publicité « parce qu’elle n’était qu’SHS » ?
Autant d’interrogations qui démontrent une fois de plus l’impérieuse nécessité de conférer aux SHS le statut qui leur revient, d’une façon rationnelle et méthodique, déontologiquement admissible et dans le respect tant de l’humain que du social qu’elles sous-tendent.
[1] D’où l’importance de RIBAC (Recueil d’Informations pour un oBservatoire des Activités des Chercheurs en SHS ) http://journalbase.sciencesconf.org/browse/author?authorid=175536 dont la mise en oeuvre dès 2011 remédie largement à ce problème.
