Groupe de réflexion sur l’analyse et la caractérisation de la production scientifique – Outils et Méthodes
Neuvième réunion : 8 novembre 2011
Maison de l'Archéologie et de l'Ethnologie René Ginouvès Université de Paris Ouest Nanterre La Défense (Paris X)
Programme de la conférence :
- Conférence sur RIBAC : caractérisation des activités de recherche en SHS : objectifs et contenu, ajustement objectif/contenu. Par Isabelle Sidéra (CNRS) UMR 7055 Préhistoire et technologie, conceptrice de l’outil RIBAC (Recueil d’Informations pour un oBservatoire des Activités des Chercheurs en SHS), que le CNRS a mis en œuvre en 2009 pour les chercheurs SHS.
- Conférence sur le rapport de l’AERES : objectifs et contenus, ajustement objectif/contenu. Par Gilles Tarabout (CNRS) UMR 7186 Laboratoire d’Ethnologie et de Sociologie Comparative.
- Isabelle SIDÉRA : RIBAC : caractérisation des activités de recherche en SHS : objectifs et contenu, ajustement objectif/contenu.
Le projet RIBAC (Recueil d’Informations pour un oBservatoire des Activités des Chercheurs en SHS) est à l’initiative d’Isabelle SIDÉRA (ancienne membre du CSI SHS et chargée de mission de l’INSHS du CNRS, UMR 7055, Archéologie) et de Michèle DASSA (Chargée de mission de l’INSHS du CNRS). Un groupe de pilotage avait été mis en place dès 2007.
RIBAC est un formulaire créé au sein du Conseil scientifique de Département SHS en 2008, en collaboration avec la Direction scientifique SHS, destiné à recueillir annuellement les informations relatives à l’activité des chercheurs. La première maquette de RIBAC a été testée sur dix laboratoires avant que sa mise en œuvre soit étendue à l’ensemble des laboratoires SHS (cf. lettre no 3 & 4 de l’INSHS).
Triple objectif : décrire, caractériser, quantifier.
Le bilan est annuel, les données sont transférées dans la base E-evaluation du Comité National sous une forme PDF. Les formulaires des années précédentes, depuis la première enquête de 2009, sont accessibles à chacun par des onglets correspondants. Ils constituent une mémoire utile pour les utilisateurs.
L’import des publications de HAL est fonctionnel.
Outre la description classique des activités, RIBAC comporte d’autres rubriques portant notamment sur les compétences individuelles. Les mots-clés sont variés et précis. Ils concernent les domaines étudiés par les chercheurs avec, le cas échéant, les périodes analysées et les zones géographiques couvertes. En plus des données définissant le profil du chercheur, RIBAC recense les outils qu’il utilise.
RIBAC sert à décrire et caractériser, non à juger. Ce modèle respecte une certaine neutralité, hors des typologies de classement. Les publications sont considérées sous l’angle du support (article de revue, chapitre d’ouvrage, ouvrage, direction d’ouvrage, etc.) et ne se situent pas dans une logique de classement qualitatif. La définition univoque des supports de contenu permet d'appréhender clairement la nature des items produits par un chercheur. Exemple : la participation à un colloque peut donner lieu à un item différencié suivant qu’il donne lieu à publication ou non. Dans le premier cas, il s’agira d’une publication à part entière, déterminée comme telle. Dans le second, on aura affaire, de manière clairement définie, à une « Communication » entrant dans la catégorie : « Congrès, colloques et tables rondes ».
RIBAC a graduellement fait suite au CRAC (Compte-rendu annuel d’activité du CNRS).
- 2009 : simultanément RIBAC et CRAC
- 2010 : l’un ou l’autre (le nouveau modèle est cependant plus utilisé que l’ancien cette année-là)
- 2011 : RIBAC remplace le CRAC pour les SHS.
Les sections 32 (Mondes anciens et médiévaux) et 38 (Sociétés et cultures : approches comparatives) du Comité National ont été en 2009 les plus intéressées à l’usage du nouveau modèle.
Dans les catégories d’items « produits » par les chercheurs SHS, les chapitres d’ouvrages sont majoritaires (34,3%) et la proportion de rapports non publiés est significative (7,3%).
Diversité linguistique et non monolithisme anglophone : en 2009, on comptait 14 langues pour 1015 articles de revue.
Si l’on dresse un schéma des publications par section classées par chapitre d’ouvrage, article de revue et ouvrages intégraux, trois ensembles apparaissent, qui montrent des pratiques de publications différentes en fonction des sections pour l’année 2009. Les publications des sections 37 (Economie et gestion) et 39 (Espaces, territoires et sociétés) sont en nette majorité des articles de revue ; celles des sections 31 et 40 sont pour moitié des articles de revues. Dans les sections 32, 33, 34, 35, 36, 38 les articles sont nettement minoritaires au profit des chapitres d’ouvrage.
Seulement 50% des publishers (éditeurs au sens anglo-saxon et non « scientifique ») sont français. L’implication des chercheurs dans les comités de rédaction des revues scientifiques est assez remarquable.
RIBAC permet de remédier en partie à la multiplicité des formulaires à remplir : AERES, quadri/quinquennaux etc… fournis par l’individu auquel cette tâche incombe.
RIBAC est un système strictement « individuel ». La divulgation de ses données nécessite bien sûr par anticipation l’autorisation de la personne concernée. Cela pourrait, dans des cas limités, susciter tel ou tel problème juridique en regard de tel ou tel service de gestion locale ou nationale. Des contentieux de ce type n’ont pas lieu d’être dans les faits puisque RIBAC est généralisé aux SHS-CNRS depuis 2011. Un contexte spécifique de litige virtuel serait représenté par le transfert des données de RIBAC vers HAL : ce transfert n’existe pas, la navette est à sens unique (comme évoqué plus haut) de HAL vers RIBAC.
Actuellement, deux personnes gèrent RIBAC à plein temps. La part du travail manuel est très importante, par exemple la vérification de certaines informations manquantes, des tâches de dédoublonnage concernant entre autres le co-autorat. Le nettoyage de la base représente un lourd travail, peu gratifiant mais incontournable et seul garant de la fiabilité des données.
RIBAC - SHS CNRS / Urfist 08-11-2011Voir davantage de présentations de l'URFIST de Paris - Seconde conférence : Le rapport de l’AERES : l’application progressivement renforcée d’une logique de projets. Par Gilles TARABOUT (CNRS) UMR 7186 Laboratoire d’Ethnologie et de Sociologie Comparative.
L’AERES, dont le rôle est consultatif, effectue des tâches d’évaluation amenant à un jugement (tandis que RIBAC, et dans une certaine mesure son prédécesseur le CRAC, est essentiellement dévolu à la caractérisation).
L’AERES n’évalue pas les individus : ce n’est pas son rôle, et elle n’en a pas les moyens. Néanmoins, elle est chargée de valider les procédures d’évaluation des personnels mises en œuvre par les EPST et les universités.
Les modalités d’évaluation de l’AERES doivent se comprendre comme une mise en pratique, de plus en plus étroite, des directives de la LOLF, votée et soutenue par un très large éventail politique. Elles convergent par ailleurs avec les procédures européennes et, plus largement, internationales, et sont donc destinées à s’imposer sur une longue période.
Les visites sont planifiées par l’Agence de façon régulière et touchent chaque entité, par contraste avec l’usage en vigueur auparavant au CNRS où les visites étaient occasionnelles. Les membres des comités de visite sont nommés, à la différence de l’autre grande instance d’évaluation (qui s’occupe également, elle, de l’évaluation des personnels du CNRS), le Comité national de la Recherche scientifique, dont une partie des membres est élue. Le processus est assez comparable avec la procédure universitaire, qui a supprimé les commissions de spécialistes au profit de commissions de recrutement ad hoc pour chaque concours.
Outre l’activité scientifique, l’Agence analyse le budget et les capacités d’insertion de chaque équipe dans son milieu ; elle en examine explicitement la gouvernance (à la différence du Comité national du CNRS). L’évaluation des unités s’achève par une notation. Dans la pratique, les notes attribuées suivent une distribution proche d’une courbe de Gauss, où le nombre d’unités notées A+ est inférieur à celui des A et des B, le nombre de C étant relativement faible. Cette notation, qui a des effets budgétaires ensuite sur les UMR, prolonge une pratique déjà ancienne au niveau de la direction du CNRS et au niveau du ministère.
L’AERES a introduit la notion de produisant, qui offre davantage de possibilités de valorisation de l’activité que cellede publiant. Ainsi peut-on envisager la prise en compte des différents supports par lesquels une activité scientifique s’exprime et se manifeste : création d’une base de données, montage d’une exposition etc… Une exposition de photographies ethnologiques dans le hall d’une maison des sciences humaines, par exemple, doit être envisagée comme une production à part entière. Le rythme demandé pour être qualifié de « produisant » est de 4 « productions » sur 4 ans (2 « productions » dans le cas des enseignants-chercheurs).
La classification AERES des revues diffère selon les disciplines, et suit les pratiques qui y sont respectivement en vigueur, ce qui évite de plaquer un modèle unique d’évaluation sur les différentes cultures scientifiques. De ce point de vue, l’AERES a mis en œuvre une politique d’évaluation qui reste dans l’ensemble plus souple que celle qui est en vigueur dans d’autres pays.
Les formulaires actuels utilisés par l’AERES intègrent désormais une demande d’auto-évaluation : avoir indiqué des objectifs, regarder s’ils sont accomplis ; les moyens affectés : ont-ils été adoptés ? Que prévoit-on de faire ? Quels sont les indicateurs appropriés ? Les projets, équipe par équipe, doivent également être auto-évalués en utilisant l’analyse SWOT(strength, weaknesses, opportunities, threats). Cette procédure, qui « copie » la logique de la LOLF et l’étend à un niveau fin au sein même de l’unité, tend à une certaine fragmentation des données qui correspond parfois mal à la réalité de l’activité scientifique.