Quelques années auparavant, je m’apprêtait à soutenir ma thèse et je devait alors satisfaire quelques conditions. Entre autres, il était nécessaire de publier un article dans une revue internationale avec facteur d'impact. C'est une condition qui venait d'être imposée alors que j'étais déjà à un stade avancé. Heureusement, la revue dans laquelle ma publication est parue avait déjà de fameux chiffre. D'autres collègues ont perdu plusieurs années en attendant la publication dans une revue de ce genre.
Aujourd'hui encore, même si les conditions de soutenance ont été atténuées, le facteur d'impact reste pour beaucoup de chercheurs un critère important pour choisir la revue dans laquelle on désire publier et aussi pour l'évaluation de la recherche. Il existe aussi d'autres mesures qui sont basées sur le même principe que le facteur d'impact. Par exemple, le h-index.
Est-ce que le facteur d'impact d'une revue scientifique est un gage de sa qualité?
Est-ce que le h-index d'un chercheur reflète son excellence dans son domaine?
Premièrement, il faut comprendre le calcul du facteur d'impact et des mesure similaires.
Le facteur d'impact d'une revue scientifique calculé pour une année X est le quotient des citations aux articles de cette revue dans l'année X sur le nombre totale des articles de cette revue parue dans les deux années avant X.
Le h-index d'un chercheur est égal à h si exactement h articles de ce chercheur ont été cités au moins h fois chacun.
Donc plus les articles d'une revue sont cités, plus sont facteur d'impact est grand. Inversement, si le facteur d'impact d'une revue est grand alors forcément ses articles suscitent l’intérêt des chercheurs qui les utilisent pour développer leurs recherches ou du moins c'est que la plupart des chercheurs pensent. On peut dire presque la même chose sur le h-index.
Dans ce sens, les citations sont considéré comme une approbation d'un article et par extension de la revue et de l'auteur.
Dans ce sens, les citations sont considéré comme une approbation d'un article et par extension de la revue et de l'auteur.
Quel est alors, le problème avec cette mesure?
- Le facteur d'impact tient compte du nombre de citations seulement pas de la qualité.
- Le facteur d'impact tient compte du nombre de citations seulement pas de la qualité.
- On peut citer un article juste pour le contexte.
- Citer un article ne veux pas dire qu'on l'a jugé positivement.
- Le facteur d'impact ne prend pas en compte le dynamisme de chaque domaine scientifique.
- Le facteur d'impact ne prend pas en compte le dynamisme de chaque domaine scientifique.
- Le facteur d'impact est falsifiable. Il en est de même pour le h-index.
Je vais détailler chacun des points ci-dessus en me basant sur mon expérience personnelle.
D'abord, le facteur d'impact d'une revue scientifique est basé sur nombre total des citations aux articles de celle-ci. Il ne distingue pas les citations selon l'origine. Celles-ci peuvent provenir de sources de faible qualité mais pèseront quand même exactement comme les citations provenant d'une source bien réputée.
Les auteurs d'un article citent des références pour plusieurs raisons. Par exemple, pour reprendre une idée importante ou se baser sur un travail précédent. Parfois aussi pour retracer le développement d'un sujet ou pour préparer le contexte du travail actuel.
Lors du processus de review, les arbitres demandent parfois aux auteur d'étendre cette section et de citer plus d'articles en relation avec le travail actuel pour montrer qu'ils ont fait suffisamment de recherche sur le sujet. La plupart des auteurs obéissent en citant plusieurs articles juste pour satisfaire cette demande des reviewers et parfois sans aucune autre raison pertinente.
Dans certains domaines de la science, les articles les plus cités sont en réalité des articles de synthèse. En effet, une synthèse est citée beaucoup plus souvent qu'un article original. Une synthèse peut en effet présenter des aspect intéressant notamment en collectant et en organisant les travaux précédents, en fournissant une critique et une évaluation des résultats, en identifiant les possibles écarts de littérature et en définissant les possibles directions de recherche. Cependant, cela amène les chercheurs à citer plus souvent les articles de synthèse que les articles contenant les idées originales.
Les citations ne représente pas une approbation de la référence citée. On peut citer un article pour dire qu'il présente des insuffisances en terme de méthodologie et qu'il contient de faux résultats. On peut citer une étude pour la falsifier ou la contredire ou parfois même pour révéler une manipulation intentionnel. On ne peut pas dire alors que la citation dans ce cas est un élément positif qui contribue à la réputation de la revue ou de l'auteur.
Le facteur d'impact ne prend pas en compte le dynamisme de chaque domaine scientifique ce qui a une grande influence sur le facteur d'impact de la revue. Certains domaines sont plus dynamiques que les autres. Dans le domaine de l'informatique, un nombre important d'articles parait chaque mois et une une idée originale va vite être reprise et citée par plusieurs auteurs. Par contre, dans le domaine des mathématiques pures, le développement est plus lent et c'est ainsi que le facteur d'impact des revues spécialisées dans ce domaine sont bas.
Une autre mesure tente de corriger cette anomalie mais elle reste moins connue et utilisée que le facteur d'impact.
Enfin, le facteur d'impact est manipulable et falsifiable. Durant le processus de review, les éditeurs de plusieurs revues scientifiques demandent aux auteurs de citer plusieurs articles du même journal sois disant pour montrer le lien de l'étude avec la revue. Cette pratique est (très) répandue dans certains domaines et ce depuis plusieurs années (j'ai reçu cette demande de la part d'un éditeur 15ans auparavant et je la reçois toujours). C'est ainsi que certaines revues ont vu leur facteur d'impact explosé en quelques années seulement.
Plus grave encore, le reviewer peut demander aux auteurs de citer ses propres articles. Une pratique qui est contre les éthiques de publication mais qui est pratiquée par certains reviewers. Parfois, le reviewer bloque le processus de review en refusant de rendre une décision jusqu'à ce que les auteurs obéissent et citent ses articles. Certains éditeurs ne font rien pour aider les auteurs dans ce cas ou pour empêcher le reviewer d'utiliser sa position pour augmenter artificiellement le nombre de citations à ses propres articles et donc son h-index. Les auteurs peu expérimentés marchent dans ce jeu car il veulent publier et qu'ils n'ont pas les moyens pour (ou ne savent pas comment) faire face seuls à ce genre de situation.
Les questions qu'on peut poser maintenant sont les suivantes. Faut-il bannir complètement le facteur d'impact comme un critère d'évaluation de la qualité des revues scientifiques et des travaux des chercheurs? En tant que chercheur, faut-il écarter le facteur d'impact des critères du choix de la revue à laquelle on veut soumettre un travail pour publication?
D'abord, le facteur d'impact d'une revue scientifique est basé sur nombre total des citations aux articles de celle-ci. Il ne distingue pas les citations selon l'origine. Celles-ci peuvent provenir de sources de faible qualité mais pèseront quand même exactement comme les citations provenant d'une source bien réputée.
Les auteurs d'un article citent des références pour plusieurs raisons. Par exemple, pour reprendre une idée importante ou se baser sur un travail précédent. Parfois aussi pour retracer le développement d'un sujet ou pour préparer le contexte du travail actuel.
Lors du processus de review, les arbitres demandent parfois aux auteur d'étendre cette section et de citer plus d'articles en relation avec le travail actuel pour montrer qu'ils ont fait suffisamment de recherche sur le sujet. La plupart des auteurs obéissent en citant plusieurs articles juste pour satisfaire cette demande des reviewers et parfois sans aucune autre raison pertinente.
Dans certains domaines de la science, les articles les plus cités sont en réalité des articles de synthèse. En effet, une synthèse est citée beaucoup plus souvent qu'un article original. Une synthèse peut en effet présenter des aspect intéressant notamment en collectant et en organisant les travaux précédents, en fournissant une critique et une évaluation des résultats, en identifiant les possibles écarts de littérature et en définissant les possibles directions de recherche. Cependant, cela amène les chercheurs à citer plus souvent les articles de synthèse que les articles contenant les idées originales.
Les citations ne représente pas une approbation de la référence citée. On peut citer un article pour dire qu'il présente des insuffisances en terme de méthodologie et qu'il contient de faux résultats. On peut citer une étude pour la falsifier ou la contredire ou parfois même pour révéler une manipulation intentionnel. On ne peut pas dire alors que la citation dans ce cas est un élément positif qui contribue à la réputation de la revue ou de l'auteur.
Le facteur d'impact ne prend pas en compte le dynamisme de chaque domaine scientifique ce qui a une grande influence sur le facteur d'impact de la revue. Certains domaines sont plus dynamiques que les autres. Dans le domaine de l'informatique, un nombre important d'articles parait chaque mois et une une idée originale va vite être reprise et citée par plusieurs auteurs. Par contre, dans le domaine des mathématiques pures, le développement est plus lent et c'est ainsi que le facteur d'impact des revues spécialisées dans ce domaine sont bas.
Une autre mesure tente de corriger cette anomalie mais elle reste moins connue et utilisée que le facteur d'impact.
Enfin, le facteur d'impact est manipulable et falsifiable. Durant le processus de review, les éditeurs de plusieurs revues scientifiques demandent aux auteurs de citer plusieurs articles du même journal sois disant pour montrer le lien de l'étude avec la revue. Cette pratique est (très) répandue dans certains domaines et ce depuis plusieurs années (j'ai reçu cette demande de la part d'un éditeur 15ans auparavant et je la reçois toujours). C'est ainsi que certaines revues ont vu leur facteur d'impact explosé en quelques années seulement.
Plus grave encore, le reviewer peut demander aux auteurs de citer ses propres articles. Une pratique qui est contre les éthiques de publication mais qui est pratiquée par certains reviewers. Parfois, le reviewer bloque le processus de review en refusant de rendre une décision jusqu'à ce que les auteurs obéissent et citent ses articles. Certains éditeurs ne font rien pour aider les auteurs dans ce cas ou pour empêcher le reviewer d'utiliser sa position pour augmenter artificiellement le nombre de citations à ses propres articles et donc son h-index. Les auteurs peu expérimentés marchent dans ce jeu car il veulent publier et qu'ils n'ont pas les moyens pour (ou ne savent pas comment) faire face seuls à ce genre de situation.
Les questions qu'on peut poser maintenant sont les suivantes. Faut-il bannir complètement le facteur d'impact comme un critère d'évaluation de la qualité des revues scientifiques et des travaux des chercheurs? En tant que chercheur, faut-il écarter le facteur d'impact des critères du choix de la revue à laquelle on veut soumettre un travail pour publication?
Aucun commentaire:
Enregistrer un commentaire