[Débat] L’avenir du chercheur en psychologie sociale serait-il en question ?

Pour info, voir ci-dessous, ce qui semble avoir fait beaucoup de bruit de l’autre côté de l’atlantique… La réplication à la fois externe (par un autre chercheur) et indépendante (non récusable!) aurait-elle de belles années devant elle? Au même titre que les études longitudinales en psychologie sociale, de plus en plus rares voire inexistant dans certains domaines conceptuels, la reproduction de certains travaux ne suffit malheureusement pas à identifier les qualités du chercheur qui en serait à l’origine. Et pourtant, ce type de démarche éviterait sans doute les dérives dont il est encore tabou d’en faire état. A défaut d’ouvrir le débat aujourd’hui, peut-on faire en sorte qu’il ne soit pas rendu impossible au sein de notre communauté…

Voir également : http://www.nature.com/news/the-data-detective-1.10937                           http://www.nature.com/news/uncertainty-shrouds-psychologist-s-resignation-1.10968

Bien cordialement, Sid Abdellaoui ARTICLE :

Psycho sociale : la chasse aux chercheurs fraudeurs Andrea Ostojic Article publié le 27/09/2012 dans  http://le-cercle-psy.scienceshumaines.com/psycho-sociale-la-chasse-aux-chercheurs-fraudeurs_sh_29449

Plusieurs chercheurs internationaux de psychologie sociale ont été pris la main dans le sac à inventer ou truquer des données pour accréditer leurs hypothèses. Une pratique courante, estiment certains… Qu’est-ce qui, dans la communauté scientifique, autorise voire favorise de telles fraudes ? Que faire pour y remédier ? Enquête.

En janvier 2011, Lawrence Sanna, alors chercheur en psychologie sociale à l’Université de Caroline du Nord, a publié une étude sur le lien entre élévation physique et élévation morale. Dans l’une des quatre expériences de cette recherche, des personnes étaient sollicitées pour faire un don à une œuvre caritative, via une urne dans laquelle elles pouvaient déposer de l’argent. Certains sujets se retrouvaient face à l’urne après avoir monté un escalier roulant, d’autres après l’avoir descendu. 16 % de ceux qui étaient montés avaient fait un don, contre 7 % de ceux qui étaient descendus. Cette étude tendrait à montrer qu’être positionnés en hauteur (en haut d’un escalier, dans un avion…) nous rendrait plus coopératifs, serviables, charitables, compatissants. Un effet qui s’expliquerait par les connections conceptuelles que nous opérons entre ce qui est haut et ce qui est bien (1).

Cette étude est typique de celles qui peuvent rencontrer un écho auprès des médias, et que vous pourriez retrouver dans les colonnes du Cercle Psy… si ce n’est qu’en mai dernier, coup de théâtre : Lawrence Sanna, qui a dirigé cette étude, a présenté sa démission à l’université qui l’employait, et a également demandé au Journal of Experimental Social Psychology de retirer de la publication trois études qu’il avait dirigées.

Que s’est-il passé ? Uri Simonsohn, le data detective, a encore frappé ! Ce chercheur en psychologie sociale a élaboré une méthode statistique qui permet de détecter la fraude scientifique, en mettant en évidence les résultats expérimentaux qui sont statistiquement « trop beaux » pour être vrais (2). En appliquant son modèle aux données récoltées par Sanna, il a pu constater que celles-ci étaient suspectes. L’Université de Caroline de Caroline du Nord a par la suite ouvert une enquête qui a mené à la démission de Sanna.

Le cas Smeesters

Simonsohn n’en est pas à son coup d’essai. Quelques mois auparavant, l’application de sa méthode aux travaux de Dirk Smeesters, psychologue social à l’Université de Rotterdam, a également permis de détecter des irrégularités. Comme dans le cas Sanna, Smeesters a présenté sa démission suite à une enquête menée par son université.

Le cas Stapel

L’affaire Smeesters a eu lieu quelques mois seulement après le scandale qui a touché en 2011 le psychologue néerlandais Diederik Stapel, de l’Université de Tilburg : des falsifications de données ont été constatées dans trente de ses publications. Ses sujets de recherche étaient très variés, l’amenant par exemple à conclure qu’un environnement en désordre favorise la discrimination sociale, que les demandeurs d’emploi sont jugés plus compétents quand ils ont une voix masculine, ou encore que les mangeurs de viande sont plus égoïstes que les végétariens. En novembre 2011, Stapel a reconnu avoir manipulé et fabriqué des données à de nombreuses reprises.

La méthode de Simonsohn, testée sur les données de Stapel (après que la fraude a été détectée) s’est révélée efficace pour mettre en évidence la falsification. La révélation de ces trois affaires à quelques mois d’intervalle (3) suscite de nombreuses interrogations. Ces pratiques frauduleuses sont-elles plus fréquentes qu’on ne le pense ? Quelles motivations peuvent pousser des scientifiques à de tels actes ?

La déclaration de Stapel dans la presse néerlandaise nous apporte quelques éléments de réponse : “Ces dernières années, la pression a été trop forte… Je n’ai pas résisté à la pression de réussir, de publier, de faire toujours mieux. Je voulais trop, trop vite. Dans un système où il y a peu de contrôles, où les gens travaillent seuls, j’ai pris le mauvais virage. »

Le manque de contrôle

La presse scientifique, américaine en particulier, a consacré ces derniers mois plusieurs articles à ces affaires, s’interrogeant sur les failles du système qui ont rendu possibles de tels agissements.

Stapel, tout comme Smeesters, avait pour habitude de collecter et analyser ses données expérimentales seul, même s’il travaillait au sein d’une équipe de recherche. Ainsi, souligne le New York Times, a t-il pu profiter d’un système qui permet de récolter et manipuler des données dans le secret, sans risque d’être contrôlé.

Une pratique répandue selon Jelte M. Wicherts, psychologue à l’Université d’Amsterdam. Dans une récente étude qu’il a menée aux Pays-Bas, deux tiers des chercheurs en psychologie interrogés affirmaient qu’ils ne mettaient pas leurs données brutes à disposition d’autres chercheurs. Une liberté d’action qui ouvre la porte aux dérives : Wicherts a ainsi mis en évidence que les chercheurs réticents à dévoiler leurs données publient davantage de résultats erronés que ceux qui sont enclins à les partager.

Une autre barrière que Stapel a pu passer sans difficulté est celle de la publication : ses articles ont été publiés sans que les revues concernées n’aient effectué le moindre contrôle.

Manipuler les données : une pratique courante ?

Smeesters, contrairement à Stapel, n’aurait pas fabriqué des données, mais manipulé des données existantes afin de renforcer ses résultats, en sélectionnant celles qui allaient dans le sens de son hypothèse. Il a défendu ses actions en affirmant que ces pratiques étaient courantes et considérées comme normales dans le milieu de la recherche en psychologie sociale.

Leslie John, de l’Université de Harvard, a publié en janvier 2012 une enquête dont les résultats vont dans le sens des propos de Smeesters : 70 % des 2 000 psychologues américains interrogés ont anonymement reconnu avoir déjà manipulé des données expérimentales, par exemple en omettant de mentionner des variables, ou en décidant, au cours d’une expérimentation, d’augmenter ou de diminuer le nombre de données recueillies jusqu’à obtenir un résultat significatif.

“Nombreux sont ceux qui continuent à utiliser ces méthodes car c’est ainsi qu’elles sont enseignées”, affirme Brent Roberts, psychologue à l’Université de l’Illinois. Comme l’ont expliqué Etienne LeBel et Kurt Peters dans le Review of General Psychology, il y aurait une telle tolérance, une telle souplesse dans les pratiques, qu’il serait souvent possible pour les chercheurs d’orienter leurs résultats dans le sens qui les arrange.

Le problème des faux positifs

Dans un article publié en 2011, des chercheurs de l’Université de Pennsylvanie et de Berkeley ont montré comment, par la manipulation de données, il était facile d’obtenir des résultats faussement positifs. Les coupables sont ce qu’on appelle les degrés de liberté : combien de sujets vont participer ? Combien de données seront récoltées par participant? Quelles observations seront exclues ? Quelles conditions seront combinées et lesquelles seront comparées ? En théorie, toutes ces conditions devraient être déterminées avant l’expérimentation. En pratique, elles sont souvent décidées pendant son déroulement, le chercheur testant plusieurs configurations afin de trouver celle qui lui permettra de vérifier son hypothèse. Et c’est là que se situe le problème. Selon les auteurs, à chaque fois qu’une décision concernant la procédure expérimentale est prise sur le moment, l’intégrité des données est affaiblie, et le risque de trouver un effet qui n’existe pas augmente fortement.

Exemples de pratiques susceptibles de faire aboutir à de « faux positifs » : collecter un grand nombre de données afin de pouvoir les analyser de plusieurs manières différentes, contrôler ou ne pas contrôler un résultat, faire varier ou pas une condition expérimentale, reporter ou pas une mesure… Ce n’est pas de la falsification à proprement parler, car les données existent. Elles n’ont pas été fabriquées, mais, selon la métaphore utilisée par Eric-Jan Wagenmakers, de l’université d’Amsterdam, les données sont « torturées jusqu’à ce qu’elles confessent »… et le chercheur omettra de mentionner que ses résultats ont été obtenus par la torture.

Publish or perish : La course à la publication

Faire publier ses travaux est un enjeu crucial pour tout chercheur : la publication apporte reconnaissance, financement et opportunités de carrière. « Le monde de la psychologie sociale est devenu très compétitif, observe Wagenmakers, et des publications à fort impact sont possibles uniquement pour des résultats qui sont vraiment surprenants ».

Pour un chercheur, la logique est simple : s’il ne trouve rien, il ne publiera pas. Si ses résultats sont compliqués, pas très significatifs, ni très originaux, il risque fort de ne pas publier. D’où la « pression trop forte » décrite par Stapel, qui peut mener les chercheurs vers des pratiques discutables. « C’est presque comme si tout le monde était sous stéroïdes. Et pour rivaliser, il faut en prendre aussi. » déclare Jonathan Schooler, psychologue à l’Université de Santa Barbara, dans un article du New York Times.

Le dévoilement de ces récentes affaires a pour effet positif de provoquer dans le monde de la recherche en psychologie de nombreux échanges et réflexions. Aboutiront-ils à des mesures concrètes afin de limiter la fraude ?

NOTES

(1) Cette expérience est une illustration de la théorie de la cognition incarnée, qui s’intéresse à l’influence du corps et de l’environnement sur la pensée.

(2) L’idée de base de la méthode, explique Simonsohn au magazine Nature, est de « voir si les données recueillies sont trop proches de la prédiction théorique, ou s’il y a une trop grande similitude entre plusieurs estimations ».

(3) On peut aussi citer le cas de Marc Hauser qui a démissionné de l’Université de Harvard en 2011.

Partager :

Le Reproducibility Project : on refait les expés ! Comment évaluer la validité d’une expérimentation ? L’une des solutions consiste à reproduire cette expérience dans des conditions identiques. En toute logique, les résultats obtenus devraient être similaires.  Suivant cette idée, Brian Nosek, professeur de psychologie à l’Université de Virginie, a lancé en avril 2012 le Reproducibility Project : il a constitué un groupe de psychologues qui va tenter de reproduire toutes les études publiées en 2008 dans trois revues de psychologie (1), en suivant le plus fidèlement possible le protocole des expériences initiales.

Dans le monde de la recherche en psychologie, la reproduction à l’identique d’études déjà publiées est une pratique peu répandue, pour plusieurs raisons : d’une part, ces travaux n’intéressent guère les revues scientifiques, qui préfèrent mettre en avant des études nouvelles qui présentent des résultats inédits ; d’autre part, ces recherches apportent peu, en terme de reconnaissance et d’évolution de carrière, à ceux qui les réalisent ; ils courent même le risque de se faire des ennemis en mettant en évidence qu’une expérimentation effectuée par un collègue ne s’est pas avérée reproductible…

Nosek précise que le fait de ne pas réussir à reproduire un résultat n’est pas une preuve que ce résultat soit faux. Il n’est pas toujours possible, en effet, de reproduire exactement les conditions d’une expérimentation, et les chercheurs qui effectuent ces reproductions peuvent aussi commettre des erreurs. Il souligne par ailleurs que son but n’est pas de stigmatiser des individus, mais d’appréhender de manière plus globale le phénomène de reproductibilité. L’équipe espère être en mesure de publier l’intégralité de ses résultats au printemps prochain. Nosek reconnait que l’affaire Stapel a été l’un des déclencheurs de son projet. En réaction aux récents scandales, certains psychologues souhaitent désormais encourager les reproductions et leur diffusion. Ainsi, on peut également mentionner l’initiative de Hal Pashler, psychologue à l’université de San Diego, qui a créé avec plusieurs collègues PsychFileDrawer, un site internet qui donne la possibilité aux chercheurs en psychologie de publier leurs tentatives de reproductions d’études déjà publiées. 13 travaux sont aujourd’hui consultables sur le site. Dans seulement 3 cas sur 13, les reproductions sont considérées comme réussies (elles ont abouti aux mêmes conclusions que dans l’expérimentation initiale). Dans les 10 cas restants, la reproduction n’a pas été concluante.

(1) Les trois revues concernées sont Journal of Personality and Social Psychology, Psychological Science, et Journal of Experimental Psychology: Learning, Memory, and Cognition.

Sources

Replication Studies : Bad Copy, article de Ed Yong publié sur le site du magazine Nature le 16 mai 2012 Is psychology about to come undone ? , article de Tom Bartlett publié sur le site de The Chronicle Of Higher Education le 17 avril 2012