« Rien ne marche », Bis repetita?

Une méta-analyse des méta-analyses (dite parapluie) est parue récemment, qui jette le doute sur les programmes RBR.

Fazel, S., Hurton, C., Burghart, M., DeLisi, M., & Yu, R. (2024). An updated evidence synthesis on the Risk-Need-Responsivity (RNR) model: Umbrella review and commentary? Journal of Criminal Justice, 92, Juin. 102197: https://doi.org/10.1016/j.jcrimjus.2024.102197

Ceci a été brandi comme « la preuve » de ce que rien ne marche (par ex: https://www.cgtspip.org/rbr-une-science-exacte-pas-si-exacte/)= et que donc…. donc quoi au juste?

Pour nourrir le débat, je révèle ci-dessous les paragraphes d’un ouvrage que j’écris actuellement (mais mettrai deux à trois ans pour être terminé au vu de mes charges de travail et ma santé) en commentaire de cette méta-analyse, ainsi que d’une autre concernant les mineurs, tout aussi décevante.

Nota: typos incluses. Ceci est un brouillon.

« Revue « parapluie » des méta-analyses portant sur les programmes adultes. Enjeux méthodologiques. Les résultats de ces méta-analyses, quelque peu pléthoriques[1], comme cela est constaté dans divers domaines de la recherche, et venant en contradiction, Fazel et collègues[2] ont décidé de produire une « revue parapluie » (umbrella review)[3] soit le fait de faire la revue des méta-analyses existantes.

Pour ce faire, Fazel et collègues ont recherché les méta-analyses dans PubMed, Psynet et Scopus et la librairie Cochrane elle-même, pour la période allant du 01/01/2002 au 15/12/2022). Ils ont également suivi les chaînes de citations internes à ces revues méta-analytiques. Ils ont ensuite recherché la littérature grise avec les outils Eldis, Google Scholar, et FindPolicy. Les auteurs ont analysé les recherches portant sur les trois principes RBR principaux, et mesuré à la fois la qualité[4] et les biais[5] méthodologiques avec des méthodes validées, sachant que la littérature a relevé les biais d’auto-référence chez les RBRistes, et Fazel et collègues suggèrent d’ailleurs, en nous citant[6], que nous aurions souligné ce travers. Notons que cela ne représente pas exactement le contenu de notre chapitre de livre, lequel appelait surtout à la meilleure fusion des différents modèles, chacun ayant des angles morts et insuffisances et ignorant en particulier les apports de la théorie de l’autodétermination et de la légitimité de la justice-justice procédurale. Les auteurs ont pu identifier ainsi un total 26 méta-analyses portant sur tout ou partie des principes R-B et R qui semblaient toutes établir la validité desdits principes.

Toutefois, les résultats de l’analyse méthodologique et des biais, que les auteurs ont scorés sur une échelle de 1 à 7, ont été très décevants. Sur le principe du risque (sept méta-analyses), les scores étaient toujours en deçà de 2/7 et l’efficacité du principe du R était ainsi difficile à démontrer. Sur le principe des besoins (six méta-analyses), les revues portant directement sur le principe étaient de piètre qualité (de 0 à 2/7). Les revues évaluant des outils étaient de meilleure qualité (de 3 à 7/7). Cependant, la plupart des revues faisaient état d’une grande hétérogénéité des études. Sur le principe dit de la réceptivité générale (soit en réalité le traitement EBP administré), les 15 revues étaient respectivement, faibles pour huit d’entre elles, deux étaient de qualité moyenne et cinq de haute qualité. Sur la réceptivité spéciale (soit la réceptivité intrinsèque), les quatre méta-analyses étaient de qualité faible à moyen (allant de 0 à 3 à 6/7).

Les auteurs en ont conclu que ces mauvais résultats soulevaient « des questions importantes et opportunes concernant la poursuite de la mise en œuvre et l’utilité de la RBR en tant que modèle guidant les services de la chaîne pénale » [7]. Tandis que les RBRistes expliquent les résultats variables des études par le fait que, bien souvent, le principe de fidélité « dans le monde réel » n’est pas observé, alors qu’il l’est lorsque des universitaires sont sur le terrain pour aider à monter et évaluer les programmes, Fazel et collègues estiment, qu’en réalité, il s’agit d’un biais des auteurs eux-mêmes, lesquels produisent systématiquement des études de qualité plus faible. Fazel et collègues vont encore plus loin. Ils estiment qu’il y a un phénomène d’allégeance face à la RBR et notamment de ses outils, lesquels sont commercialisés par les développeurs mêmes des outils (not. pour les canadiens, le LSI-R ou LS-CMI). Ils relèvent « il est à noter qu’un grand nombre des revues [que nous avons inclues] ne traitent pas ou ne font pas état de potentiels conflits d’intérêt ». Notons toutefois précisément que les méthodes utilisées par Fazel et collègues pour scorer la qualité et les biais des études comprenaient précisément des points négatifs pour tenir compte de cette absence de déclaration transparente, ces points ôtés n’étant pas directement reliés à la méthode de la recherche elle-même. Plus gênant, mais ceci peut s’expliquer souvent par les limites en nombre de pages du format des articles internationaux, Fazel et collègues notaient aussi que nombre des revues incluses ne précisaient pas ou pas assez la taille de l’échantillon, ses caractéristiques, le traitement administré au groupe de contrôle, les caractéristiques des études primaires intégrées ou encore la stratégie méta-analytique. De plus, comme noté par d’autres avant eux, les auteurs notent surtout que lesdites études primaires sont rarement des RCT et que, même en présence de tels essais randomisés, leur qualité est elle-même soit obscure soit insuffisante, notamment quant à la spécification et aux conséquences spécifiques des différents TAU des groupes de contrôle. Enfin, les méta-analyses elles-mêmes comparent souvent « torchons et serviettes » dans la mesure où elles réunissent des études primaires portant sur des formes de traitement RBR en réalité très différentes, selon les institutions et pays.

---

[1] Ioannidis J. P. (2016). The Mass Production of Redundant, Misleading, and Conflicted Systematic Reviews and Meta-analyses. The Milbank quarterly, 94(3), 485–514.

[2] Fazel, S., Hurton, C., Burghart, M., DeLisi, M., & Yu, R. (2024). An updated evidence synthesis on the Risk-Need-Responsivity (RNR) model: Umbrella review and commentary? Journal of Criminal Justice, 92, Juin. 102197: https://doi.org/10.1016/j.jcrimjus.2024.102197.

[3] Higgins, J.P.T., Thomas, J., Chandler, J., Cumpston, M., Li, T., Page, M.J., & Welch, V.A. (editors). (2023). Cochrane Handbook for Systematic Reviews of Interventions version 6.4 (updated August). Cochrane, Available from www.training.cochrane.org/handbook.

[4] Shea, B. J., Reeves, B. C., Wells, G., Thuku, M., Hamel, C., Moran, J., Moher, D., Tugwell, P., Welch, V., Kristjansson, E., & Henry, D. A. (2017). AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ (Clinical research ed.), 358, j4008. https://doi.org/10.1136/bmj.j4008.

[5] Whiting, P., Savović, J., Higgins, J. P., Caldwell, D. M., Reeves, B. C., Shea, B., Davies, P., Kleijnen, J., Churchill, R., & ROBIS group (2016). ROBIS: A new tool to assess risk of bias in systematic reviews was developed. Journal of Clinical Epidemiology, 69, 225–234.

[6] Herzog-Evans, M. (2017). The risk-need-responsivity model: Evidence diversity and integrative theory. In P. Ugwudike, P. Raynor, & J. Annison (Eds.), Evidence-based skills in criminal justice (pp. 99–126). Policy Press.

[7] Fazel, S., Hurton, C., Burghart, M., DeLisi, M., & Yu, R. (2024). An updated evidence synthesis on the Risk-Need-Responsivity (RNR) model: Umbrella review and commentary? Journal of Criminal Justice, 92, Juin. 102197: https://doi.org/10.1016/j.jcrimjus.2024.102197, spe. p. 5.

Méta-analyses portant sur les programmes mineurs : déception. D’autres méta-analyses ont porté spécifiquement sur les mineurs et ont eu également des résultats décevants. Ainsi, Kim et collègues[1] ont-ils décidé de répliquer la revue des méta-analyses retentissante de Lipsey et Cullen et publiée en 2007[2] (v. ss n° 08.262), mais en n’incluant que les méta-analyses portant sur les mineurs. En d’autres termes ils ont fait la revue des méta-analyses uniquement. La conclusion la plus large de l’étude était que les méthodes de traitement qui marchent chez les adultes ne marchaient pas chez les mineurs. Le traitement de l’addiction, la formation, la formation professionnelle, l’accès à l’emploi ou les traitement TCC ne marchaient pas chez eux et, au contraire, le groupe de contrôle avait en général des résultats meilleurs. Les mineurs semblaient en revanche bénéficier mieux de probation classique avec « suivi ».

En 2021, Pappas et Dent[3] ont à leur tour fait la revue de 48 méta-analyses et revues de littérature systématiques portant sur l’impact sur les mineurs des programmes de traitement. Elle était un peu plus positive et spécifique. Les méta-analyses devaient rapporter sur des jeunes de 10 à 25 ans, lesquels se voyaient offrir un traitement quelconque dans le cadre d’une sanction pénale ; les études devaient avoir un groupe de contrôle ne recevant pas le traitement ; elles devaient permettre de réaliser un calcul méta-analytique ; elles devaient mesurer les résultats largement (nouvelle condamnation ; nouvelle arrestation ; révocation ou sanction dans le cadre de la mesure en milieu ouvert) elles devaient être rédigées en anglais. Leur conclusion a été que ces programmes avaient un impact significatif sur la réduction de la récidive comparés aux jeunes n’ayant pas suivi de tels programmes : l’impact différentiel était de 17,4%. Cependant, cette réduction variait de manière considérable selon le type de système pénal, les caractéristiques des jeunes, le type de programme et, bien entendu, la qualité méthodologique des recherches (plus elle était élevée, moins l’impact était net). L’impact le plus fort était celui concernant les mineurs délinquants sexuels (réduction de 30,54%) et violent ou auteurs de faits graves (réduction de 25,48%). L’impact était plus maigre chez les délinquants plus généralistes, auteurs de faits moins graves ou en lien avec les stupéfiants. Les auteurs ont également trouvé un impact plus grand des programmes en milieu fermé (trois fois plus élevé) que chez ceux demeurant en milieu ouvert. Ceci est contraire à ce que l’on trouve ordinairement chez les adultes et pourrait être un artéfact du fait que les établissements pour mineurs mettent en place des programmes bien plus élaborés et soutenant que ceux qui sont proposés aux adultes. Les programmes dans le cadre de la probation ou de la prison étaient plus efficaces que les programmes d’accompagnement sociaux dans le cadre de la sortie de prison ou les programmes alternatifs de « diversion » (équivalents aux programmes parquet en France) en lieu et place d’une intervention classique. Vu de France, il est vrai que ces derniers sont généralement plus courts et moins qualitatifs. Enfin, les modalités mêmes des programmes qui marchaient chez les mineurs étaient en partie différents de ce qui marchent habituellement chez les adultes, mis à part les TCC qui étaient également efficaces. Il s’agissait des thérapies multi-systémiques, des traitements focalisés sur la famille, de la justice restaurative et même… de la thérapie par la nature (wilderness therapy) souvent considérée comme étant du charlatanisme[4].

En 2022, autre méta-analyse[5] parvient similairement aux mêmes conclusions s’agissant des mineurs. Les auteurs en déduisent toutefois une critique globale du modèle lui-même, plutôt qu’une critique de son application pour les mineurs. En effet, concrètement, ils n’ont pas trouvé d’efficacité du principe du risque et du principe des besoins comparées à des interventions ne retenant pas ce principe. La seule exception tenait à l’antisocialité et aux loisirs antisociaux.

En 2021, une autre revue méta-analytique[6] a montré qu’aucune intervention psychosociale mise en œuvre avec des mineurs, qu’il s’agisse des TCC, des thérapies familiales telles que la FFT (Functional Family Therapy ; Thérapie Familiale Fonctionnelle) ou encore la MDFT (Multidimensional Family Therapy; Thérapie Familiale Multidimensionnelle) et la MST (Multisystemic Therapy ; Thérapie Multisystémique) n’obtenaient pas des résultats supérieurs en termes de récidive des mineurs que les groupes de contrôle. Le coup est dur alors que l’on pensait jusque-là que ces méthodes étaient efficaces[7]. Il est possible, comme c’est très souvent le cas, que la mise en œuvre pratique n’ait pas été fidèle aux modèles d’origine ou gênés par des problèmes institutionnels, juridiques ou en termes de compétences des praticiens.

---

[1] Kim, B., Merlo, A. V., & Benekos, P. J. (2013). Effective Correctional Intervention Programmes for Juveniles: Review and Synthesis of Meta-Analytic Evidence. International Journal of Police Science & Management, 15(3), 169–189.

[2] Lipsey, M. W., & Cullen, F. T. (2007). The effectiveness of correctional rehabilitation: A review of systematic reviews. Annual Review of Law and Social Science, 3, 297–320.

[3] Pappas, L.N., Dent, A.L. (2021). The 40-year debate: a meta-review on what works for juvenile offenders. Journal of Experimental Criminology, 12:1-30. doi: 10.1007/s11292-021-09472-z.

[4] Gendreau, P., Smith, P. & Theriault, Y. (2009). Chaos theory and correctional treatment. Common sense, correctional quackery, and the law of fartcatchers. Journal of Contemporary Criminal Justice, 25 (4), 384-396.

[5] Bijlsma, A. M. E., Assink, M., Stams, G. J. J. M., & van der Put, C. E. (2022). A Critical Evaluation of the Risk, Need, and Responsivity Principles in Family Interventions for Delinquent Youth: A Meta-Analysis. Criminal Justice Review, 0(0). https://doi.org/10.1177/07340168221140830.

[6] Olsson, T. M., Långström, N.,Skoog, T., Löfholm, A., Leander, C., Brolund, L., Ringborg, A., Nykänen, A., Syversson, A., &  Sundell, K. (2021). Systematic review and meta-analysis of noninstitutional psychosocial interventions to prevent juvenile criminal recidivism. Journal of Consulting and Clinical Psychology, 89(6), 514-527

[7] Trotter, C. (2013). Collaborative family work : A practical guide to working with families in the human services. Allen & Uwin; Bonta, J. & Andrews, D.A. (2023). The psychology of crim inal conduct. Sage, 7e ed.

Méta-analyses récentes : analyse de la déception. Concernant les adultes, les programmes en question ne concernaient que le traitement hors toute préparation de la sortie sur le plan psycho-social. Ce point est essentiel : la prison n’est pas « l’occasion » d’un traitement, mais une institution, nous l’avons vu, qui augmente par elle-même la récidive. Elle nécessite, pour compenser une partie de ses effets criminogènes, a minima une restauration de la situation sociale de la personne (logement, santé, droits sociaux, revenus, emploi, etc.), voire une amélioration sensible de celle-ci. Si le présent ouvrage met l’accent sur la dimension psycho-criminologique du traitement, il ne faudrait en aucun cas en conclure que cela signifie que nous niions la nature essentielle, voire vitale du travail social actif – bien plus actif qu’une vision quelque peu romantique du passé le suggère trop souvent – et réel et sérieux et ceci est a fortiori vrai en milieu fermé.

Un autre point essentiel est que des études ont montré que les soi-disant programmes TCC mis en œuvre dans la justice pénale ne faisaient en réalité que très peu usage des techniques TCC, faute pour les agents de probation et même certains thérapeutes d’avoir été formés et d’avoir l’expérience clinique nécessaire[1]. La formation initiale suffisante, dans le cadre universitaire LMD, plutôt que des formations rapides et institutionnelles, est indispensable pour monter très sérieusement d’un cran en la matière. Les agents de probation doivent être des travailleurs sociaux, des criminologues et des « superpsy. » tout à la fois, ou le traitement doit être programmatique et en équipe de spécialistes formés de manière appropriée dans les EBP en travail social, criminologie et psychologie.

Cependant, une autre critique a été faite par des opposants au modèle RBR : celui-ci et ses programmes reposent sur l’idée que l’on sait vraiment ce qui cause la délinquance. Or si les variables RBR sont utiles pour prédire la récidive, en revanche, ils ne sont pas suffisamment adossés aux causes du crime[2]. Cette critique est exacte : le modèle RBR renvoie à un seul modèle théorique criminologique, l’apprentissage social et son ancêtre, l’association différentielle. Il néglige – volontairement par rejet de la criminologie ? – des modèles criminologiques autres (par ex. le Strain, le social bond). Il néglige aussi nombre de dimensions psychologiques (par ex. psychologie sociale, autodétermination et motivation humaine) ou des modèles théoriques validés relatifs à certaines infractions en particulier (par ex. violence ou délinquance sexuelle) ou encore au genre. Ce n’est pas qu’une argutie de scientifiques : l’on n’aura de programme avec suffisamment de breadth et d’efficacité que lorsqu’on aura une idée complète et intégrée de ce qui crée la délinquance. Ceci ne peut se définir que dans le contexte RBR ; quand bien même c’est le seul qui produit des résultats réels, mais modestes nous venons de le voir, sur la délinquance.

S’agissant de la méta-analyse de 2024, il est tout d’abord important de souligner que les auteurs ne visaient pas le traitement classique, mais les interventions familiales reposant sur ces bases. Il est donc tout à fait possible que pour les mineurs, les interventions familiales représentent une unité de traitement à part du modèle RBR, qui s’ajoute à celui-ci et répond à ses propres principes. En outre, la méta-analyse de 2024 confirme bien que la dimension antisociale demeure une cible pertinente, or c’est le cœur du modèle RBR, ainsi d’ailleurs que de bien des théories macro-criminologiques les plus validées (not. self-control et social learning). Enfin, les auteurs ont examiné les loisirs, non pas sous l’angle problématique, comme nous l’avons vu, de l’existence de loisirs encadrés, mais sous l’angle de l’antisocialité. Les mineurs ont des temps de loisir bien supérieurs aux adultes et ces loisirs représentent une opportunité de relations avec des pairs antisociaux. Il n’est dès lors pas surprenant que ce facteur soit important dans leur cas particulier.

Reste que la revue « parapluie » de 2024 soulève la question de la méthodologie insuffisante de la plupart des recherches plus anciennes dans un contexte où la qualité des méthodes de recherche devient de plus en plus exigeante. Or, sur le terrain, il n’est pas possible, la plupart du temps, de mener les recherches de haute volée qui peuvent seules apporter une démonstration. Les terrains sont complexes, les institutions frileuses pour ne pas dire résistantes, le fonctionnement de celles-ci doit pouvoir continuer, des obstacles juridiques et éthiques s’opposent très souvent à la randomisation, les échantillons sont trop petits, etc. Pour la France, la bureaucratie soviétique, y compris et surtout à l’université, empêche que se déroule toute recherche efficace. De plus, les revues scientifiques sont particulièrement contraignantes en termes de nombre de mots et pages et il est le plus souvent impossible, dès lors, de restituer avec suffisamment de précision la méthodologie, la nature des traitements, etc. Il serait dès lors excessif de parler d’un nouvel « Nothing Works », mais il est certain qu’une réflexion institutionnelle et internationale existe en la matière.

Rappelons également que « la RBR » n’est pas que le R, le B et le R. Ces trois principes sont logés au milieu d’une quinzaine de « overreaching principles », parmi lesquels, des principes chers à certains opposants, tels que le focus sur le milieu ouvert, sur la prévention, sur les « services humains » (donc éducation et travail social), ou encore l’éthique et le management adéquat. Surtout, la RBR a inventé les « CCP » que certains, malhonnêtes, opposent à la RBR. Les CCP font partie des overreaching principles et contiennent notamment la relation thérapeutique. Faut-il rappeler que c’est par là que les RBRistes et parmi eux, Andrews dès 1975, ont commencé? Faire la méta-analyse de seulement trois des principes – ou ne mettre en œuvre que ces trois principes – est à la fois incorrect et injuste.

Que faire, dès lors, de ces résultats ? D’abord, clairement, financer la recherche d’envergure, rigoureuse et totalement indépendante des institutions – ce qui n’existe absolument pas en France – lesdites institutions devant reposer sur un principe de transparence absolu des services publics. Imposer à ce titre que les institutions se plient à des protocoles incluant la randomisation et prévoir, enfin, de financer les études longitudinales qu’il est honteux que nous ne dispositions pas en France. Enfin, créer enfin les facultés de psycho-criminologie forensique (ou forensic social sciences) qui font défaut à notre pays pour produire des praticiens réellement capables de tenir des entretiens cliniques, de suivre les données EBP en psychologie, criminologie et autres matières forensiques et de les mettre en œuvre. A partir de ce vivier qui produira les chercheurs et laboratoires en nombre dont nous avons besoin, expérimenter des méthodes thérapeutiques innovantes (par ex. la thérapie des schémas) dans les domaines où, pour l’heure, nous sommes inaptes à produire des résultats (violence domestique, troubles du Cluster B, justiciables à haut risque de récidive et autres LCP), limitant considérablement les perspectives de réduction drastiques de la récidive.

Enfin, il faut améliorer le modèle RBR qui n’est qu’un « gros patron » devant se connecter à l’ensemble des macro-théories criminologiques qui ont été validés (not. Social bond, self-control) et ne sont pas intégrées dans ce modèle. Cet ouvrage a également montré que la RBR comporte une série de « trous de gruyères », dans le domaine du genre, de la diversité, des infractions spéciales et leurs facteurs propres (ex. identité et besoin de clôture et terrorisme). Le modèle pointe par ailleurs des facteurs institutionnels dans la difficulté à mettre en œuvre les programmes, mais ne s’appuie pas sur les sciences du management et des institutions. Il évoque la nécessité d’une alliance thérapeutique, mais n’a pas suffisamment utilisé les conditions de l’alliance dans la littérature qui y a trait. Il serait absurde de mander à un modèle créé par quelques personnes, d’avoir bouché tous les trous et anticipé tout. Les critiques ont raison de critiquer, mais ne sont pas ceux qui s’attèlent à la création d’un modèle alternatif – le présent ouvrage montrera infra l’inanité du modèle GLM – ou, mieux, à l’amélioration du modèle RBR.

Une conclusion que nous ne pouvons tirer sans nous exposer à commettre la même erreur funeste que post Martinson aux USA, serait de conclure que puisque la science ne fonctionne en réalité pas ou n’en est pas, il faut laisser tomber. Au moment où le populisme l’emporte, nous risquerions de réitérer la conclusion qui fut naguère tirée par les républicains : « puisque rien ne marche, mettons tout le monde en détention et jetons la clef ». Certains voudraient nous renvoyer uniquement au travail social dont la décennies Martinson a, au contraire, montré l’incapacité à réduire la récidive. Le travail social est indispensable pour ce qui concerne la réceptivité et s’impose pour des raisons évidentes de droits humains. Il serait dès lors irresponsable de conclure, à l’inverse des républicains, mais de manière naïve – et hélas en plus inaudible à l’heure actuelle – que « puisque rien ne marche, faisons de l’accès au droit et du travail social ».

---

[1] Gannon, T.A., Olver, M.E., Mallion, J.S. & James, M. (2019). Does specialized psychological treatment for offending reduce recidivism? A meta-analysis examining staff and program variables as predictors of treatment effectiveness? Clinical Psychology Review, 73, Nov., 101752, https://doi.org/10.1016/j.cpr.2019.101752.

[2] Ward, T., Arrigo, B., Barnao, M., Beech, A., Brown, D.A., Cording, J., Day, A., Durrant, R., Gannon, T.A., Hart, S.D., Prescott, D., Straus-Hughes, A., Tamatea, A. & Taxman, F. (2022). Urgent issues and prospects in correctional rehabilitation practice and research. Legal & Criminological Psychology, 00, 1-26. »

Réponse de Jim Bonta. La méta-analyse de Fazel et alii ayant choqué par ces résultats particulièrement médiocres, la revue The International Association for Correctional and Forensic Psychology Bulletin a décidé de publier un numéro sur ce sujet[1]. Elle a d’abord présenté de manière très honnête et précise, les résultats de Fazel et alii. Ensuite, la revue a demandé à Jim Bonta de s’exprimer. Celui-ci a pointé toute une série d’erreur de béotien dans la compréhension du modèle RBR, ainsi que des biais et perfidies (notre terminologie).

La méta-analyse de Fazel et alii ayant choqué par ces résultats particulièrement médiocres, la revue The International Association for Correctional and Forensic Psychology Bulletin a décidé de publier un numéro sur ce sujet[1]. Elle a d’abord présenté de manière très honnête et précise, les résultats de Fazel et alii. Ensuite, la revue a demandé à Jim Bonta de s’exprimer. Celui-ci a pointé toute une série d’erreur de béotien dans la compréhension du modèle RBR, ainsi que des biais et perfidies (notre terminologie).

En premier lieu, Fazel et alii ont analysé le principe du risque en ne se basant que sur les résultats pour les seuls usagers à bas et hauts risques. C’est mal interpréter le principe du risque qui est en réalité un principe de dosage, comme le présent ouvrage l’a écrit à de multiples reprises. La RBR n’est pas, faut-il le rappeler à nouveau, un principe de divination en mode Minority Report, mais une méthode de traitement. Dès lors, ce qu’il aurait fallu faire est de vérifier le dosage pour chaque catégorie et le lien entre ce dosage adéquat et ces catégories.

Ensuite, les auteurs ont également montré une méconnaissance du principe des besoins, puisqu’ils n’ont inclus que les études qui vérifiaient la validité prédictive des besoins. Or si les besoins peuvent contribuer à la prédiction, ce n’est pas ce que le principe des besoins signifie et nous l’avons écrit maintes fois en effet dans le présent ouvrage. Le principe des besoins consiste à viser les cibles pertinentes du traitement. Ce qu’il aurait fallu faire, ici, était de vérifier si les cibles criminogènes, lorsqu’elles étaient effectivement traitées, réduisaient la récidive.

Enfin, ajoute à juste titre Bonta, ,le principe de réceptivité spéciale (pour nous, dans le présent ouvrage, le principe de réceptivité intrinsèque), Fazel et collègues ont encore commis une erreur d’interprétation. Ils ont en effet focalisé leur attention sur le fait de terminer de manière satisfaisante le traitement et en ont fait la mesure du résultat positif. C’est confondre la réceptivité intrinsèque et le risque estime Bonta. A notre sens, s’il s’agit effectivement de prime abord, d’un élément de la réceptivité intrinsèque, cela peut dissimuler de la sur-adaptation et une compliance feinte. De plus et surtout, le fait de terminer sans accroc une mesure doit tout autant, sinon plus, à la qualité d’un programme, à la relation thérapeutique, à la nature de l’institution et de son fonctionnement, comme, par exemple, la capacité à allouer les bonnes personnes dans le traitement – ce qui renvoie aussi bien au risque (dosage) qu’aux besoins (ciblage), ainsi qu’à la réceptivité extrinsèque au sens retenu par le présent ouvrage . Nous avons vu, en outre, que l’attrition est en grande partie causée par des facteurs institutionnels, de politiques pénales et chez, nous judiciaire, par la pratique plus ou moins active des retraits et révocations.

S’agissant des questions de méthodologie, Bonta accuse à son tour. Il estime que Fazel et collègues demandent à la recherche RBR l’impossible. Il est exigé une perfection inatteignable, i.e. qu’elles incluent tous les principes, tous les aspects de la méthodologie ainsi que tous les aspects théoriques. Or, aucune étude, pas plus d’ailleurs qu’aucune revue de littérature, ne peut achever cela, surtout, comme nous l’avons souligné supra, parce les pages des revues scientifiques sont généralement en nombre très limité. D’ailleurs, Fazel et alii disent qu’il est regrettable de se baser sur un seul principe et c’est pourtant ce qu’ils font, dès lors qu’ils ont étudié séparément chacun des principes, dont la RBR dit pourtant clairement qu’il produit des résultats insuffisants à eux seuls. Rappelons, en effet, qu’il faut l’utilisation des trois principes, ainsi que des autres overreaching principles (soit un total de quinze) pour espérer obtenir un résultat.

Enfin, l’accusation de biais est revenu chez Fazel et alii à condamner toutes les recherches RBR, comme biaisés. Or, à l’inverse, seuls les travaux de Fazel et collègues sont quant à eux cités dans leur Figure 4, un biais favorable à son propre travail, en somme. De plus, elles sont toutes des études de prédiction – donc loin du sujet prétendument traité.

---

[1] The International Association for Correctional and Forensic Psychology Bulletin, 2024, July/August.

Commentaires d’autres experts.

La revue The International Association for Correctional and Forensic Psychology Bulletin a ensuite demandé à un panel d’experts d’analyser à leur tour les résultats. Comme Bonta, les auteurs pointent à la fois des malhonnêtetés et des incompréhensions scientifiques.

S’agissant de Paul Gendreau, un RBRIste, qui indique écrire avec Bonta. Celui-ci note principalement que Fazel et collègues se bornent à des « coups bas » (cheap shot) quant à des conflits économiques et concluent de manière très Martinsonienne que, plus, rien ne marcherait. Clairement pour ces derniers, seule compte la méthodologie des recherches, sans qu’il soit à aucun moment prêté attention à la qualité de la mise en œuvre des traitements. C’est effectivement le commentaire que nous avons fait supra (ss n° 008.269). Nous savons en effet que la RBR n’est que rarement mise en œuvre, même lorsqu’il est prétendu qu’elle le soit. Ceci est plus vrai encore en France.

De plus, l’étude, il accuse aussi Fazel et collègues sur le plan méthodologique. D’abord, ils ignorent les études de réplication nombreuses, et indépendantes, des études initiales de Bonta et collègues, à les supposer biaisées. C’est pourtant bien par la réplication que l’on teste en science. De plus, la présentation des résultats de Fazel et collègues est incompréhensible aux non-mathématiciens, alors que la RBR, elle, a toujours fait attention à présenter ses résultats d’une manière claire pour les décideurs et praticiens.

A son tour, Mark Olver critique et la méthodologie et l’attitude de Fazel et collègues.

Quant à la méthode, les mots clefs sont lacunaires. Une vérification révèle qu’ils ne figurent en réalité même pas dans l’article, mais dans un « appendice ». La consultation de l’appendice, téléchargé en retournant sur le site, confirme cette impression. Ensuite, estime Olver, les interpretations des résultats des études sont « idiosyncratiques », soient tout à fait personnelles pour ne pas dire uniques et bizarres. En d’autres termes, ce n’est pas ce que conclurait toute autre personne. Les conclusions de Fazel et alii sont, dès lors, exagérées. Comme nous, Olver observe que ces derniers ne proposent aucune alternative viable. Sur le plan de la méthode, surtout, Fazel et alii ignorent une multitude de recherches, dont des méta-analyses incluant des centaines d’études ayant eu des effets positifs, sous prétexte que les auteurs seraient tous biaisés. Il dit « There are probably close to 1,000 replications of RNR in some form over the last 35 years from around the world”[1] (« il y a eu probablement pas loin de 1000 réplications de la RBR sous une forme ou une autre depuis 35 ans à travers le monde »). Notons, pour notre part, que Fazel et alii sont tout autant biaisés contre la RBR. Faudrait-il dès lors que des armées de nouveaux auteurs se mettent à produire de la littérature à partir de rien, pour éviter et le biais pro et le biais anti-RBR ?! Avec pareil exigence, nous n’avancerons jamais. D’ailleurs, Olver estime que leurs conclusions « sont irresponsables ».[2]

Sans surprise, Franck Porporino, s’il se dit en accord total avec Mark Olver, estime, lui, qu’il y a bien une alternative, la GLM. Nous évoquerons infra dans le présent ouvrage qu’il n’en est hélas rien, que ce soit sur le plan théorique ou sur le plan empirique, quand bien même nous retenons, pour notre, part, que les supporteurs de la GLM ont au moins pour intérêt, mais en même temps quelque culot, de pointer quelques lacunes théoriques dans la RBR. Porporino prône le « pluralisme moderne », ce qui est assez proche de ce que nous avons proposé de notre côté[3]. Joël Dvoskin soutient la même idée dans le numéro spécial ici commenté. Enfin, Devon Polaschek, estime que l’article de Fazel et alii présentent « certains aspects conceptuels sont également, de manière troublante, assez bancals » (« there are some disturbingly wonky conceptual angles too »[4]). Pour l’essentiel, elle pointe les mêmes erreurs de béotiens que les autres commentateurs. Elle spécifie une autre erreur : Fazel et alii prétendent tester le principe des besoins (donc un principe de ciblage) non seulement dans le cadre d’une confusion avec le risque, mais à l’aide des études vérifiant la validité prédictive des outils risque-besoins. On ne peut faire pire amalgame en effet. A ce stade on dépasse le proverbial mélange torchons-serviettes pour mélanger torchons et arbres. Polaschek conclut sobrement, mais fermement que selon elle ce n’est seulement qu’il s’agit pour Fazel et alii de détruire l’état de la connaissance, mais que, tout simplement, il ne comprend même pas ce qu’est la RBR.

Enfin, si Fazel et alii ont, à notre sens, raison d’insister sur l’importance des essais randomisés, Polaschek rappelle qu’ils ne sont pas toujours sans biais eux-mêmes, à commencer par le fait qu’ils ne peuvent être en double aveugle, contrairement à la médecine, en contexte pénal.

Ce n’est pas sans un sourire que nous avons, enfin, découvert, que Devon Polaschek utilise la même métaphore du cancer que nous. Elle indique qu’elle aimerait bien voir la tête des médecins présents à une conférence sur le cancer, une personne présenter des conclusions similaires à Fazel et alii et suggérer ensuite que l’on doit arrêter de mettre en œuvre les traitements du cancer actuels en attendant d’en savoir plus.

---

[1] Ibid, p. 10.

[2] Ibid, p. 10.

[3] Herzog-Evans, (2018). RNR, Evidence diversity and integrative theory. In P. Ugwudike, P. Raynor & J. Annison (Eds.) Evidence-Based Skills in Criminal Justice. International Research Supporting Rehabilitation and Desistance [pp. 99–126.] Policy Press.

[4] Ibid, p. 11.

Post scriptum (pas dans le livre)

On me souffle dans l’oreillette que d’aucun voudraient non pas retourner au travail social (inexistant ou presqu’en réalité) ou nous renvoyer à la détention pour tous, mais à leur propre « marc de café »-homéopathie-Mme Soleil, soit la psychanalyse.

En somme le discours commun est « puisque la science est complexe, trop à mon goût, qu’elle met du temps à avancer, et que je préfère, comme les populistes le binaire et simpliste, c’est « donc » que les solutions focalisés sur un type de facteur only (cherchez la mère only; restaurez le logement ou emploi only; fouttez moi tout le monde en taule, only) – qui pourtant ont été largement invalidés depuis des décennies, mais chut, il ne faut pas le dire – doivent être mises en oeuvre.

Dans le monde post-truth dans lequel nous vivons, où tout est dans tout et inversement et la culture scientifique nulle, ou écartée d’un revers de main, chacun privilégie la solution magique/religieuse à laquelle il « croit », parce que cela arrange son idéologie (de droite ou de gauche, ou du centre qui est surtout le premier) ou son fonds de commerce professionnel (travail social non-evidence based à l’ancienne ou psychanalyse).

Aucun des simplistes de tous bords ne participe à la recherche, la vraie, la difficile, la complexe.

Les méta-analyses sont indispensables, mais les auteurs quantitativistes, admirables, certes, ont souvent des conclusions assez simplistes eux-aussi, car ils ne se colletinnent généralement pas les institutions, les praticiens, les terrains et leur nature « very messy », au contraire de nombre de qualitativistes. Faye Taxman a raison: « nothing is implemented » est le vrai problème. Mes modestes recherches me le jettent en pleine figure sans arrêt et ce, de manière choquante, hillarante (jaune) et toujours inquiétante.

La solution côté praticiens est dans des formations initiales SOLIDES, COMPLETES, MULTI-DISCIPLINAIRES, dans de facultés renouvelées, qui arrêteraient de nous faire passer la moitié de notre temps dans des process bureaucratiques Ubuesques et nous redonneraient le temps de la recherche et de l’enseignement. L’enseignement des sciences humaines avec dimension appliquée (droit, psycho et crimino, mais aussi travail social qui, soi-dit en passant n’est scandaleusement pas enseigné à l’université en France et est donc totalement détaché, lui aussi, des preuves empiriques « EBP ») devrait comprendre des travaux pratiques. Nous ne pouvons plus enseigner que de la théorie et ensuite envoyer des étudiants en stage en en attendant une « pratique » à laquelle ils n’ont pas été préparés. Cela revient à mettre un copilote dans un avion qui n’aura eu que des heures théoriques , puis lui passer les commandes une fois en l’air « pour lui apprendre la pratique ».

Quand nous mettrons-nous enfin à des politiques systémiques ambitieuses?