Fidélité test-retest : pourquoi votre résultat change d’une fois sur l’autre

C’est l’une des objections les plus fréquentes, et l’une des mieux fondées : une personne repasse un questionnaire quelques mois après le premier, et obtient un autre résultat. Une lettre a changé, ou une couleur dominante. La conclusion paraît évidente — si l’instrument ne se répète pas, il ne mesure rien.

La conclusion est trop rapide, mais la constatation est juste, et elle mérite mieux qu’une réponse embarrassée en fin d’atelier. Ce qui bouge n’est pas ce qu’on croit.

Ce que les spécialistes appellent la fidélité

En psychométrie, la fidélité test-retest désigne la stabilité d’une mesure répétée sur les mêmes personnes, à quelques semaines d’intervalle. C’est un critère de qualité distinct de la validité, qui pose une tout autre question : l’instrument mesure-t-il ce qu’il prétend mesurer.

Un thermomètre peut être très fidèle — il donne toujours le même chiffre — tout en étant mal étalonné, donc invalide. L’inverse existe aussi. Les deux critères se vérifient séparément, et un questionnaire sérieux publie les deux dans sa documentation technique. Quand cette documentation n’existe pas, ou qu’elle n’est pas consultable, c’est en soi une information.

La cause principale : la coupure au milieu

Voici le point que les restitutions expliquent rarement, et qui règle l’essentiel de la question.

Les grilles qui produisent des types — quatre lettres, une couleur dominante — ne mesurent pas des cases. Elles mesurent des scores sur des échelles continues, puis tracent une frontière au milieu de chaque échelle pour en tirer une étiquette. Quelqu’un dont le score se situe à trois points au-dessus de la coupure reçoit une lettre ; à trois points en dessous, il en reçoit une autre.

Or beaucoup de gens se situent près du milieu. Ils ne sont ni franchement l’un ni franchement l’autre, ce qui est parfaitement banal : c’est ainsi que se distribuent les traits humains, en cloche, avec une majorité au centre. Pour ces personnes, une variation minime — trois questions répondues autrement — fait basculer l’étiquette.

Le questionnaire n’est donc pas instable. C’est le découpage en types qui est instable près de la frontière, et il l’est par construction. Les travaux publiés sur la reprise du test des seize types donnent d’ailleurs des proportions de changement élevées, et ce résultat n’a rien de surprenant une fois le mécanisme compris. Ce que le test des seize personnalités fait exactement inclut cette coupure, et c’est elle qui produit l’effet.

Un modèle qui restitue des scores plutôt que des cases ne connaît pas ce problème : entre 52 et 48, il affiche 52 puis 48, et personne n’a l’impression d’avoir changé de nature.

Les autres causes, plus prosaïques

La consigne. « Répondez comme vous êtes au travail » et « répondez comme vous êtes en général » ne donnent pas le même profil, et c’est normal. Beaucoup de passations en ligne ne précisent aucun cadre ; la personne choisit alors elle-même, sans le savoir, et pas forcément le même d’une fois sur l’autre.

Le moment. Un questionnaire rempli pendant une période tendue, ou juste après un entretien difficile, capte une part de circonstances. L’effet est réel mais modeste, et il s’atténue dès qu’on répond en pensant à ses habitudes plutôt qu’à la semaine écoulée.

La connaissance du modèle. Quelqu’un qui a suivi un atelier, appris ce que signifient les couleurs ou les lettres, et qui repasse le test ensuite, ne répond plus tout à fait naïvement. Il répond en partie à l’image qu’il s’est faite de lui-même. Ce biais est le moins étudié et probablement le plus puissant en entreprise, où la passation collective suit souvent une présentation du modèle.

Le changement réel. Il existe. Un changement de poste, une prise de responsabilité, un événement personnel modifient durablement des comportements. À l’échelle de quelques années, ce n’est pas du bruit de mesure : c’est ce que le modèle est censé enregistrer.

Ce qui, en revanche, bouge peu

Si l’on regarde les scores au lieu des étiquettes, le tableau change du tout au tout. Une personne très marquée sur une dimension le reste. Celle qui obtient un score extrême sur l’orientation vers le résultat ne se retrouvera pas l’année suivante à l’autre bout de l’échelle. Les profils nets sont stables ; ce sont les profils médians qui semblent changer, parce qu’eux seuls traversent la frontière.

Cette observation suffit à guider l’usage. Un résultat très marqué peut être pris au sérieux. Un résultat serré doit être lu pour ce qu’il est : cette dimension n’est pas discriminante chez cette personne, et c’est une information en soi — pas une lettre à retenir.

Ce qu’il faut en faire concrètement

Demandez les scores, pas seulement le type. Tout questionnaire sérieux les fournit ; s’ils ne sont pas restitués, c’est un choix de présentation, pas une impossibilité technique.

Ne décidez rien d’important sur une passation unique, et surtout pas en recrutement — ni sur deux, d’ailleurs. Un questionnaire déclaratif indique une piste d’entretien, il ne départage pas deux candidats.

Si le résultat vous surprend, ne repassez pas le test immédiatement : relisez les scores intermédiaires. La surprise vient presque toujours d’une dimension serrée, et la deuxième passation ne fera que déplacer la même pièce de trois points.

Enfin, méfiez-vous du soulagement. Beaucoup de gens repassent un test jusqu’à obtenir le profil qui leur plaît, puis s’arrêtent. C’est humain, et c’est le seul usage qui rende réellement l’instrument inutile — bien plus sûrement que les quatre tendances de comportement ou n’importe quel autre modèle ne pourraient le faire par eux-mêmes.