Formule de l'engagement collaborateur : comment calculer un score sur 10

Un score d'engagement collaborateur de 7,2, pris tout seul, ne dit pas grand-chose.

La direction RH affiche le chiffre à l'écran dans la salle du conseil, un administrateur hoche la tête d'un air approbateur, un autre demande s'il y a lieu de s'inquiéter.

Et justement, y a-t-il lieu de s'inquiéter ?

Tout dépend des questions qui composent l'indice, de la façon dont l'entreprise a converti des réponses sur une échelle d'accord à 5 points en un nombre de 0 à 10, et du chemin parcouru pour arriver au chiffre final.

Autre question : toutes les dimensions du score pesaient-elles le même poids ? Et si oui, pourquoi ?

Malgré tout cela, les scores d'engagement sont souvent présentés comme des chiffres de revenus vérifiés et gravés dans le marbre.

Dans les faits, bien peu de gens autour de la table seraient capables de refaire le calcul si on le leur demandait. Et le jour où un administrateur vous demande de défendre le chiffre, c'est là que ça devient inconfortable.

Comme leader RH, il vous faut plus qu'un chiffre qui fait bonne figure sur le papier.

Ce que veut vraiment dire un 7,2

Vous savez déjà que l'engagement et la satisfaction, ce n'est pas la même chose. Vous comprenez donc pourquoi il faut, d'une part, poser les bonnes questions pour mesurer chaque variable et, d'autre part, saisir comment ces variables se comportent sur le plan méthodologique.

C'est important, parce que les questions sur la satisfaction fonctionnent comme des mesures d'état : elles fluctuent comme la météo.

À l'inverse, les questions qui mesurent la recommandation ou l'intention relèvent plutôt des attitudes.

Quand on mélange tous ces items dans une seule échelle d'engagement, c'est la météo qui finit par influencer vos tendances.

Un score d'engagement de 7,2, de 6,5 ou de 8,2 sur 10, ce n'est PAS la réponse à une seule question de l'enquête. C'est un indice composite.

Comme l'engagement est un construit latent - on ne peut pas l'observer directement -, on le mesure au moyen d'indicateurs comme la fierté, la recommandation et l'intention de rester. Et chacun de ces indicateurs amène avec lui une erreur de mesure.

Le problème ? Vos données d'enquête contiennent donc une erreur de mesure et peuvent être moins fiables.

Pour contrer ce manque de fiabilité, mieux vaut utiliser plusieurs items. Comme l'explique Robert F. DeVellis dans son livre Scale Development, combiner plusieurs items bien conçus permet d'annuler, en moyenne, le « bruit » propre à une question isolée.

À l'inverse, si vous mesuriez l'engagement avec une seule question, toute la variance liée à cette question déteindrait sur le score global. Cette variance peut venir du libellé de la question, par exemple, qui déconcerte les répondants d'une manière ou d'une autre.

Alors, que veut dire un 7,2 ?

Cela veut dire qu'une fois toutes les moyennes ramenées par la plateforme sur la même échelle standard de 0 à 10, la moyenne pondérée des positions choisies par les salariés à nos questions sur les métriques d'engagement s'établit à 7,2.

Un 7,2 ne veut PAS dire que 72 % des salariés sont engagés.

Et ce n'est pas non plus une note de type B.

La nuance compte, parce qu'une personne va lire un 7,2 comme un 72 %, une autre comme un B. Cela complique les choses au moment de traduire le score en quelque chose d'intuitif pour une présentation au conseil.

Comment l'expliquer en une phrase à un administrateur, ou à quiconque veut une explication simple ?

Dites qu'il s'agit de la moyenne pondérée de la position que les salariés ont choisie (en moyenne) à nos questions sur l'engagement.

Quels sont les 4 piliers derrière un score d'engagement ?

Reprenons du début. Comme on l'a dit, il n'existe pas de modèle d'engagement universel. Méfiez-vous des fournisseurs qui prétendent le contraire.

Il y a de fortes chances qu'ils cherchent surtout à vous vendre leur questionnaire tout fait.

Cela dit, la plupart des modèles d'engagement défendables tournent autour de 4 résultats clés : le fait que les salariés parlent en bien de leur employeur, le sentiment que leur travail a un sens plus large, l'effort discrétionnaire et l'envie de rester dans l'organisation.

Certains appellent ces piliers « Say, Stay, Strive ». D'autres intègrent le sens à la dimension de la fierté. À vous de trancher pour votre entreprise, mais gardez en tête que ce choix change la pondération attribuée à chaque pilier.

À ce stade, vous vous demandez peut-être comment ces « exemples d'items » s'insèrent dans l'enquête d'engagement globale. Influencent-ils le score global ?

Oui, mais d'autres facteurs pèsent encore plus lourd que votre système de pondération.

Prenons l'item « Je travaille toujours plus fort que ce qu'on attend de moi ». Il est extrêmement susceptible d'être déformé par la pression de la charge de travail et par le biais de désirabilité sociale. Si votre service manque de personnel, ce chiffre va monter au moment même où la situation se dégrade, ce qui gonfle votre score global d'une manière qui n'a aucun sens.

Même chose pour les items liés au bonheur au travail : ils sont sensibles à des facteurs externes comme l'humeur, la saison et ce qui s'est passé dans les deux semaines avant le lancement de l'enquête.

Dans le même esprit, méfiez-vous des questions doubles, du genre « mon manager me soutient et me donne des feedback utiles ». Le collaborateur pour qui seulement la moitié de l'énoncé est vraie ne sait plus quoi répondre.

Prudence aussi avec les items à codage inversé, utilisés pour contrer l'acquiescement. Ils forment souvent un facteur à part, ce qui peut nuire à la dimension à laquelle ils appartiennent.

La méta-analyse de Gallup montre que des mesures d'engagement collaborateur bien construites, y compris dans les domaines ci-dessus, sont corrélées à des résultats économiques importants comme le turnover, l'absentéisme, la sécurité et la productivité dans une grande variété d'environnements de travail.

Attention : cela ne veut pas dire que vous pouvez ajouter d'office n'importe quel item de la méta-analyse à votre enquête.

Avant d'intégrer un nouvel item à votre questionnaire, assurez-vous qu'il répond à vos besoins. Qu'est-ce qu'il va mesurer, au juste ? Quelle décision va-t-il vous aider à prendre ?

Et quelle fonction sera responsable d'utiliser ces données pour apporter des changements ?

Autrement dit : s'il n'y a personne pour porter le changement qui découlerait de ces données, l'item ne vaut pas la peine d'être ajouté.

Un exemple concret : l'intention de rester est l'un des piliers les plus pertinents d'une enquête d'engagement d'un point de vue business. Mais c'est aussi une métrique très bruitée, influencée autant par le marché de l'emploi externe que par les conditions de travail.

Si le marché de l'emploi se grippe, votre intention de rester peut grimper partout, ce qui donne une fausse impression d'amélioration de votre indice global.

Transformer des réponses à une enquête en chiffres

La plupart des enquêtes d'engagement utilisent une échelle d'accord à 5 ou à 7 points.

Le choix de l'échelle influence la distribution de vos scores. Les échelles à 7 points étalent mieux les résultats et réduisent les effets de plafond qu'on observe avec les échelles à 5 points - quand on note de 1 à 5, l'échelle ne commence à sembler serrée que lorsque les réponses moyennes dépassent environ 4,2. Autre option : des items sur une échelle de 0 à 10, qui permettent aux répondants d'évaluer plus directement leur réponse.

Une fois que vous avez des données provenant de plusieurs échelles, il faut normaliser le tout avant de faire des analyses statistiques combinées.

Si la plus petite réponse possible sur votre échelle est 1, utilisez cette formule pour convertir vos scores sur 10.

Score sur 10 = ((réponse moyenne - 1) / (longueur de l'échelle - 1)) x 10

Supposons que vos salariés donnent une réponse moyenne de 4,1 à une question sur une échelle à 5 points.

Vous insérez cette valeur dans la formule :

((4,1 - 1) / (5 - 1)) x 10

Ce qui donne :

3,1 / 4 x 10 = 7,75

Votre score normalisé pour cette question est donc de 7,75 sur 10.

À l'inverse, une réponse moyenne de 3 sur une échelle à 5 points donne 5 sur 10, puisque 3 est le point milieu de l'échelle. Avec une simple division, vous obtiendriez 6 sur 10 (3/5 = 60 %), ce qui n'est pas tout à fait exact.

La division simple suppose que l'échelle part de 0 plutôt que de 1, ce qui introduit un biais à la hausse dans tous vos scores. Ce biais est encore plus marqué dans le bas de l'échelle, là où l'écart entre les nombres est plus grand.

C'est une erreur très fréquente dans les tableaux de bord bricolés en interne.

Pour des items de 0 à 10, aucune conversion n'est nécessaire. Pour des items de 1 à 7, vous utilisez 7 comme valeur maximale.

Autre point important : les options « sans objet » et « je ne sais pas » ne doivent pas entrer dans le calcul de la moyenne. Surtout, ne les recodez pas à la valeur médiane : cela créerait artificiellement un léger accord et tirerait tous vos scores vers 5.

Petite note : cette remise à l'échelle linéaire suppose une distance psychologique égale entre les points de l'échelle. Les spécialistes des enquêtes débattent encore de la question de savoir s'il faut traiter les données ordinales de type Likert comme des données d'intervalle. L'approche puriste (favorabilité ou modèles ordinaux) est valide, mais l'approche pragmatique, celle qu'on retrouve dans la plupart des rapports d'entreprise, consiste à les traiter comme des données d'intervalle.

La formule de l'engagement collaborateur

Une fois toutes vos questions ramenées sur la même échelle et la moyenne de chaque dimension calculée, il est temps de calculer votre score total d'engagement.

N'oubliez pas d'appliquer les pondérations à chaque dimension, avec la formule :

Score d'engagement = Σ (score de dimension × pondération de la dimension) ÷ Σ pondérations

En général, si vos pondérations totalisent 100 %, le dénominateur devient 1 et vous pouvez l'ignorer.

Prenons un exemple. Supposons que l'entreprise fictive Northbridge Logistics ait mené une enquête avec 412 réponses valides.

Pour simplifier, disons qu'elle a utilisé une échelle d'accord à 5 points et que ses 4 dimensions ont des pondérations inégales.

Au total, l'indice d'engagement donne :

(7,4 × 0,30) + (7,8 × 0,25) + (7,1 × 0,25) + (6,6 × 0,20)

Ce qui donne :

2,220 + 1,950 + 1,775 + 1,320 = 7,265

L'indice d'engagement de Northbridge Logistics est donc de 7,3 (arrondi à une décimale).

(Arrondissez une seule fois, tout à la fin du calcul. Sinon, vous risquez de voir les RH et l'équipe analytics présenter deux chiffres différents pour la même enquête, dans la même semaine !)

Dans le tableau ci-dessus, nous avons fait un choix de modélisation implicite. Avons-nous calculé la moyenne des questions de chaque dimension avant de l'insérer dans la formule ?

Ou avons-nous plutôt calculé la moyenne de toutes les questions, toutes dimensions confondues ?

La différence n'apparaît que si le nombre de questions varie d'une dimension à l'autre. (Rappelez-vous : dans notre exemple simplifié, il n'y avait que 4 dimensions.) Pensez à l'effet d'une dimension à 2 questions comparée à une dimension à 5 questions. Avec la première méthode, elles pèsent le même poids dans l'indice global.

Avec la seconde, la dimension à 5 items influence davantage la mesure globale que celle à 2 items.

Partir d'abord de la dimension est généralement la façon la plus défendable de procéder, parce que la pondération devient explicite au lieu d'être un accident de la longueur du questionnaire.

Et les données manquantes, dans tout ça ? Comment traiter les questions sautées ?

C'est un point important, et nous vous recommandons de le mettre par écrit. L'indice d'engagement sera calculé selon la méthode des cas disponibles : le score de chaque dimension est calculé à partir des réponses valides aux items de cette dimension.

Notez qu'aucune réponse manquante n'est considérée comme un score nul. Le compromis, c'est que les répondants peuvent contribuer à des dimensions différentes.

Vous voudrez peut-être aussi ajouter une règle qui fixe un minimum de questions complétées pour être inclus dans le score global (p. ex. : avoir répondu à X % des items de base). Cette règle devrait être établie avant la distribution de l'enquête, puis rapportée après coup (p. ex. : combien de réponses ont été exclues).

Comment choisir les pondérations

En règle générale, un indice à pondération égale est facile à expliquer et difficile à battre. Comme les dimensions sont souvent corrélées entre elles, accorder le même poids à chaque item donne souvent une capacité de prédiction comparable à celle de pondérations issues d'une procédure d'optimisation. Autre avantage : pas besoin de les réestimer chaque année.

Honnêtement, c'est ce qu'on peut faire de mieux sans données de résultats permettant une solution plus sophistiquée.

Pourquoi Northbridge recommande-t-elle d'accorder 30 % à l'envie de recommander ? Parce que son modèle d'enquête a été conçu à partir de l'idée que l'envie de recommander est l'indicateur le plus clair du niveau d'engagement d'une personne. C'est discutable, bien sûr, mais l'essentiel est qu'il y ait une théorie et une logique métier clairement énoncées derrière la pondération.

Des méthodes statistiques peuvent aussi servir à déterminer la meilleure pondération.

Une approche consiste à faire une régression d'un résultat (p. ex. : le turnover volontaire) sur les dimensions de l'expérience collaborateur ou de la marque employeur, puis à se servir de la force de ces relations pour fixer les pondérations.

Cette méthode a des limites importantes. La première, c'est le surapprentissage : des pondérations établies pour une année et une business unit données peuvent ne pas tenir compte des changements majeurs causés par une évolution du marché du travail, une restructuration ou une acquisition.

La deuxième, c'est la multicolinéarité. La fierté et la recommandation, par exemple, peuvent être fortement et positivement corrélées. Les pondérations deviennent alors instables, et le signe de la pondération peut même s'inverser.

Vous vous retrouveriez à devoir expliquer à votre équipe de direction pourquoi la fierté compte moins cette année que l'an dernier.

Souvent, mieux vaut s'en tenir à un indice d'expérience collaborateur simple, plus facile à présenter à la direction et plus stable dans le temps.

Voici un exercice utile : comparez les résultats d'un indice à pondération égale à ceux d'un indice pondéré. Si l'écart est inférieur à 0,1, la pondération est surtout cosmétique et vous avez tout intérêt à garder la version la plus simple.

Si l'écart est plus grand, c'est qu'une dimension domine le score. Il vous faut alors une bonne raison pour justifier cette pondération plus forte - et « c'est plus stratégique » n'en est pas une.

Côté fiabilité, le seuil couramment utilisé par les praticiens pour les rapports au niveau du groupe tourne autour de 0,70, même si cela dépend du degré de confiance que vous exigez de vos résultats. À noter : l'alpha de Cronbach suppose qu'on peut donner le même poids à tous les items et qu'il n'y a qu'une seule dimension. Si vous construisez un indice multidimensionnel, il vaut donc mieux vérifier la fiabilité avec le coefficient oméga ou un modèle factoriel confirmatoire.

Cela dit, un alpha trop élevé n'est pas souhaitable non plus. Un alpha de 0,95 obtenu à partir de cinq items peut vouloir dire que vous avez posé cinq fois la même question de cinq façons différentes : vous créez de la redondance au lieu de couvrir plus de terrain.

En quoi un score sur 10 diffère de l'eNPS et de la favorabilité

Voyons comment les mêmes réponses peuvent mener à des gros titres bien différents.

Supposons que 10 collaborateurs répondent à une question de recommandation de 0 à 10 comme suit : 10, 9, 9, 9, 8, 8, 7, 7, 6 et 5.

La moyenne de ces réponses serait de 7,8.

Avec les catégories eNPS standards, on obtient 4 promoteurs (40 %), 2 détracteurs (20 %) et 4 passifs (40 %).

Le score eNPS est donc de 20 (40 % - 20 % = 20).

Imaginons maintenant qu'un des collaborateurs qui avait répondu 8 réponde plutôt 9. La moyenne monte à peine, de 0,1, mais le score eNPS grimpe de 10 points. Un petit changement d'opinion a un gros impact sur le chiffre principal, simplement parce qu'on a franchi une frontière de catégorie.

L'eNPS et la favorabilité, des métriques catégorielles, sont hypersensibles aux seuils de coupure et insensibles partout ailleurs. D'où des bonds spectaculaires de l'eNPS dans les petites équipes (une quinzaine de personnes, par exemple) et des variations dans le temps difficiles à interpréter.

Autre enjeu quand on applique l'eNPS à un effectif international : un même sentiment peut donner des scores eNPS différents selon la façon dont une culture utilise les extrémités d'une échelle de réponse.

Fixer le seuil de promoteur à 9 peut donner l'illusion de grands écarts d'engagement entre les pays, alors qu'en réalité, c'est le style de réponse qui diffère.

Comme il intègre toutes les options de réponse, un score d'engagement sur 10 est moins sensible à ces soubresauts. Il permet aussi aux analystes de générer un intervalle de confiance autour du score. C'est pour ces raisons que Sparkbay privilégie cet indice d'engagement comme mesure principale, tout en présentant l'eNPS comme une approche complémentaire.

À première vue, la favorabilité évite l'effet de falaise de l'eNPS en se concentrant sur les réponses positives. Mais elle ne fait que déplacer la falaise du bas vers le milieu de l'échelle. Le passage de neutre à d'accord change quelque chose, alors que le passage de d'accord à tout à fait d'accord ne change rien.

La favorabilité ne permet pas non plus aux équipes de voir à quel point leurs réponses sont polarisées. Deux équipes peuvent afficher le même score de favorabilité alors que l'une donne surtout des 9 et que l'autre mélange des 4 et des 9.

Une façon simple de rendre la favorabilité et l'eNPS plus utiles : présenter des statistiques supplémentaires à côté du score global de l'équipe, comme l'écart-type ou le pourcentage de personnes ayant choisi les deux options les plus basses. Un score global de 6,8 issu d'un accord léger mais constant, ce n'est pas la même chose qu'un 6,8 où la moitié de l'équipe répond 9 et l'autre moitié, 4.

Taille de l'échantillon, anonymat et biais de réponse

Vous pouvez très bien insérer vos réponses dans la mauvaise formule et arriver à la mauvaise réponse.

Dans les grandes enquêtes menées en environnement de travail, le taux de réponse varie. On peut généralement s'attendre à ce qu'entre les deux tiers et les quatre cinquièmes de l'effectif participent. Cela dit, le taux de réponse n'est pas un indicateur fiable de la représentativité des réponses.

Vous pouvez très bien afficher un taux de réponse de 70 %, mais seulement 10 % dans une usine de production, dans une famille d'emplois ou dans plusieurs petites entreprises récemment acquises. Et c'est probablement là que se trouve l'essentiel de votre turnover.

Pour mieux évaluer la représentativité de vos réponses, comparez le profil des répondants à celui de l'ensemble de l'effectif.

Qui a répondu ?

Qui n'a pas répondu ?

La participation a-t-elle été plus faible chez les collaborateurs sans poste de bureau, chez ceux de l'équipe de nuit ou dans un service où un manager faisait l'objet d'une enquête ?

Le biais de non-réponse, c'est la mesure dans laquelle les non-répondants ont des points de vue différents des répondants sur vos variables d'intérêt. Un taux de réponse de 60 % avec une participation équilibrée entre les différents services de l'organisation peut être préférable à un taux de 85 % qui laisse de côté votre population la plus à risque.

Si vous observez des écarts structurels dans vos taux de participation, la poststratification est une méthode courante pour corriger le tir. Elle consiste à pondérer les réponses des différents services de l'entreprise selon leur poids réel dans l'effectif total. Cela évite qu'un service très participatif - le siège social, par exemple - fausse le score global simplement parce qu'il compte beaucoup de participants.

Soyez quand même honnête sur les limites de vos données. Même avec une poststratification bien faite, vos données globales peuvent rester biaisées si la majorité des travailleurs de votre entrepôt choisit de ne pas participer et pense autrement que ceux qui participent. Et attribuer une forte pondération à un petit nombre de répondants augmente l'incertitude de vos résultats.

Si vous poststratifiez vos données, indiquez-le au moment de présenter le score, et montrez aussi le score non pondéré à titre de comparaison.

Enfin, vos intervalles de confiance peuvent également vous servir à évaluer la représentativité de vos données.

Si vous mesurez le score moyen d'un groupe, vous obtenez un intervalle de confiance approximatif de 95 % en ajoutant et en soustrayant à votre moyenne 1,96 fois l'erreur-type. C'est tout ! L'erreur-type, c'est l'écart-type de vos réponses divisé par la racine carrée de la taille de l'échantillon.

Par exemple, avec 400 réponses et un écart-type de 3 points, votre marge d'erreur est d'environ 0,3 point (sur une échelle de 0 à 10, disons).

Avec seulement 25 réponses et la même variabilité (donc le même écart-type de 3 points), la marge d'erreur grimpe à environ 1,2 point.

Gardez deux choses en tête avant d'utiliser cette méthode dans une réunion de managers. Premièrement, elle suppose que les réponses sont indépendantes, alors que les réponses des collaborateurs sont probablement regroupées par équipe ou par manager.

La vraie marge d'erreur d'un rapport de division peut donc être plus élevée que ce que laisse croire ce calcul simple. Deuxièmement, si vous scrutez 200 scores d'équipe pour repérer des changements « significatifs », vous allez forcément voir apparaître des variations dues au pur hasard. Traitez donc les classements de variations d'équipe avec prudence.

Une règle simple : ne signalez le changement d'une équipe que s'il se situe à l'extérieur de sa marge d'erreur et qu'une tendance constante se dessine sur plus d'un item.

L'anonymat compte lui aussi pour éviter des données compromises. Les collaborateurs qui craignent d'être identifiés ne répondront pas franchement : ils vont plutôt se rapprocher du milieu de l'échelle, ce qui réduit la variance de vos données et fragilise votre analyse des leviers.

Si vous masquez les résultats sous un certain nombre de réponses, expliquez clairement comment la règle fonctionne. Les commentaires en texte libre sont-ils encore inclus ou non ?

C'est d'autant plus important que bien des collaborateurs doutent du caractère anonyme de leurs commentaires en texte libre.

Il y a aussi quelques cas limites à considérer. Le premier : la possibilité de reconstituer les résultats. Masquer les données d'une équipe de 4 collaborateurs cette année, mais montrer leurs chiffres du cycle précédent alors qu'il y avait 9 répondants, permet à d'autres de deviner les réponses de la plus petite équipe par simple soustraction.

Le second : le remodelage des filtres « démographiques ». Un filtre comme « femmes, managers seniors, service juridique » peut facilement franchir le seuil minimal de réponses tout en pointant vers une seule collaboratrice.

Un 7 est-il un bon score d'engagement ?

Gardez en tête qu'il n'existe pas de seuil magique entre, disons, un 6,9 et un 7,0.

Si votre fournisseur vous a fourni des plages précises pour interpréter vos résultats, assurez-vous qu'elles correspondent à la structure de votre enquête.

Voici une règle simple pour lire vos résultats :

N'oubliez pas que votre score global dépend de plusieurs facteurs : le nombre d'items dans votre enquête, la longueur de votre échelle de réponse, la pondération des questions et la composition actuelle de votre effectif.

Par exemple, une proportion plus grande de collaborateurs de première ligne, de collaborateurs de courte ancienneté ou de collaborateurs récemment acquis peut faire bouger le score à l'échelle de l'entreprise, même si rien ne s'est détérioré dans certains segments de votre organisation.

Dans la mesure du possible, ventilez vos analyses d'une année à l'autre pour distinguer les changements à l'intérieur des groupes des changements liés à la composition des groupes.

Autrement dit, faites un petit calcul dans Excel qui recalcule le score de cette année selon la composition des segments de l'an dernier.

Pourquoi est-ce utile ? Parce que cela vous indique quelle part de votre variation de score s'explique par un simple changement de composition.

D'abord, privilégiez toujours les comparaisons internes.

Comparez la santé globale de votre organisation à vos résultats précédents, avec la même enquête. Ensuite, comparez vos scores par service, par manager, par site ou par ancienneté, si vos échantillons sont assez grands.

Vous pourriez découvrir que, derrière un score global de 7,4, une division affiche 8,5 et une autre, 5,9.

Les repères externes sont utiles eux aussi, mais seulement si votre groupe de comparaison correspond à votre secteur d'activité, à la composition de votre effectif et à la méthode utilisée pour calculer votre score global.

Ils peuvent vous aider à mettre vos résultats en contexte.

Mais il faut aussi en connaître les pièges.

Il est tout à fait possible, par exemple, de se situer confortablement au-dessus d'un repère externe tout en étant à la baisse depuis trois cycles d'enquête.

Autrement dit, la vraie question n'est pas de savoir quand la tendance rejoindra votre repère externe, mais bien ce qui alimente cette tendance négative.

Enfin, si vous menez une enquête multinationale, sachez que les comparaisons entre pays supposent que les questions traduites offrent le même contexte et que les répondants utilisent l'échelle de la même manière.

Ces suppositions ne tiennent pas toujours la route.

5 façons dont les entreprises gonflent sans le vouloir leur score d'engagement

Quand une entreprise gonfle son score d'engagement, cela commence rarement par des chiffres truqués.

Cela commence par des changements méthodologiques qui semblent raisonnables et défendables, mais qui ont surtout pour effet de faire monter le score.

• Lancer l'enquête après une annonce populaire : plutôt que d'ajuster le calendrier autour d'un versement de prime récent ou d'une assemblée générale, gardez une fenêtre de distribution stable et notez tout événement susceptible d'influencer temporairement les résultats.
• Compromettre l'anonymat d'une équipe : une entreprise peut miner sans le savoir l'anonymat d'une équipe en multipliant les filtres démographiques. Dans une très petite équipe, la combinaison de filtres peut lever l'anonymat même si chaque filtre, pris isolément, franchit le seuil minimal.
• Retirer les questions qui obtiennent de faibles scores : gardez un noyau de questions verrouillé qui sert de base à votre indice d'engagement. Si vous voulez ajouter de nouvelles questions, tenez-les à l'écart du score d'engagement pendant au moins un cycle avant de remplacer les anciennes. Évitez aussi de retirer une question dans le même cycle où vous ajoutez son remplacement.
• Modifier la population admissible : définissez les règles de votre population admissible (ancienneté minimale, contractuels, collaborateurs en congé, populations précises de collaborateurs) et suivez tout changement au dénominateur d'un cycle à l'autre.
• Faire la moyenne des moyennes d'équipe : idéalement, les moyennes d'équipe se calculent à partir des données au niveau des répondants. Si ce n'est pas possible, pondérez chaque unité selon le nombre de réponses valides obtenues.

Le dernier point est un piège dans lequel tombent souvent les organisations les plus sophistiquées, en cherchant à faire concorder les données de leur tableau de bord.

Dans ces cas-là, une équipe de 10 collaborateurs et une division de 1 000 personnes ne devraient pas peser le même poids dans la moyenne globale. Sinon, une entreprise qui croit pondérer ses données de façon juste va faire monter la moyenne globale dès que les plus petites équipes sont plus heureuses.

Il existe une autre façon, plus subtile, de gonfler volontairement ou non son score d'engagement : former les managers sur la façon de gérer les résultats avant même la distribution de l'enquête. Cela peut se faire en leur rappelant que le score d'engagement de leur service sera lié à ses résultats économiques. Résultat : les résultats bougent sans qu'on ait touché à une seule question de l'enquête.

Comme l'explique Robert D. Austin dans Measuring and Managing Performance in Organizations, dès qu'une organisation rattache de vraies conséquences à des mesures de performance - et que ce score d'engagement ne couvre qu'une partie du travail d'un service -, il devient rationnel pour les services de réorienter leurs activités vers l'amélioration des résultats de l'enquête. Le score devient alors de moins en moins représentatif de l'organisation dans son ensemble et de plus en plus représentatif des priorités du service. Contrairement à d'autres cibles organisationnelles, un score d'engagement est particulièrement vulnérable au détournement d'effort, puisque c'est la mesure elle-même qui est en jeu.

Passer du score à ses leviers

L'indice vous dit ce qui s'est passé. Votre analyse des leviers vous dit où regarder. Mais cela ne fonctionne que si vous gardez les deux côtés du modèle bien séparés.

Commencez par tracer une ligne claire entre les questions de résultat et les questions d'expérience.

La recommandation et l'intention de rester, par exemple, appartiennent à votre indice, tandis que les items sur la charge de travail, la reconnaissance, la confiance envers le leadership et la progression de carrière appartiennent au côté des leviers. Si un item se retrouve des deux côtés, vous risquez d'obtenir un modèle impressionnant en apparence... qui se prédit lui-même.

Rappelez-vous : vos scores doivent être évalués en tenant compte de la force de leur relation.

Un score faible avec une relation forte : cet item tombe dans votre quadrant prioritaire. Un score faible avec une relation faible : vous avez peut-être un vrai problème (la rémunération, par exemple !), mais ce n'est pas ce qui va faire bouger votre score global.

Quant à un score élevé avec une relation forte, ce n'est pas une victoire à célébrer, c'est une victoire à protéger. N'oubliez pas que votre niveau d'engagement actuel repose là-dessus.

Une fois que vous avez assez de réponses pour faire des analyses de régression, utilisez des méthodes qui attribuent à chaque item sa contribution à la variance. Avec des leviers corrélés, l'analyse d'importance relative ou la décomposition de la valeur de Shapley donnent de meilleurs résultats que les coefficients de régression bruts.

Sinon, vos items corrélés se font créditer mutuellement leurs effets, et le premier à entrer dans la régression rafle tout le crédit.

En même temps, ne transformez pas votre analyse des leviers en boîte noire. Un manager incapable d'expliquer pourquoi certains items figurent dans son plan d'action n'a rien de convaincant à raconter à son équipe.

Enfin, soyez prudent avant de laisser entendre qu'il y a causalité. Vos modèles de leviers transversaux montrent des associations, mais vos facteurs de levier et vos facteurs de résultat se renforcent souvent l'un l'autre. Un collaborateur insatisfait et désengagé va probablement noter son manager plus sévèrement, mais cette note négative n'est pas la cause de son manque d'engagement.

Le mieux, c'est de comparer différents points de données dans le temps, avec ce qu'on appelle des « comparaisons décalées ».

Pensez aussi à la possibilité d'une modération plutôt qu'à un modèle de leviers universel.

Les possibilités de progression de carrière peuvent compter par-dessus tout pour vos collaborateurs pendant leurs 2 premières années, alors que les spécialistes plus chevronnés accorderont davantage d'importance à l'autonomie, au pouvoir de décision et à la charge de travail.

Un modèle de leviers global, qui englobe toute l'entreprise, risque d'accoucher d'un plan d'action générique, déconnecté des réalités du terrain.

Enfin, faites attention à ce qui constitue un « changement » dans vos données. Une variation de 0,3 point peut être très significative dans une population stable de milliers de personnes, alors qu'elle n'est que du bruit statistique dans un service d'une quarantaine de collaborateurs.

Vérifiez soigneusement l'intervalle de temps, la répartition de vos réponses et la variation observée dans vos items.

Ensuite, une fois l'enquête terminée, faites le suivi.

Des enquêtes répétées sans suivi ne font pas que faire chuter le taux de réponse : la qualité des réponses baisse aussi.

Les gens continuent de répondre, mais sans prendre le temps de nuancer. La variance diminue, et votre modèle de leviers perd sa capacité à repérer ce qui compte vraiment.

Une façon simple et peu coûteuse d'éviter cela : produire un rapport de clôture qui détaille ce qui a été changé à la suite de l'enquête, ce qui a été tenté sans succès, et ce que la direction a décidé de ne pas faire (et pourquoi !). C'est la troisième catégorie qui vous fait gagner en crédibilité.

Chez Sparkbay, nous présentons la principale mesure d'engagement sur une échelle de 10 points.

Cela nous permet de montrer des tendances qui reflètent les plus petits mouvements dans les réponses sous-jacentes, au lieu de sursauter chaque fois qu'une réponse franchit un seuil de favorabilité.

Nous vous laissons aussi configurer le libellé exact de vos questions d'enquête.

Vous pouvez ainsi vous assurer que le vocabulaire colle à celui de votre organisation, tout en conservant la mesure de base qui vous permet de suivre vos tendances.

Nous appliquons la même logique à nos tableaux de bord : vous en personnalisez le libellé et le contenu, sans perdre cette mesure de base.

Si vous êtes une grande entreprise, la moyenne globale n'est probablement pas le chiffre le plus intéressant.

Avec Sparkbay, vous pouvez ventiler vos résultats par manager, par service, par ancienneté ou par d'autres groupes de collaborateurs. Vous distinguez ainsi un véritable changement à l'échelle de l'organisation d'une division qui tire la moyenne vers le haut ou vers le bas.

Sparkbay fait automatiquement correspondre les accès à votre hiérarchie organisationnelle : les managers ne voient que les résultats des équipes qu'ils dirigent.

C'est ce qui permet à l'outil d'être adopté à tous les niveaux de l'organisation.

Nous masquons aussi les résultats lorsque le nombre de réponses n'atteint pas le seuil que vous avez défini. Par défaut, le minimum est de 5 réponses, mais vous pouvez l'ajuster aux besoins de votre organisation.

De plus, les vues de reconnaissance et d'analytics RH de Sparkbay s'affichent en parallèle de vos résultats d'enquête.

Résultat : quand un levier est faible, vous voyez aussi s'il est lié à un risque de rétention, et vous pouvez agir immédiatement.

Si vous souhaitez découvrir comment Sparkbay peut aider vos managers à bâtir une équipe plus engagée, vous pouvez cliquer ici pour une démo.

Un plan pratique pour votre score d'engagement collaborateur

Concrètement, à quoi cela ressemble-t-il ?

Si vous bâtissez votre score d'engagement collaborateur de zéro (ou si vous le révisez), voici la marche à suivre.

D'abord, sélectionnez environ 8 à 12 items de base liés à différentes facettes de l'engagement (recommandation, sens, effort, intention de rester). C'est assez de questions pour produire une mesure fiable, et assez peu pour garder la pondération de ces items stable sur plusieurs années.

Ensuite, assurez-vous que ces questions sont liées entre elles, mais pas au point d'être de simples synonymes. Cela veut dire vérifier la corrélation entre les items et faire une analyse factorielle pour confirmer la construction globale de l'échelle.

Troisièmement, alignez vos réponses pour qu'elles soient toutes sur la même échelle (1 à 5, 1 à 7). Conservez les données individuelles dans leur échelle d'origine, pour que votre équipe analytics puisse comprendre comment vous avez converti les réponses en un chiffre final et reproduire l'indice de façon indépendante au besoin.

Quatrièmement, décidez et documentez la pondération de chacune de ces questions avant de regarder les données de l'enquête.

Cinquièmement, calculez votre indice uniquement pour les répondants ayant complété un nombre valide de questions. Déterminez d'avance comment vous traiterez les données manquantes et s'il faut fixer des seuils de participation. La taille de l'échantillon est-elle suffisante pour le groupe visé ?

Y aura-t-il de la participation dans tous les sous-groupes ? Faut-il exclure certains groupes en raison d'un nombre trop faible de réponses ?

Enfin, une fois l'enquête terminée, calculez votre score global et les scores de chaque dimension, puis rédigez un rapport qui les présente. Réfléchissez à vos leviers d'engagement les plus forts et intégrez-les au rapport. Et reconnaissez la marge d'incertitude des résultats.

Consignez la méthodologie de création du score d'engagement collaborateur dans une note méthodologique d'une page. Incluez un numéro de version, un responsable nommé et un journal des changements pour les éléments suivants : items inclus, échelle des items, pondération, règles d'admissibilité des participants, règles de traitement des données manquantes et règles de masquage des résultats.

Invitez les parties prenantes à participer à une révision du questionnaire - pourquoi pas à chaque cycle d'engagement, mais en tout cas sur une période plus longue que le cycle lui-même. C'est que ce questionnaire n'a pas été conçu comme une courbe de tendance : vous allez l'utiliser pendant plusieurs années.

En général, votre enquête de base devrait changer en réponse à :

• Des changements dans le construit mesuré (p. ex. : une fusion a donné naissance à une organisation sensiblement différente)
• Vos recherches montrent qu'un item déjà inclus ne donne pas les résultats attendus
• Des changements importants dans l'effectif qui rendent les items actuels non pertinents

Vouloir générer un « meilleur » chiffre ne suffit pas pour justifier une modification à votre enquête de base.

Du point de vue de la gestion, vous voulez pouvoir expliquer clairement pourquoi le score global d'engagement collaborateur est ce qu'il est (« voici pourquoi le score global de notre organisation est de 7,2 »). Vous voulez aussi comprendre quels groupes s'écartent le plus de la moyenne. Et vous voulez repérer les « vrais » changements depuis la dernière enquête ou le dernier point de contact.

Enfin, comme les métriques d'engagement collaborateur peuvent vite devenir des « chiffres de vanité », évitez de faire du score global de l'enquête un objectif dont il faut rendre compte. Cela mine l'intégrité de la métrique et pousse à gérer la mesure plutôt que l'environnement de travail.

Si vous souhaitez découvrir comment Sparkbay peut aider vos managers à bâtir une équipe plus engagée, vous pouvez cliquer ici pour une démo.