Comment mener un sondage auprès des employés dont les résultats sont comparables

Votre responsable de l’analytique RH arrive avec les plus récents résultats de sondage : l’équipe du service à la clientèle obtient 8,1/10 à l’indice d’engagement des employés, contre 7,6 l’an dernier.

Excellente nouvelle !

Sauf que votre partenaire d’affaires RH vous signale que les questions du sondage ne sont pas tout à fait les mêmes. L’an dernier, on demandait aux membres du service à la clientèle : « Vous sentez-vous motivé au travail ? » Cette année, la question était plutôt : « Êtes-vous fier de travailler ici ? »

Ce n’est évidemment pas la même chose, et vous voilà devant un problème : comment expliquer l’écart à votre vice-président, qui a déjà inclus le 8,1 dans son rapport d’étape à la direction ?

Difficile de savoir si la hausse vient du changement de formulation, d’une réelle amélioration, ou un peu des deux.

Ce guide fait le tour de ce qu’il faut savoir pour comparer les résultats de vos sondages auprès des employés. Nous ne reviendrons pas sur les notions de base, comme la définition des objectifs, le choix des types de questions ou la rédaction des courriels de lancement.

Nous nous pencherons plutôt sur les situations qui peuvent nuire à la comparabilité dans les grandes organisations.

Nous verrons entre autres quoi faire des questions validées qu’on vous soumet et que vous seriez tenté de « retoucher un peu ».

Il sera aussi question des répercussions qu’un changement ou un ajustement d’échelle peut avoir sur la comparabilité de vos résultats. Et comme vous devez peut-être traduire vos questions en plusieurs langues selon les marchés, nous verrons aussi comment une traduction modifiée peut fausser les comparaisons.

Enfin, nous aborderons l’effet des changements de gouvernance sur votre capacité à comparer les résultats d’un sondage à l’autre.

Allons-y !

Dans ce guide

1. Considérez votre sondage comme un instrument de mesure
2. Changer la formulation, c’est changer les résultats
3. Partez de la décision à prendre
4. Quand reprendre une question, et quand en rédiger une nouvelle ?
5. Pourquoi une petite reformulation peut avoir de grandes conséquences
6. Faut-il choisir une échelle de 1 à 5, de 1 à 7 ou de 0 à 10 ?
7. Évitez les questions à double volet
8. Pourquoi les gens ont-ils tendance à être d’accord ?
9. Comment laisser de la latitude à la direction tout en préservant les tendances
10. Comment utiliser une question d’engagement comme référence et l’eNPS en complément
11. Comment lancer votre sondage, écouter vos employés et donner suite
12. Comment choisir les bonnes questions pour votre sondage

Votre sondage est un instrument de mesure

La plupart des problèmes de comparabilité ne viennent pas d’erreurs de conception au départ, mais de changements qui s’accumulent avec le temps.

Dès la deuxième année, un responsable adoucit le libellé d’une question, un fournisseur de traduction « améliore » un intitulé, ou une réorganisation change la composition d’une équipe. Pris un à un, ces changements se défendent. Mis bout à bout, ils viennent briser votre série chronologique sans que personne ne s’en aperçoive.

Pour qu’une tendance tienne la route, quatre éléments doivent rester constants : la question, l’échelle, la définition de la population et la période de mesure. Si l’un d’eux change, vous comparez deux instruments différents.

C’est la définition de la population qu’on oublie le plus souvent de garder constante. Si le service à la clientèle a intégré cette année une équipe nouvellement acquise, comparer 8,1 à 7,6 revient à comparer deux groupes de personnes différents, en plus de deux questions différentes.

Enregistrez l’unité organisationnelle de chaque répondant telle qu’elle était à la date du sondage, et non au moment où quelqu’un produit le rapport. Autrement, les scores de l’an dernier seront recalculés selon la structure de cette année, et l’historique changera chaque fois que l’organigramme bouge.

La période de mesure compte aussi. Un sondage mené la semaine qui suit l’envoi des courriels sur les primes et un autre mené en pleine période de pointe ne mesurent pas le même moment, même avec des questions identiques.

Pour chaque changement envisagé, faites un test simple : classez-le dans l’une des trois catégories suivantes.

• Les changements cosmétiques (un intitulé dans un tableau de bord, une couleur) : aucun effet sur la tendance
• Les corrections (une faute de frappe qui ne changeait pas le sens) : aucun effet sur la tendance, à condition de les consigner
• Les changements de mesure (toute modification de la formulation, de l’échelle, des intitulés, de la position, des traductions ou de la population) : on démarre une nouvelle série. Aucune exception pour les changements qui « semblent mineurs ».

Pourquoi un changement de formulation modifie-t-il les résultats ?

Comme l’expliquent Norman Bradburn, Seymour Sudman et Brian Wansink dans leur livre Asking Questions, la formulation des questions, leur ordre et les choix de réponse proposés peuvent tous influencer ce que répondent les participants.

Disons que vous voulez savoir si les employés ont les ressources nécessaires pour faire leur travail. Si vous remplacez le mot « ressources » par « outils », ils risquent de ne penser qu’aux logiciels en répondant.

Ils laisseront alors de côté d’autres problèmes, comme le manque de personnel ou de temps, qui pèsent souvent plus lourd pour des équipes comme le service à la clientèle ou les opérations.

La nouvelle formulation se lit peut-être mieux, mais elle mesure maintenant quelque chose de plus étroit. Si le score s’améliore, impossible de savoir si les ressources se sont réellement améliorées ou si la question est simplement passée à côté du vrai problème.

Les choix de réponse peuvent eux aussi influencer les résultats. Prenez la différence entre « Ni d’accord ni en désaccord » et « Je ne sais pas ».

Si votre plateforme de sondage accorde à « Je ne sais pas » le même poids qu’à une réponse neutre au lieu de la traiter comme une valeur manquante, vos scores seront faussés, puisque des non-réponses se retrouveront dans la moyenne. Avant de comparer quoi que ce soit, vérifiez donc comment chaque option de non-réponse est codée.

Et l’ordre des questions ? Peut-il changer le sens des résultats ? Absolument.

Si vous posez une question sur la satisfaction générale tout de suite après des questions précises sur la charge de travail ou la rémunération, les employés risquent d’y répondre à la lumière de leurs réponses précédentes.

Autrement dit, même si la question reste mot pour mot la même, elle ne produira pas le même effet si vous la faites passer, par exemple, de la troisième à la quinzième position : les employés ne la liront pas dans le même contexte.

Les expériences à répartition aléatoire menées en méthodologie de sondage - où différentes versions d’une question sont présentées à des moitiés d’échantillon choisies au hasard - ont montré que la formulation ou les choix de réponse peuvent avoir des effets importants, parfois aussi marqués que les écarts d’une année à l’autre auxquels la direction réagit.

Partez de la décision à prendre

Qu’est-ce qu’on fera différemment selon la réponse à cette question ?

Voulez-vous suivre l’engagement des différentes unités de l’entreprise ?

Ou plutôt comprendre pourquoi un processus en particulier cause des difficultés aux nouveaux employés ?

Ce sont deux objectifs bien différents.

Le premier exige une courte liste de questions stable, dont la position et le moment d’envoi ne changent pas.

Pour le second, il vous faut des questions que vous êtes prêt à retirer une fois le problème réglé.

Mélanger les deux peut causer des problèmes, à commencer par un sondage qui s’allonge.

Chaque intervenant veut ajouter sa question, si bien que le sondage n’en finit plus et que la qualité des réponses aux dernières questions en souffre. Les répondants finissent par prendre des raccourcis : ils cochent toujours la même colonne, survolent les questions ou se contentent de la première réponse acceptable.

Et si les nouvelles questions repoussent les questions principales plus loin dans le formulaire, attendez-vous à ce que leurs scores varient, même si leur formulation n’a pas changé.

Quand votre équipe responsable du sondage reçoit une suggestion de question, demandez-lui de préciser qui utilisera les résultats et quelle décision cette personne prendra.

Si personne ne peut nommer le décideur ou la décision, la question peut attendre le prochain cycle.

Cette règle vous aide aussi à gérer les cadres supérieurs qui veulent ajouter « juste une petite question de plus ».

Plutôt que de négocier la longueur du sondage, les membres de l’équipe peuvent simplement demander, poliment : « Qui va agir à partir de cette information, et quelle décision cette personne va-t-elle prendre ? »

Vous pouvez aussi appliquer cette règle aux questions qui figurent déjà dans votre sondage.

Si toutes les réponses possibles à une question mènent à la même action, cette question ne sert à rien.

Quand reprendre une question, et quand en rédiger une nouvelle ?

Une question de sondage « validée », ça peut vouloir dire bien des choses.

Certaines questions ont été validées au moyen de tests cognitifs, d’une analyse factorielle ou d’une validation test-retest, ou encore parce qu’on a confirmé qu’elles fonctionnent bien auprès de différents groupes démographiques ou dans différentes langues, pour ne nommer que ces exemples. D’autres sont dites « validées » simplement parce qu’elles semblent sensées et raisonnables.

Si un fournisseur ou un consultant vous affirme qu’une question est validée, demandez-lui ce qui a été validé exactement, auprès de quelles populations et dans quelles langues. Une question validée seulement en anglais, par exemple, ne l’est pas pour autant pour vos effectifs francophones, germanophones ou japonais.

Même une question solidement validée peut ne pas convenir à votre contexte. Mais une validation solide veut dire qu’il existe des données probantes en sa faveur, ce qui n’est pas le cas d’une question rédigée par votre équipe un mardi après-midi.

Les questions éprouvées sont particulièrement utiles quand vous demandez à la direction de suivre des indicateurs précis dans le temps (l’engagement ou l’inclusion, par exemple), ou si vous comptez vous comparer à une référence externe.

Les références externes imposent généralement des règles strictes sur la formulation des questions, les choix de réponse et le calcul des scores. Si la référence est exprimée en pourcentage de réponses favorables, vous ne pourrez pas la comparer avec vos scores moyens.

Faites aussi attention à la population sur laquelle repose la référence. Si elle est fondée sur des données d’entreprises technologiques dont les employés travaillent surtout dans des bureaux, elle risque d’être peu pertinente pour des effectifs de l’industrie ou du commerce.

Il arrive aussi que vous deviez rédiger une question sur mesure, notamment pour interroger les employés sur un sujet propre à votre organisation. Vous voudrez peut-être savoir, par exemple, si les employés savent où trouver les nouvelles consignes internes sur le traitement des plaintes des clients.

Une question générale sur les ressources ne vous donnera pas cette réponse : elle n’a pas été conçue pour ça.

Gardez-le en tête quand vous ajoutez des questions propres à votre entreprise. L’idée, c’est de conserver un noyau stable, pour pouvoir retirer une question sur une fonctionnalité récemment déployée sans perdre l’historique du sondage.

Vous avez aussi intérêt à garder votre sondage d’engagement intact, car de nombreuses données indépendantes de votre sondage confirment l’importance de l’engagement. De vastes analyses réalisées par Gallup ont montré que l’engagement est associé à la fidélisation des employés et de meilleurs résultats auprès des clients, et ce, dans une grande variété de milieux de travail.

Toutes ces données reposent sur des questions qui ont été étudiées. Dès que vous les modifiez, ces résultats ne s’appliquent plus à vos questions.

Cette petite reformulation va-t-elle briser vos données à votre insu ?

Les cadres supérieurs demandent souvent qu’on reformule les questions validées pour qu’elles collent davantage au style de l’entreprise.

Remplacer « organisation » par « famille » peut sembler anodin. Pourtant, pour quelqu’un qui apprécie ses collègues sans voir son milieu de travail comme une famille, ça change tout : cette personne a désormais une bonne raison d’être en désaccord avec l’énoncé, une raison qui n’a rien à voir avec son engagement.

Autre exemple : remplacer « J’ai l’intention de rester » par « Je me vois un avenir ici ». Le second énoncé est moins catégorique et permet aux employés de répondre en fonction de leurs espoirs plutôt que de leurs projets concrets.

Si votre analyse de la fidélisation utilise l’intention de rester comme indicateur avancé du risque de départ, modifier cette question remet en cause l’hypothèse même sur laquelle vous vous appuyez.

De plus, une fois la question modifiée, rien ne garantit qu’elle fonctionne comme la question testée à l’origine. Vous perdez aussi la possibilité de comparer clairement les réponses des personnes qui ont vu la version originale avec celles des personnes qui ont vu la nouvelle.

Soyez particulièrement vigilant devant les suggestions qui touchent l’un des éléments suivants :

• La période visée : « au cours du dernier mois » plutôt qu’aucune période précisée
• Le sujet : « mon gestionnaire » plutôt que « la direction »
• La force de l’énoncé : « Mon gestionnaire me donne de la rétroaction » plutôt que « Mon gestionnaire me donne de la rétroaction utile »
• Le point de vue : passer du « je » au « nous », ce qui transforme une appréciation personnelle en supposition sur l’expérience de l’équipe

Si la formulation testée ne convient vraiment pas à vos effectifs, allez-y, modifiez-la. Mais n’oubliez pas que vous créez alors un nouvel indicateur, et qu’il faudra repartir à zéro pour en établir la tendance.

Faut-il choisir une échelle de 1 à 5, de 1 à 7 ou de 0 à 10 ?

Certains fournisseurs aimeraient bien vous le faire croire, mais aucune étude rigoureuse ne justifie une longueur d’échelle plutôt qu’une autre.

L’important, c’est que votre échelle soit clairement libellée, adaptée à la question et la même d’un cycle de sondage à l’autre.

L’échelle de 0 à 10 a l’avantage de donner facilement un score sur 10. Mais si une bonne partie de vos effectifs travaille sur le terrain, la rangée de boutons risque d’être un peu trop longue sur un cellulaire.

Et si vous essayez de répartir les 11 boutons sur deux lignes, les répondants risquent d’être déroutés et de mal interpréter l’échelle.

Autre mythe à oublier : une échelle qui compte plus de niveaux ne donne pas automatiquement des données plus riches.

Si votre question est floue, ajouter des chiffres revient seulement à mesurer du bruit avec plus de précision.

Pour capter de petites améliorations dans vos équipes les plus performantes et présenter un score de référence unique, l’échelle de 0 à 10 est tout indiquée.

Par contre, si vous posez une question sur la fréquence ou sur un comportement concret, optez plutôt pour une échelle à 5 points, avec des intitulés complets qui décrivent la fréquence.

Et bien sûr, si vous participez à une référence comparative externe, vous devrez utiliser l’échelle qu’elle impose.

Laissez de la place en haut de l’échelle

Imaginons que la plupart des membres d’une équipe performante choisissent la réponse la plus élevée sur une échelle à 5 points. Comment, dès lors, distinguer une équipe qui va bien d’une équipe qui va vraiment très bien ?

Vous risquez aussi de ne pas voir qu’une excellente équipe commence à glisser, parce que les premiers employés à passer d’« exceptionnel » à « bien » n’ont pas de place sur l’échelle pour l’exprimer.

Une échelle de 0 à 10 leur laisse plus de marge, même si un effet plafond reste possible (presque tout le monde choisit 10).

Lors de votre sondage pilote, prenez le temps de regarder la répartition des réponses dans chaque groupe, et pas seulement la moyenne. Si une grande part des répondants choisissent les valeurs les plus élevées, vous pouvez recommander de présenter la répartition en plus de la moyenne. Vous éviterez ainsi de croire stable une situation qui, en réalité, bouge.

Vérifiez le sens des intitulés dans chaque langue

Des mots comme « somewhat » ou « fairly » n’ont pas le même poids d’une langue à l’autre. Ce qui semble une traduction naturelle de la version anglaise de votre sondage peut paraître plus fort ou plus faible en français canadien ou en français de France.

La recherche en méthodologie de sondage a montré que les répondants n’utilisent pas les extrémités des échelles de la même façon selon leur pays. Ce n’est pas toujours une question de traduction : les habitudes de réponse diffèrent, tout simplement.

Une échelle numérique réduit le nombre d’intitulés verbaux à harmoniser, mais elle n’efface pas ces écarts. C’est d’ailleurs une des raisons pour lesquelles il est délicat de comparer directement les scores de différents pays. Il est plus fiable de comparer chaque marché à sa propre tendance.

Alors, comment les programmes de sondage internationaux mettent-ils toutes les chances de leur côté pour obtenir des réponses comparables ? En confiant la traduction à une équipe plutôt qu’à une seule personne. Le processus : produire deux traductions indépendantes, relever les divergences, confier à une tierce personne l’arbitrage des choix de traduction, tester les traductions auprès de vrais répondants et documenter les décisions prises.

Inutile de suivre tout le processus universitaire, mais prévoyez tout de même plus d’un traducteur, désignez quelqu’un pour trancher les désaccords et gardez une trace des choix de traduction.

Il est aussi important de tester la formulation des questions et les intitulés des extrémités de l’échelle auprès de personnes qui parlent les différentes langues de vos marchés. Demandez-leur ce que représente pour eux le point milieu de l’échelle.

Ne tournez pas les coins ronds en tenant pour acquis qu’une phrase traduite conviendra aussi bien au Québec qu’en France simplement parce qu’elle emploie les mêmes mots.

Une fois l’échelle choisie, gardez-la

Et si on demandait à votre analyste de convertir les résultats d’une échelle à 5 points en résultats sur 10 à l’aide d’une formule simple ?

C’est faisable, mais cette méthode suppose que les répondants utilisent les extrémités et les intervalles de l’échelle de la même façon. Or, comme on l’a vu, ce n’est pas le cas.

Par ailleurs, aucune conversion ne pourra rendre les nuances que les employés n’ont jamais eu l’occasion d’exprimer.

Si vous devez convertir un score dans votre graphique, indiquez clairement qu’il s’agit d’une estimation et précisez qu’il ne s’agit pas d’un prolongement parfaitement continu des données des sondages précédents.

Que vous optiez pour une échelle à 5 points ou de 0 à 10 pour votre sondage auprès des employés, testez-la avec les questions que vous comptez réellement utiliser.

Évitez les questions à double volet et les questions orientées

On l’a déjà mentionné, mais ça vaut la peine de le rappeler : assurez-vous que vos questions ne sont pas à double volet. Celles qui passent entre les mailles du filet viennent souvent d’une partie prenante haut placée, ou sont des questions « combinées » pour garder le sondage court.

Exemple de question à double volet : « Mon gestionnaire me fixe des objectifs clairs et me donne régulièrement de la rétroaction. » Un employé qui trouve ses objectifs clairs, mais qui ne reçoit pas de rétroaction régulière, ne pourra pas y répondre correctement.

Pour régler le problème, scindez-la en deux questions : « Dans quelle mesure vos objectifs sont-ils clairs ? » et « À quelle fréquence recevez-vous de la rétroaction que vous jugez utile ? » Votre sondage comptera une question de plus, mais les gestionnaires pourront exploiter les résultats plus facilement, puisqu’ils sauront sur quel aspect travailler.

Dans le même ordre d’idées, évitez les questions orientées, c’est-à-dire celles qui présupposent quelque chose au sujet du répondant. Par exemple, « À quel point appréciez-vous notre nouvelle politique de travail flexible ? » tient pour acquis que l’employé l’apprécie.

Mieux vaudrait demander : « Dans quelle mesure notre politique de travail flexible répond-elle à vos besoins ? », en ajoutant l’option « Je n’ai pas encore utilisé cette politique ». Cette réponse serait codée comme valeur manquante, et les résultats indiqueraient combien de personnes l’ont choisie.

Si beaucoup de répondants choisissent cette option, vous saurez que la politique de travail flexible n’a pas encore rejoint les employés. Voilà un résultat sur lequel vous pouvez compter !

Pour repérer les questions à double volet ou orientées, vous pouvez aussi faire un test à voix haute avant le sondage. Demandez à quelques employés qui ne font pas partie de l’équipe du sondage de lire chaque question à voix haute et d’expliquer ce qu’ils comprennent qu’on leur demande.

Gardez en tête que répondre à une question se fait en plusieurs étapes, comme l’expliquent Roger Tourangeau, Lance Rips et Kenneth Rasinski dans leur livre The Psychology of Survey Response. Le répondant doit d’abord comprendre la question, puis se rappeler les expériences pertinentes, porter un jugement à partir de celles-ci et, enfin, faire correspondre ce jugement aux choix de réponse proposés. Une question mal conçue peut accrocher à n’importe laquelle de ces étapes, et les tests à voix haute vous aident justement à voir où ça coince.

Vous pouvez d’ailleurs structurer vos questions de test autour de ces étapes. Demandez aux participants s’ils voient plusieurs questions dans un même énoncé, s’ils savent quelle période prendre en compte, si la question présume qu’une chose est positive et si un employé insatisfait peut répondre avec justesse sans devoir rejeter l’énoncé en entier.

Pourquoi les gens ont-ils tendance à toujours être d’accord ?

Les énoncés auxquels on répond par « d’accord » ou « en désaccord » sont pratiques à rédiger et à réutiliser. Mais en tant que chercheur, vous devez connaître le biais d’acquiescement. De quoi s’agit-il ?

Le biais d’acquiescement, aussi appelé biais d’approbation, c’est la tendance des répondants à répondre par l’affirmative. Il se manifeste notamment quand le questionnaire aligne une longue série d’énoncés positifs, ou quand les employés ne savent pas quel type de jugement sera porté sur leurs réponses.

Ça peut poser problème quand vous voulez comparer différents groupes. Si un groupe est plus sujet à ce biais, ses membres peuvent sembler plus engagés aux questions de type « d’accord / en désaccord », alors que leurs réponses ont en réalité très peu à voir avec leur niveau d’engagement.

La recherche sur les styles de réponse montre que ce biais existe autant sur papier qu’en ligne. Il ne touche pas toutes les questions, mais il tend à gonfler les scores - et à réduire les écarts - dans une série d’énoncés formulés positivement.

Alors, comment l’éviter ? Lorsque c’est pertinent, demandez plutôt aux répondants d’évaluer eux-mêmes la situation. Au lieu de leur demander s’ils sont d’accord avec l’énoncé « Mes objectifs sont clairs », demandez : « Dans quelle mesure vos objectifs sont-ils clairs ? », avec une échelle allant de « Pas du tout clairs » à « Extrêmement clairs ».

Pour l’employé, ce n’est pas du tout la même chose que d’approuver une phrase.

Rappelez-vous toutefois qu’il est déconseillé de modifier la formulation des questions tirées d’un questionnaire validé (voir la section 5 pour plus de détails). Réservez les questions d’autoévaluation aux questions sur mesure que vous rédigez vous-même.

Une autre recommandation issue de la recherche consiste à inclure des énoncés formulés à la négative. Les experts sont toutefois partagés sur l’utilité de cette technique. D’un côté, ces énoncés permettent aux analystes de repérer les personnes qui répondent « d’accord » à tout.

De l’autre, ils peuvent mêler les répondants, surtout une fois traduits. Et les énoncés qui se regroupent statistiquement ont tendance à le faire à cause de leur formulation plutôt qu’à cause de ce qu’ils sont censés mesurer.

Utilisez donc les énoncés négatifs avec parcimonie, et bannissez ceux qui contiennent une double négation.

Préservez l’intégrité des tendances tout en laissant de la latitude à la direction

Les responsables locaux voudront peut-être adapter les questions d’engagement au style ou aux activités de leurs équipes. Il faut toutefois que vos analystes puissent traiter toutes les versions de ces questions de la même façon.

Concrètement, chaque question principale doit avoir un identifiant permanent, et sa formulation, son échelle de réponse, ses traductions officielles et sa position dans le sondage doivent rester inchangées.

Une fois la formulation de vos questions principales arrêtée, placez-les avant les questions que les responsables locaux peuvent personnaliser. Ainsi, les questions personnalisées n’influenceront pas les réponses aux questions principales.

Chaque fois que vous modifiez une question principale, créez-en une nouvelle version. En conservant l’historique des versions, vous saurez ce que les employés ont vu, dans quelle langue et à quel moment, ainsi que qui a approuvé les changements et pourquoi.

Par exemple, si vous voulez clarifier le libellé d’une question dans votre tableau de bord sans toucher à la question elle-même, vous pouvez le faire en conservant le même identifiant. C’est un changement cosmétique, comme on l’a vu à la section 1, et il suffit à satisfaire la plupart des demandes des parties prenantes.

Désignez une personne responsable du bloc de questions principales. Sinon, différentes personnes risquent d’approuver différentes demandes de modification, et vos données de tendance en pâtiront.

Si vous voulez remplacer une question principale par une autre, faites rouler les deux versions en parallèle pendant un cycle de sondage.

Si votre échantillon est assez grand, plutôt que de faire répondre tout le monde aux deux questions, présentez l’ancienne à une moitié des répondants choisie au hasard et la nouvelle à l’autre moitié. Vous éviterez ainsi le biais qui survient quand une même personne voit les deux questions et tente de rester cohérente dans ses réponses.

Assurez-vous que chaque moitié de l’échantillon - l’une recevant la question A, l’autre la question B - compte assez de répondants pour permettre l’analyse au niveau voulu. Par exemple, si vous voulez analyser les données par unité d’affaires, mais que l’échantillon divisé ne fournit des données qu’à l’échelle de l’entreprise, vous devrez vous limiter aux écarts globaux entre les deux groupes, sans pouvoir examiner les écarts entre les unités.

Faire rouler deux versions en parallèle ne prouve pas forcément que les questions sont équivalentes, mais vous pourrez repérer une rupture évidente causée par le changement et établir un lien documenté entre les deux séries.

Conservez toutes les traductions officielles dans une bibliothèque contrôlée. Sinon, les équipes régionales ou les fournisseurs de traduction risquent d’apporter des modifications locales et de créer deux versions différentes d’une question que le siège social croyait unique.

Prenez l’engagement comme référence et utilisez l’eNPS en complément

Une question d’engagement mesurée sur une échelle constante de 0 à 10 donne à la direction un chiffre simple à suivre et à comprendre d’un cycle à l’autre.

En présentant aussi la répartition des scores, et pas seulement la moyenne, vous aidez la direction à saisir les nuances. Deux équipes peuvent avoir la même moyenne avec des scores très différents : l’une avec surtout des 2 et des 10, l’autre où la plupart des employés répondent 6. Les moyennes sont identiques, mais les conversations à avoir avec ces équipes ne le seront pas du tout.

L’eNPS peut être utile, mais il mesure autre chose. Il classe les réponses à une question de recommandation en promoteurs, passifs et détracteurs, puis soustrait un pourcentage de l’autre.

On peut donc facilement discuter de la variation de l’eNPS, mais on perd les nuances à l’intérieur de chaque groupe : un 9 et un 10 comptent pareil, tout comme un 0 et un 6.

De plus, comme le calcul repose sur des pourcentages, les résultats peuvent varier rapidement à cause de petits changements dans un petit groupe. Dans une équipe de dix personnes, il suffit qu’une seule personne passe de passif à détracteur pour que l’eNPS perde dix points, même si toutes les autres réponses restent identiques.

Ne voyez donc pas une variation de l’eNPS comme la confirmation d’une variation de l’engagement. Une question de recommandation capte d’autres facteurs que vos questions d’engagement, comme la perception qu’a une personne du marché de l’emploi ou de la marque employeur.

Comment Sparkbay peut vous aider à comparer les résultats de vos sondages

Comme nous misons d’abord sur un score d’engagement sur 10, les équipes peuvent facilement suivre le même chiffre d’un sondage à l’autre. L’eNPS est aussi offert en complément pour les équipes qui le souhaitent.

Sparkbay permet aux administrateurs de configurer la formulation des sondages, ainsi que les tableaux de bord et les informations qui y figurent.

Les équipes peuvent ainsi ajouter des questions qui leur sont propres tout en gardant des résultats comparables dans le temps.

Pour repérer où un changement s’est produit dans votre entreprise, nos rapports vous permettent de comparer les résultats de différents groupes, comme les services et les gestionnaires.

Les accès aux rapports sont automatiquement arrimés à votre structure hiérarchique, de sorte que chaque gestionnaire ne voit que les données de ses propres équipes.

Pour protéger l’anonymat des employés, nous masquons les résultats de tout groupe qui n’atteint pas un nombre minimal de réponses. Ce seuil est fixé à 5 par défaut, mais vous pouvez le modifier.

Nous facilitons la comparaison des résultats, mais rédiger des questions de sondage solides reste tout aussi important.

Si vous voulez voir comment Sparkbay peut vous aider à bâtir une équipe plus engagée, vous pouvez cliquer ici pour une démo.

Lancez le sondage, écoutez vos employés et donnez suite

Au lancement du sondage, rappelez aux employés pourquoi vous posez ces questions, qui verra les résultats et à partir de quelle taille de groupe les résultats seront présentés.

C’est aussi le bon moment pour préciser si votre sondage est anonyme ou confidentiel. Les employés confondent souvent les deux termes et croient qu’ils veulent dire la même chose. Dites-leur clairement si les réponses sont recueillies de façon anonyme - sans aucun lien avec l’identité des répondants - ou confidentielle - c’est-à-dire liées à leur identité, mais protégées.

Si vous tenez une séance d’information pour les gestionnaires, vous pouvez aussi leur fournir des réponses toutes prêtes aux questions que les employés risquent de poser, comme : « Est-ce que quelqu’un peut voir mes réponses ? »

Une fois le sondage terminé, gardez ces éléments à l’esprit en analysant les résultats.

Par exemple, si vous avez changé la formulation ou la traduction d’une question, les résultats s’en ressentiront.

Même chose si le taux de réponse d’une équipe est très différent, ou si la composition des répondants a changé.

Si les employés les moins engagés d’une équipe sont tous partis avant le sondage, ou ont refusé d’y répondre, le score global de l’équipe peut grimper artificiellement.

Avant de tirer des conclusions, comparez la composition des répondants (ancienneté, rôle) avec celle du cycle précédent.

Dans les petites équipes, même de petits changements peuvent peser lourd : si deux personnes sur douze changent leur réponse, la moyenne peut bouger considérablement.

Pour les petites équipes, soyez donc patient : attendez deux cycles de sondage, ou vérifiez si des changements semblables se produisent dans plusieurs équipes, avant de conclure à une évolution.

Bref, servez-vous de tout ce qui précède pour valider les résultats avant d’annoncer à la direction qu’une équipe s’est améliorée ou que ses résultats sont en baisse.

Il est aussi important de dire aux employés ce que vous avez fait de leurs réponses.

Si un sondage ne débouche sur aucune action, les employés auront plus de mal à faire confiance aux prochains - surtout ceux dont vous tenez vraiment à entendre le point de vue.

Quand vous présentez les résultats, inutile de promettre mer et monde. Indiquez plutôt sur quels problèmes vous allez travailler, qui s’en chargera et quand vous leur donnerez des nouvelles.

Adaptez les questions au type de sondage

Pour un sondage d’engagement, vous pouvez utiliser un ensemble de questions principales éprouvées, toujours sur la même échelle de 0 à 10.

Si vous envoyez un court sondage pulse comportant des questions à suivre dans le temps, placez-les au même endroit chaque fois. Changer leur formulation tous les mois va à l’encontre de l’objectif même de ce suivi.

Les sondages d’intégration, eux, devraient être envoyés à intervalles réguliers, avec une formulation identique. Plutôt que de les envoyer à une date fixe, déclenchez-les après une certaine durée d’ancienneté.

Vous pourrez ainsi comparer les réponses plus facilement : une réponse obtenue à l’arrivée se compare mal à une réponse obtenue 90 jours plus tard.

Les sondages de départ sont généralement plus efficaces avec des questions directes et précises. Comme les employés tiennent à protéger leurs références, ils ont tendance à arrondir les angles lorsqu’on leur demande s’ils sont d’accord ou non avec des énoncés. Une question directe comme « À quelle fréquence avez-vous discuté de votre charge de travail ? » donnera une réponse plus franche que « J’avais l’impression que ma charge de travail était gérable ».

Pour les sondages sur l’inclusion et le bien-être, partez de questions éprouvées. Une fois les questions traduites, vérifiez que leur sens a bien été conservé, et pas seulement que les mots sont bien traduits.

Quant aux sondages auprès des candidats, gardez-les courts et neutres.

Avant d’envoyer l’un ou l’autre de ces sondages, assurez-vous que les questions vous aideront à prendre une décision. Revérifiez la formulation des questions principales, l’échelle et l’ordre des questions, et assurez-vous qu’aucune question n’est orientée ou à double volet.

Enfin, classez correctement chaque modification apportée depuis la version précédente : changement cosmétique, correction ou changement de mesure.

Si vous voulez voir comment Sparkbay peut vous aider à bâtir une équipe plus engagée, vous pouvez cliquer ici pour une démo.