Partie 6 : Mesurer l’impact du test
Temps : 
en continu sur l’ensemble du projet.
A mobiliser : Personne référente du projet, responsable achats pour le suivi des stocks, personnes à l’accueil et room-service pour le suivi des retours clients, chefs de service pour le suivi de la collecte des différentes données.
Mesurer l’impact du projet, c’est analyser l’efficacité du test, pouvoir valoriser concrètement ses efforts et ses réussites, et connaître de manière précise ses axes d’amélioration. Nous proposons une méthode classique et robuste, en 3 temps : i/définir ses indicateurs par rapport à ses objectifs, ii/collecter les données nécessaires et iii/interpréter les résultats. Vous pouvez très bien définir vos indicateurs en même temps que vos objectifs (voir 1.1 Clarifier les objectifs) pour gagner du temps !
6.1 Définir ses indicateurs clés
Reprenez donc vos objectifs initiaux et transformez-les en grandes questions, par exemple :
- Le projet pilote a-t-il permis de réduire le recours au Plastique à Usage Unique (PUU) sans provoquer de transfert d’impacts environnementaux ?
- Quels sont les coûts et bénéfices de la démarche ? A partir de quand les alternatives sont-elles amorties ?
- La clientèle et le personnel ont-ils adhéré à la démarche et accepté les changements ?
Ces grandes questions permettront de définir des indicateurs clés (Key Performance Indicator, KPIs), de choisir quelles données collecter en fonction, et de pouvoir mettre en place le processus de collecte de données.
Attention ! Il faudra choisir une année et une période de référence : toutes ces questions sont relatives à un point de départ. Vous verrez, cela sera limpide dans la section suivante !
LE CAS DE L’INTERCONTINENTAL MARSEILLE : Les KPIs du pilote
Sur le volet environnemental :
- masse de PUU évitée en moyenne sur la durée du test
- pourcentage de réduction de la consommation de PUU sur la durée du test
- impact environnemental moyen.
Sur le volet économique :
- dépenses réalisées pour la mise en œuvre du test
- économies réalisées sur la durée du test
- retours sur investissements.
Sur l’acceptabilité sociale :
- perception du personnel
- perception de la clientèle
6.2 Identifier et collecter les données nécessaires
Vous avez défini vos KPIs, il s’agit donc maintenant de les “décortiquer” pour identifier i/comment vous allez les calculer, ii/les données dont vous avez besoin, et iii/la méthode de collecte de la donnée.
Les méthodes de calculs sont propres aux indicateurs choisis (retrouvez les détails du cas de l’InterContinental Marseille – Hotel Dieu dans le modèle-type #3). Il y a cependant un point commun pour tous les indicateurs : la nécessité de définir une période de référence (situation avant le déploiement des alternatives) et une période de test (pendant le déploiement des alternatives). Les données collectées sur la période de test seront comparées à celles de la période de référence pour connaître l’évolution de la situation.
POINT DE VIGILANCE
S’il est tout à fait louable de vouloir mener cette démarche avec le plus de justesse possible, nous avons pris le parti d’une analyse “à grosses mailles”, compte-tenu des contraintes de temps et de budget. Cela reste robuste d’un point de vue méthodologique global. Nous connaissons et reconnaissons les approximations que nous avons opérées et les hypothèses que nous avons posées. Libre à vous d’ajouter de la finesse, de l’exhaustivité et du cas particulier !
Choisir sa période de référence et sa période de test :
- Quelles sont les dates de votre période de test ? Même si vos alternatives peuvent être mises en place progressivement, nous vous recommandons de simplifier et de conduire vos analyses sur la même période pour toutes.
- Quelle est votre période de référence ? Le plus simple est de prendre la période similaire en année n-1, si la conjoncture n’en a pas fait une année atypique.
En termes de données à collecter, bien que cela soit dépendant de vos KPIs, voici une liste des incontournables :
- la masse de plastique des PUU et des alternatives pour calculer la masse de PUU évitée ;
- la fréquentation de l’hôtel sur la période de test et la période de référence : cela vous permettra de calculer le taux de consommation d’un PUU ou d’une alternative, le taux de retours de la clientèle… ;
- la quantité de PUU et d’alternatives commandées sur la période de test et la période de référence : ce sera utile pour calculer la masse de plastique évitée, le taux de consommation… ;
- le coût unitaire des PUU et des alternatives : ce sera indispensable pour estimer les économies ou les surcoûts engendrés par les changements ;
- les retours de la clientèle et du personnel : il est essentiel de recueillir leurs ressentis et d’aller au-delà de ce que l’équipe projet perçoit.
Certaines données peuvent être collectées avant, pendant, ou après la phase de test. Par exemple, la masse des PUU peut être pesée ou connue (via les fiches techniques) dès l’étape 2. Dans tous les cas, nous vous recommandons de les recenser et de les centraliser dans un tableau (voir modèle-type #3), pour faciliter la collecte et l’analyse.
Prenez le temps de vérifier, KPI par KPI, la méthode de calcul et les données nécessaires. En faisant cela, vous allez vous projeter dans la manière de collecter la donnée : est-ce que mon logiciel de gestion des achats et des stocks me permet d’avoir cette information ? Est-ce que mon système de plaintes sera suffisant pour connaître les dysfonctionnements éventuels ? Est-ce que j’ai accès aux données webométriques pour connaître le taux de clic sur mon site internet ?
NOS CONSEILS
Toujours ramener la réflexion à la question et à l’objectif initial : il est si vite arrivé de se perdre dans les données et les indicateurs ! Bien sûr la rigueur méthodologique et la justesse des informations est précieuse, mais gardez le cap des KPIs ; c’est déjà un énorme travail !
LE CAS DE L’INTERCONTINENTAL MARSEILLE : Les KPIs environnementaux, de la question clé aux méthodes de calcul et données nécessaires
LE CAS DE L’INTERCONTINENTAL MARSEILLE : Le suivi-évaluation de l’acceptabilité sociale
Pour savoir si les changements étaient acceptés socialement, nous avons considéré deux cibles : le personnel de l’hôtel et la clientèle.
Suivre et évaluer l’acceptabilité des changements par le personnel :
Commencez par impliquer vos collègues le plus tôt possible et à vous appuyer sur leurs pratiques et leurs besoins comme proposé plus haut (voir 5.1 (In)former le personnel). Puis, pour recueillir formellement leurs retours en fin de test, vous pouvez vous inspirer des indicateurs suivants, développés par InOff Plastic et utilisés à l’InterContinental Marseille – Hotel Dieu :
- Perception générale des alternatives
- Niveau de changement engendré par la mise en place de l’alternative (chefs de service)
- Niveau de changement engendré par la gestion quotidienne des alternatives (personnel)
- Niveau de praticité / pénibilité engendré par les alternatives
- Temps passé dans la mise en place des alternatives vs. Temps qui était dédié à la gestion des produits initiaux
Ils ont été évalués à l’aide d’un questionnaire avec une échelle de notation (ex : 0 = pas de changement, 10 = grands changements) et des retours qualitatifs recueillis lors des points d’équipe mensuels.
Suivre et évaluer l’acceptabilité des changements par la clientèle :
La mesure de la satisfaction de la clientèle a été effectuée par les chercheurs de l’IMSIC à l’aide d’outils existants et d’autres développés pour l’occasion :
- des questionnaires : le questionnaire général de satisfaction de l’hôtel, et un questionnaire spécifique accessible par QR code depuis les écriteaux de communication
- d’une analyse webométrique : des avis laissés sur les sites de réservation et du nombre de clients ayant flashé un QR code depuis un écriteau dédié au projet
Mener des entretiens aurait été idéal, mais ce dispositif était trop lourd et chronophage à mettre en place.
6.3 Interpréter les résultats
Et c’est donc maintenant, fort de votre expérience et de vos KPIs sur les aspects environnemental, économique et social que vous allez pouvoir vous forger une opinion sur l’efficacité du test. L’analyse des résultats permet de conclure quant aux alternatives à garder définitivement, à déployer plus largement dans les différents espaces de l’hôtel, à adapter (d’un point de vue des protocoles, des messages de communication) ou encore à repenser plus profondément à cause de l’impact environnemental.
Dans le cas de l’InterContinental – Marseille Hotel Dieu, elle a permis de chasser les inquiétudes pour certaines alternatives réemployables qui semblaient initialement difficiles à mettre en place pour des raisons d’hygiène (ex : utilisation et lavage des sucriers), d’acceptation de la clientèle (ex : supprimer les amenities des chambres pour les mettre sur demande) où de temps passé par le personnel (ex: re-remplissage des bouteilles d’eau). D’autres résultats iront quant à eux à l’encontre des espérances (ex: distribution de bonbon en vrac pour remplacer le sachet individuel).
ZOOM SUR : L’interprétation du peu de retours de la clientèle
Sur les 15 000 clients reçus pendant la période de test, seuls 307 ont rempli les questionnaires de satisfaction et seulement 4 d’entre eux ont émis un avis négatif (tous sur l’absence de kit de salle de bain). Les chercheurs en sciences de l’information et de la communication en ont conclu que les micro changements entraînés par la réduction des PUU dans l’hôtel sont passés inaperçus auprès de la clientèle.
Éric Boutin et Daphné Duvernay (IMISIC)Ce n’est pas un mal que l’hôtel ait réussi à transformer ses comportements en matière de recours au plastique de façon ‘invisible’ pour ses clients. On connaît les réticences au changement qui s’expriment aisément. Avoir réussi à changer sans prêter le flanc à la critique est donc en soi un élément positif.
NOS CONSEILS
Considérez votre démarche comme un processus d’amélioration continue et une démarche itérative ! Vous savez désormais quels sont vos quick win, vos déceptions et vos leviers d’amélioration, et vous pouvez vous en féliciter ! Évaluer régulièrement vos KPIs vous permettra d’ajuster votre trajectoire de sortie des PUU. Et il y a généralement deux axes pour aller plus loin : i/revenir à l’étape du diagnostic et traiter les PUU que vous aviez considérés comme non prioritaires et ii/améliorer la gestion de vos déchets dans les différents espaces (tri, collecte, recyclage).
