Le baromètre 2019
MRNews-Callson
< Retour au dossier

DOSSIER : Représentativité des études - volet 2

L’impératif du discernement

Alexis Bonis-Charancle

Directeur Général de B3 TSI

 

 

 

 

Pour Alexis Bonis (B3TSI), il ne faut pas occulter la réalité d’un affaissement de la représentativité des études réalisées par les entreprises, en particulier avec le développement de l’usage des panels online. Faut-il y voir une évolution à la fois catastrophique et inéluctable ? Certainement pas nous dit-il en substance en invitant les commanditaires d’études à faire preuve du plus grand discernement possible dans leurs choix méthodologiques en fonction des différents besoins qui sont les leurs.

MRNews : Depuis dix ou quinze ans, des évolutions majeures se sont produites dans la pratique des études : l’adoption massive d’internet et des panels on-line, l’écoute des réseaux sociaux, les communautés on-line, le big data… Ces évolutions ne sont pas neutres quant à la question de la représentativité des études, et sur la façon même de définir celle-ci. Pour être très direct, pensez-vous que l’on assiste à une érosion quant à la représentativité des études qui sont réalisées ?

Alexis Bonis-Charancle : Je pense qu’il ne faut pas se voiler la face. Oui, il me semble évident qu’il y a eu un affaissement de ce point de vue là. Beaucoup de modes d’administrations et de méthodologies d’enquêtes utilisées aujourd’hui ne permettent pas de garantir une bonne représentativité des échantillons. Quand on voit les prix auxquels sont vendues certaines études, il ne faut pas rêver ; quoi qu’en disent ceux qui les réalisent, il ne peut pas y avoir une représentativité correcte dans de telles conditions. Mais je crois néanmoins qu’il faut faire preuve de discernement et moduler l’exigence en fonction de la nature et de la vocation des études. Une représentativité rigoureuse s’impose pour certaines études, alors dans d’autres cas cette contrainte ne s’impose pas.

Comment définir la ligne de partage entre ces deux types d’études ?

Certaines études ont pour vocation d’abord de générer des idées ou de récupérer des matériaux pour simplement nourrir la réflexion. On cherche des mots, des expressions ; il est logique en ce cas d’aller les chercher là où ils sont à la fois nombreux et peu couteux : par exemple sur les réseaux sociaux et plus largement sur le web. Dans ces cas-là, il n’y a pas lieu de se mettre la rate au court-bouillon sur les enjeux de représentativité. Mais les entreprises ont également besoin d’un autre type d’études, qui servent elles à valider des décisions possibles. Il s’agit de mesurer la notoriété d’une marque, le niveau de satisfaction d’une cible ; ou bien encore la pénétration d’un produit ou d’un usage. Dans ces cas-là, il faut veiller à une représentativité sérieuse des échantillons interrogés.

Faute de quoi l’entreprise court le risque de prendre de mauvaises décisions ?

Absolument. La représentativité est naturellement synonyme de contraintes, en termes de temps et de budget. On peut être tenté, par « confort », à considérer que l’interrogation de 500 à 1000 personnes permet d’obtenir un éclairage suffisamment précis pour prendre une décision. D’expérience, nous savons qu’il n’en est rien. Très récemment, nous avons eu le cas d’une entreprise qui nous a demandé de challenger une étude importante puisqu’elle portait sur le choix d’un nom de marque, avec deux pistes possibles. En mettant en œuvre des conditions strictes quant à la représentativité de l’échantillon sollicité, nous avons obtenu des résultats diamétralement opposés à ceux de la première étude. C’est aussi simple que cela : si l’objet de l’étude est d’aider à prendre une décision, elle doit être menée avec la rigueur nécessaire, même si cette rigueur a un coût, celui-ci devant bien sûr être proportionné à l’enjeu.

C’est le caractère « décisionnel » de l’étude qui permet de définir ce niveau d’exigence…

Pour le formuler autrement, la question est de savoir s’il y a besoin d’extrapoler les résultats obtenus auprès d’un échantillon à une population plus large. Si tel est le cas, la représentativité est une nécessité. L’entreprise doit faire ce choix en conscience. Mais il faut aussi naturellement que les instituts et les professionnels soient transparents et cohérents : ils ne doivent pas dire que l’étude est représentative si elle ne l’est pas ! Mais si l’on constate régulièrement une baisse de l’exigence quant à la représentativité des études, cela tient aussi à des évolutions culturelles du côté des entreprises qui achètent les études. On voit progresser une posture consistant à affirmer le primat de l’action. Qu’importe si la rigueur de l’approche n’est pas irréprochable à partir du moment où l’étude débouche sur des actions !

Que pensez-vous de cette posture ?

Je crois dangereux d’opposer la connaissance à l’action. Sur un nombre important de sujets, et dès lors que sont en jeu des investissements lourds avec des processus de production industriels par exemple, les risques sont énormes à s’affranchir de la rigueur et de la représentativité des échantillons.

Une des grandes questions est celle des panels on-line… Est-il possible d’assurer la nécessaire représentativité des échantillons en s’appuyant sur cette modalité de recueil ?

Les études par téléphone restent à mon sens l’option permettant le plus souvent d’assurer une bonne représentativité des échantillons. Mais cela ne signifie pas pour autant que les approches on-line soient bonnes à jeter par-dessus bord. Elles peuvent apporter des éclairages parfaitement valides dès lors qu’un certain nombre de conditions sont réunies.

Le téléphone est idéal, mais il suppose des couts sensiblement plus élevés…

Soyons clairs : proposer aujourd’hui des méthodes exclusivement basées sur du recueil téléphonique revient souvent pour les instituts à s’obérer toutes chances de pouvoir remporter des appels d’offre ; les écarts de prix sont trop importants.

Quelles sont donc à la fois les limites et les principales conditions d’un bon usage des études via des panels on line ?

Une des premières limites tient à la difficulté qu’ont au moins une partie des panélistes à travailler avec toute la rigueur requise sur les aspects d’échantillonnage. Il n’est pas si évident pour eux de fournir un échantillon strictement représentatif de la population française sur ces 5 critères de base que sont le sexe, l’âge, la CSP, la région et la taille d’agglomération. Il n’est pas évident pour eux de concilier les contraintes que cela suppose –le fait de stopper les interviews en fonction de l’atteinte des quotas - avec les impératifs d’animation de leurs panels. Mais les choses sont en train de changer, certains panélistes maitrisent aujourd’hui ce type d’enjeu.

Une autre difficulté est inhérente à la nature des panélistes. Même si l’on respecte la structure socio-démographique de la population française, il est évident que les panélistes présentent un profil particulier, notamment dans leur rapport à la technologie.

C’était l’une des conclusions du travail effectué par le Credoc, qui montrait que les résultats pouvaient être significativement différents selon le mode de recueil utilisé (panel online ou téléphone) lorsqu’il y avait une composante technologique importante dans l’objet de l’étude…

Oui, tout à fait. La conséquence la plus évidente est de ne pas traiter ces sujets en s’appuyant sur des panels on-line. Mais notre conviction est de ne pas s’en tenir à une vision trop minimaliste de ce phénomène. Et ce pour une simple raison, qui est que la technologie est partout aujourd’hui ! Elle est notamment présente dans les comportements d’achat et les canaux de distribution, et ce pour un nombre considérable de produits ou de services. Regardez par exemple le poids d’internet dans les achats de voyages, ou même pour les biens culturels. Dès lors que l’étude intègre la composante distribution, nous recommandons donc de mettre en place un volet complémentaire d’étude par téléphone, de sorte à identifier les écarts de comportements et neutraliser ainsi les biais possibles. Mais le recueil via internet induit aussi des effets auxquels on ne pense pas nécessairement sur des mesures assez classiques. C’est le cas pour les études de satisfaction, avec des notes qui sont classiquement beaucoup plus basses lorsque le recueil se fait on line, notamment lorsqu’il est question de juger des composantes relationnelles.

Existe-t-il des moyens pour que le pattern des panélistes soit plus proche de celui de la population française ?

Le principe que nous venons d’évoquer - avec la mise en œuvre des volets d’études complémentaires menés par téléphone - va bien dans ce sens. Il nous semble également intéressant d’intégrer dans l’interrogation des panélistes quelques questions portant notamment sur le taux d’équipement ou d’usage d’un certain nombre de produits, qui permettent de procéder à des redressements efficaces. Il y a également un certain nombre de précautions à prendre dans l’exploitation et l’usage des quotas. Le fait de croiser les variables de sexe et de CSP par exemple nous semble être une précaution bien utile. Et il est impératif également de mettre en œuvre un contrôle qualité extrêmement rigoureux, en éliminant systématiquement les réponses pour les cas douteux.

D’autres aspects vous semblent importants dans ces règles d’un « bon usage » du recueil on line ?

Autant l’usage du recueil on line peut être délicat – et même risqué dans les cas que nous avons évoqués – pour une mesure de type « one shot », autant il nous semble être une option extrêmement intéressante dans le cadre de mesures barométriques.  On respecte le principe clé du « toutes choses étant égales par ailleurs », en se donnant ainsi la possibilité de suivre les évolutions avec une économie de moyens très intéressante.

Si vous deviez travailler non plus en institut mais au sein d’une entreprise utilisatrice d’études, quelle serait votre ligne de conduite ?

Je pense que ma tentation serait de plus diversifier les méthodologies de recueil que cela n’est fait en général, notamment pour orienter les politiques d’innovation. Je crois par exemple que les communautés offrent des solutions très intéressantes pour tester des idées dans une logique de pré-screening. Sachant qu’il peut être fort couteux de tester des concepts selon des protocoles exemplaires en termes de représentativité, il est préférable de disposer en amont d’un système léger permettant de se faire au moins une première idée sur l’intérêt d’une piste. Je serais ainsi partisan d’un système d’études à géométrie variable, avec une très forte exigence de représentativité sur les outils de cadrage et de connaissance générale du marché, des outils plus lights et extrêmement réactifs pour générer des idées et pré-identifier celles qui sont les plus intéressantes ; et enfin à nouveau des outils particulièrement robustes pour valider les choix et les décisions les plus lourdes de conséquences pour l’entreprise.


 POUR ACTION 

Commenter 

• Echanger avec l'interviewé(e) : @ Alexis Bonis-Charancle

• Partager sur LinkedIn ou Twitter

• Retrouver les points de vue des autres intervenants du dossier

• Vous tenir informé(e) de l'actualité sur MRnews