comScore Canada / US fait vérifier sa méthodologie 1

comScore Canada / US fait vérifier sa méthodologie

Hier avait lieu un webinar avec comScore au sujet d’un audit qui est en cours aux États Unis sur leur méthodologie.

La firme qui réalise l’audit est le Media Rading Council, un organisme à but non-lucratif au États Unis. Ils ont expliqué de long en large qui ils sont, pourquoi ils existent et le long processus de plus de 12 mois par lequel passe en ce moment comScore. Voici la mission du MRC :

The objective or purpose to be promoted or carried on by Media Rating Council is:

To secure for the media industry and related users audience measurement services that are valid, reliable and effective.

To evolve and determine minimum disclosure and ethical criteria for media audience measurement services.

To provide and administer an audit system designed to inform users as to whether such audience measurements are conducted in conformance with the criteria and procedures developed.

Le MRC se compose de membres agences, annonceurs et médias, mais pas les firms de recherche – pour éviter tout biais. Ils vérifient tous les types de données mesurant les médias (radio, télévision, cable et réseaux, Internet, magazines, quotidiens, hebdos, affichage extérieur), des PPM de Nielsen au États Unis aux PMB, Nadbank et autres, pour assurer tous les usagers de ces données qu’elles sont fiable sans l’ombre d’un doute. Cela inclus aussi certains adserver dont DART DFP et DFA, AOL, Atlas, 24/7 Real Media, Eyeblaster, MSN et Google (étrange que ceux-ci n’utilisent pas le cigle MRC pour démontrer leur justesse).

L’audit ou la vérification se fait sur toute la méthologie de comScore, de A à Z. Du recrutement de l’échantillon, pondération, validation, de sa durée, régularité, etc… L’extrapolation, les sources, les estimations, les calculs, la présentation des données etc… Cela inclus autant les données que nous connaissons bien que les nouvelles données vidéo. De plus, cette vérification inclus aussi la méthodologie du nouveau volet « beacon ».

Bref ils ont tout fait pour convaincre le comité sur la mesure d’IAB Canada, tout ceux qui participaient au Webinar, que leur procédé était éprouvé et respecté par l’industrie, principalement au États Unis, mais aussi un peu partout dans le monde. Cela dans le but de nous convaincre que lorsqu’ils auront terminé avec comScore, s’ils passent le test, ou font les ajustements requis pour passer le test ultimement, les données qu’ils donneront dès lors seront valides hors de tout doute.

On ne peut malheureusement pas, entant qu’usager, dire que c’est le cas en ce moment. Particulièrement au Canada français.

Je n’entrerai pas dans les inconstances historiques des données, mais répéterai qu’il y a concensus dans l’industrie qu’il y a des anomalies, voir de gros problèmes, avec les données rapportés par comScore. Tellement qu’un regroupement d’éditeurs au Québec, ainsi qu’un autre à Toronto (Canada anglais) ont, en paralèle d’IAB Canada, confronté l’automne dernier comScore (qui avait fait venir ses gros canons de New York). S’en est suivi quelques rencontres avec et sans IAB pour créer un comité sur la mesure, d’une part, et un plan du côté de comScore pour rectifier  les lacunes clairements identifié et corrigable, ainsi que de rassurer tous ses clients sur la validité de ses données.

Le MRC a entre autre pris du temps pour expliquer qu’au États Unis ils prennent grand soin de validé la représentativité et extrapolation de données concernant soit les groupes ethniques basée sur leur langue ou race (hispanophones et africains américains par exemple).  J’ai posé la question sur cette ligne de pensé par rapport au Canada français, communauté « isolé » consommant ses médias, ainsi que les médias anglais.  Ils vont vérifier ce volet sur plusieurs facettes. Nottament la langue maternelle du répondant, langue usuelle à la maison, au bureau, langue de navigation, attitude du répondant face à la langue…

J’en suis ressorti rassuré, qu’une fois le processus complété et que le MRC aura appuyé son sceau sur le nom comScore, que les données seront à ce moment fiable et indiscutable.

Il faudra tout de même toujours garder en tête 2 éléments bien important:

  1. que ce n’est qu’un sondage, pas un recensement tel qu’est un DART ou Omniture.
  2. qu’il s’agit d’un sondage sur les habitudes des Canadiens, pas de l’ensemble des usagers mondiaux qui consomment nos sites (2 univers définis différement).

Voilà, le webinar a durée plus d’une heure et je me ferai un plaisir de répondre comme je pourai à vos questions, si vous en avez.

Ajouter un commentaire