Nous continuons donc, après un premier article consacré à la notion de sondage électoral et donc à la question du champ du contrôle, notre étude du rapport de la Commission des sondages dont on pourra retrouver la présentation générale dans un article précédent du blog.
Aujourd’hui, nous entrons plus en détail dans les questions de fond du contrôle des sondages. Le présent billet sera en effet consacré à l’analyse du second paragraphe du rapport, intitulé « les principales questions posées par le contrôle de la qualité des sondages ». Ce paragraphe est donc consacré aux problématiques qui se sont posées lors du contrôle des sondages et à la manière dont la Commission des sondages les a résolues. Il est fondamental, et technique d’un point de vue juridique, ce qui explique que le billet suivant est particulièrement long.
Le rapport de la Commission des sondages est divisé en plusieurs points et nous respecterons ici cette structure pour procéder au commentaire : nous étudierons donc les évolutions des méthodes d’interrogation des instituts, puis le phénomène de diversification des enquêtes réalisées et enfin nous verrons le renforcement des recommandations méthodologiques de la Commission.
L’évolution des méthodes d’interrogation des sondages électoraux
C’est la première fois ici que la Commission des sondages a l’occasion de s’exprimer aussi longuement, et de manière synthétique, sur la méthodologie de réalisation des sondages par internet, autrement dit par le biais de questionnaires administrés « en ligne ». En effet, c’est au cours de cette campagne présidentielle que l’évolution vers cette méthode a commencé à se banaliser. Par exemple, lors de la conférence pour Délits d’opinion, Brice Tinturier, directeur général délégué de l’institut Ipsos, a fait part de son expérience et acté du fait que finalement, ses réticences initiales pour ce mode de recueil étaient largement injustifiées, chaque méthode ayant ses biais, mais les biais de la méthode d’internet n’étant pas particulièrement excessifs.
La Commission des sondages constate ainsi qu’en 2007, un seul institut utilisait cette méthode. Aujourd’hui, cinq instituts utilisent cette méthode, dont trois pour l’ensemble de leurs enquêtes et deux pour une partie de leurs enquêtes. Certains nouveaux instituts se sont créés par ailleurs pendant la campagne et n’utilisent que cette méthodologie.
La Commission des sondages, dans ce rapport, valide, au sens où elle ne condamne pas, l’utilisation de cette méthode pour élaborer des sondages. Elle adresse même un satisfecit aux instituts en considérant qu’ « alors même que la réalisation des sondages par internet implique la définition et la mise en œuvre ‘une méthode d’administration sensiblement différente de celle retenue pour les sondages par téléphone, la commission relève la facilité avec laquelle les instituts sont passés d’une technique de collecte de l »information à une autre et, pour certains, ont choisi de combiner les deux ».
La Commission des sondages ne s’oppose donc pas aux questionnaires auto-administrés en ligne. Elle tient même à préciser qu’elle les distingue très clairement des « faux sondages » déjà vus ici, que constituent ces enquêtes réalisées en ligne, auxquelles les personnes répondent sur la base du volontariat et dans lesquelles aucun effort n’est produit pour réaliser un échantillon représentatif et donc une enquête répondant aux critères de scientificité. La Commission des sondages a d’ailleurs édicté sur ce point, pendant la campagne, une recommandation indiquant que ces instruments ne sont pas des sondages et qu’ils n’ont pas de caractère représentatif.
Toutefois, elle relève qu’il peut exister, concernant ces méthodes, des résultats particuliers. Notamment, on sait que la réalisation de sondages en ligne change de manière très importante les résultats bruts recueillis par les sondeurs par rapport aux méthodes téléphoniques – la Commission des sondages considère ainsi que les souvenirs de vote sont sans doute plus proches de ce qu’on été les résultats de l’élection de référence ce qui produit donc de bons résultats.
Néanmoins, la Commission refuse de faire d’une méthode quelconque une méthode préférable à une autre : elle choisit au contraire de rappeler que les sondages d’intentions de vote ont finalement été très voisins, que les enquêtes aient été menées par téléphone ou par internet.
Si cette solution permet la réalisation de sondages par questionnaire auto-administré en ligne, et en cela elle est importante, on peut tout de même regretter que la Commission des sondages ne soit pas allée plus loin dans la description et la comparaison de ces deux méthodes, notamment dans l’exploration et l’encadrement de ces biais spécifiques qui existent sur internet – et dont il n’est guère fait état ici. Par définition la méthode est nouvelle et peut-être les techniques de redressement ne sont-elles pas parfaites – en tout cas, elles ne sont pas connues, et les décisions de la Commission des sondages ne permettent pas à ce jour d’avoir une idée de la question. Il est dommage de ne pas avoir davantage d’informations qui permettraient d’avoir un recul correct sur ces sondages et les éventuels problèmes qui pourraient y être liés.
Il aurait été bien que la Commission des sondages aille plus loin dans son propos : les différences entre les deux méthodes existent et il ne faut pas les sous-estimer. Par ailleurs, on aurait aimé des recommandations sur la comparaison entre sondages réalisés avec des techniques différentes : les résultats bruts étant très différents en fonction de la méthode employée, des règles de prudence dans les comparaisons auraient été souhaitables. Un problème partiellement résolu par le contrôle, par la Commission des sondages de l’impératif de cohérence méthodologique sur lequel on va revenir ci-dessous.
La diversification des enquêtes réalisées
Ce paragraphe est surtout consacré aux problèmes méthodologiques soulevés par les sondages organisés dans le cadre des primaires des partis politiques, ici la primaire socialiste et la primaire écologiste. On se rappelle ici des polémiques sur ces sondages comme du fait qu’une enquête avait été réalisée et donnait Nicolas Hulot très largement devant, alors qu’il a, comme on le sait, été finalement largement battu.
La Commission des sondages rappelle ici qu’elle a publié deux communiqués généraux consacrés à cette question pour souligner la difficulté particulière qui existe avec la réalisation de ces sondages, à savoir l’impossibilité de définir la base électorale de ces « primaires », ouvertes à tous les électeurs qui le souhaitent. Les précautions des instituts, comme le fait de n’interroger que des personnes sympathisantes de gauche et/ou ayant l’intention de voter à la primaire, n’ont pas permis de faire face à toutes les corrections. C’est un problème qu’il faudra apprendre à mieux gérer à l’avenir.
Sur ce point, le problème de la taille de l’échantillon peut s’avérer particulièrement prégnant, raison pour laquelle la Commission des sondages a rappelé que lorsque les résultats sont établis sur la base d’échantillons ou de sous-échantillons d’une taille particulièrement réduite, la publication des résultats doit en tenir compte en indiquant qu’il convient d’interpréter le sondage, notamment concernant les résultats affectant ces échantillons réduits, en tenant compte de la marge importante d’incertitude qui les affecte.
Le renforcement des recommandations méthodologiques de la Commission
Enfin, la suite du paragraphe est consacrée à de longs développements sur les recommandations méthodologiques de la Commission c’est à dire sur l’ensemble des règles de fond que la Commission préconise, et le cas échéant, sanctionne par le biais de mises au point.
Après avoir relevé le problème classique des instituts inexpérimentés dont les méthodes doivent être sanctionnées lors d’élections législatives, la Commission distingue deux types de règles : celles relatives au périmètre des sondages et celles relatives aux règles de redressement.
Concernant le périmètre des sondages, la Commission des sondages se contente de réaffirmer sa jurisprudence classique :
1) Pour les sondages portant sur une hypothèse de second tour avant que le premier tour de l’élection ne soit intervenu, les instituts doivent, lorsqu’ils ne publient qu’unseul cas de figure, tester les deux candidats qui arrivent en tête de leur sondage de “premier tour”. Si les résultats établis pour le premier tour sont suffisamment proches pour que, compte tenu des marges d’incertitude qui les affectent, l’identité des candidats qualifiés pour le second tour soit incertaine, la Commission invite les instituts à tester et publier plusieurs hypothèses de second tour.
Ces principes confirment une recommandation du 24 mai 2007 portant sur les sondages électoraux relatifs aux élections législatives confirmée par une recommandation du 1er février 2008 portant sur les sondages électoraux relatifs aux élections municipales et cantonales.
2) La Commission des sondages réitère également ses positions concernant la détermination des candidats soumis au choix des personnes interrogées. La Commission laisse ici une marge de manœuvre aux instituts : tant que l’offre politique n’est pas cristallisée par des déclarations officielles de candidature, ils sont libres du choix des candidats, et ce depuis une mise au point du 29 février 2000 La Tribune / Le Progrès.
Négativement, cette liberté est toutefois limitée par le fait que les instituts n’ont pas le droit d’omettre une « candidature essentielle et d’ors et déjà certaine », en vertu du rapport de la Commission des sondages de 1989.
Positivement, cette liberté a également une réserve – et le contrôle va croissant à mesure que l’élection se rapproche – celui du caractère vraisemblable de la candidature des personnes testées. La Commission, en vertu du rapport de la Commission des sondages de 2001, vérifie ici l’« erreur manifeste d’appréciation ».
Une fois l’offre politique cristallisée, les instituts doivent la respecter, en vertu de mise au point du 29 février 2000 La Tribune / Le Progrès.
Ces positions sont donc classiques et utiles car elles permettent une interprétation prudente des sondages. Elles ont selon la Commission des sondages été respectées par tous les instituts à l’exception d’un sondage relatif à une élection législative qui a d’ailleurs donné lieu à la publication d’une mise au point.
Concernant les règles aux redressements, la Commission des sondages donne ici de nombreuses indications utiles :
Elle rappelle d’abord la philosophie générale de son contrôle qui semble satisfaisante, ainsi que nous le relevions dans notre ouvrage : la Commission écrit ainsi dans son rapport qu’elle « a poursuivi l’approfondissement de son contrôle tout en veillant à ne jamais substituer son appréciation à celle de l’auteur du sondage ».
En effet, la Commission des sondages cherche à préserver la liberté des instituts qui sont des professionnels qui eux vont résoudre, en tâtonnant s’il le faut, les difficultés, toujours croissantes et en renouvellement permanent, à mieux s’approcher d’une opinion publique et d’un électorat toujours moins prévisibles.
Logiquement, cette solution permet aux instituts d’aboutir, du fait du recours aux souvenirs de vote à références multiples et de la pratique de redressements faisant appel à plusieurs critères, à des résultats multiples et donc implique de leur laisser une « certaine marge d’appréciation » dans le choix des résultats finalement publiés. On retrouve ici l’idée que le sondage est un équilibre entre une science et un art.
Cette liberté s’exerce toutefois dans un cadre permettant de garantir que le sondage est réalisé en conformité avec des impératifs méthodologiques scientifiques rigoureux, autant que faire se peut. Le présent rapport est alors pour la Commission des sondages l’occasion de rappeler des principes posés au fur et à mesure par la Commission et dont a pu se faire l’écho dans notre ouvrage :
1) Tout d’abord, il existe et il faut respecter un impératif général de cohérence méthodologique qui impose, au sein d’une même campagne de sondages, la permanence de la méthode retenue. Ce principe existe depuis longtemps – on en trouve des traces dès 1988 dans le rapport de la Commission des sondages et dans une mise au point du 20 avril 1988, Radio France contre Louis Harris. Il a été conceptualisé sous le terme d’« impératif de cohérence méthodologique » dans le rapport de 2009 de la Commission.
Cette règle a bien été respectée selon la Commission des sondages puisque lorsque certains instituts ont décidé de modifier certains éléments ou critères, ils ont pris le soin d’en informer la commission et de justifier auprès d’elle ces évolutions. Sur ce point, on aurait tout de même aimé avoir davantage d’éléments concernant notamment, le cas échéant, le passage des méthodes téléphoniques aux méthodes internet.
2) Ensuite, il est en principe interdit de publier des résultats se situant en dehors de la « fourchette » qui correspond, pour chaque candidat, à l’intervalle entre le score le plus faible et le score le plus élevé obtenus à l’issue des différents redressements opérés. Ce principe existe depuis le rapport de la Commission des sondages de 2005.
Dans le rapport, la Commission insiste par ailleurs sur une règle fondamentale qu’elle établit comme ayant été dégagée pendant la campagne électorale, à savoir la nécessité d’indiquer dans la notice du sondage, concernant les redressements, une « colonne de référence », c’est à dire le principe selon lequel il faut choisir un critère commun de redressement pour l’ensemble des candidats. Ceci permet de s’assurer de la cohérence globale de la méthode utilisée et donc in fine de la cohérence globale des résultats du sondage. En réalité, ce principe existe depuis le rapport de la Commission des sondages de 2009.
Toutefois, conformément à la philosophie générale du contrôle exposée ci-dessous, il ne s’agit pas non plus de faire une application trop rigide de ce principe.
Ceci conduit la Commission, d’une part, à admettre que la colonne de référence puisse être modifiée entre plusieurs sondages en fonction du déroulement de la campagne électorale, à la condition que la notice explique cette évolution. D’autre part, la Commission n’entend pas lier les instituts par le respect strict de la colonne de référence ; elle envisage donc l’hypothèse où, pour plusieurs candidats, les données publiées pourraient sortir de la colonne de référence. Mais, dans ce cas de figure, l’institut devra justifier dans sa notice cette dérogation, pourquoi elle concerne ce candidat en particulier et pas les autres. L’idée est ici que la Commission puisse avoir une bonne « traçabilité de la méthode ayant conduit à l’établissement des résultats publiés ». On conçoit que de telles exceptions ne peuvent être que rares et particulièrement motivées.
La Commission reconnaît, et c’est un point important que cette règle a posée des difficultés d’application, au moins dans un premier temps. Or, cette question nous est chère et nous conforte dans notre analyse puisque nous avons nous-même proposé, pour résoudre ce problème et en faveur de la transparence, que les fourchettes et les colonnes de références fassent partie des documents communicables, notamment dans notre article à la RFDA sur l’arrêt Mélenchon. Cet élément devrait faire partie des réflexions sur le contenu des notices qu’il faudrait communiquer dans le cadre d’une éventuelle loi.
La Commission relève ainsi qu’il « faut reconnaître que [cette nouvelle exigence de méthode] a été, au moins dans un premier temps, diversement appréciée par les instituts ». Elle indique également que « l’obligation d’expliciter spontanément les éventuels écarts par rapport à la colonne de référence ayant été plus ou moins bien respectée, le besoin d’explication a entraîné, dans certains cas, des échanges écrits entre la commission et les représentants des instituts et parfois même une audition de ces derniers ».
A deux reprises toutefois, les éléments d’explication n’ont pas convaincu la Commission
du bien-fondé de l’écart significatif des scores attribués à certains candidats par rapport à
ceux résultant des redressements de la colonne de référence. Cela a conduit à l’édiction de deux mises au point : ces deux sondages étaient frappés d’un « défaut de cohérence interne ».
On aurait bien aimé ici avoir davantage de détails. Il s’agit peut-être ici de la mise au point 31 mai 2011 Le Nouvel observateur / TNS-Sofres qui a considéré que le sondage en question était frappé d’un « défaut de cohérence interne » et de la mise au point du 30 septembre 2011, CSA / BFM TV, RMC et 20 minutes.
On sait seulement que l’une de ces mises au point concernait aussi un autre problème : celui de l’absence de caractère prédictif d’un sondage.
3) Enfin, une troisième règle que la Commission des sondages pose dans ce rapport concerne la question fondamentale de l’absence de caractère prédictif d’un sondage d’opinion.
En effet, la Commission rappelle ici qu’un sondage, même si les intentions de vote vont s’affiner au fil de la campagne, est « dépourvu de toute valeur prédictive ». Le sondage « doit se borner à refléter l’état de l’opinion au moment de sa réalisation, sans que les résultats obtenus soient corrigés à partir de considérations reposant sur des éléments extrinsèques à l’enquête ». En somme, si le sondage donne un résultat donné à un moment donné, il faut respecter ce résultat et ne pas le modifier en considérant des données extérieures, ou en anticipant des tendances d’opinion qui ne se traduisent pas dans les sondages d’opinion.
Ce principe a été posé dans la mise au point du 31 mai 2011, le Nouvel Observateur / TNS Sofres : les instituts ne peuvent modifier leur redressement en considérant qu’un score paraît peu probable ou provisoire.
A l’époque, il s’agissait d’un sondage qui testait les intentions de vote pour la présidentielle juste après l’arrestation de Dominique Strauss-Khan et qui constatait une poussée sensible en faveur du candidat PS potentiel quel qu’il soit. L’électorat semblait évoluer comme portée par un « patriotisme » de parti qui se mobilisait en réaction à un fait de campagne qui ne pouvait être qu’une machination, de sorte que le score des candidats de gauche s’avérait particulièrement élevé. Il était tentant pour l’institut, par prudence, d’anticiper la fin de ce phénomène et donc une baisse des différents candidats socialistes testés, mais un tel lissage a été refusé par la Commission des sondages car le sondage est simplement une photographie instantanée de l’opinion et ne saurait avoir aucun caractère prédictif, d’autant que nous étions alors à un an du scrutin.
Si le sondage est un peu un art et un peu une science, l’art ne doit pas aller trop loin. La rigueur l’exige.
Romain Rambaud