14/02/2017 : Jean-Luc Mélenchon contre Ifop : comment l’opacité des instituts joue contre la crédibilité des sondages [par un nouvel auteur, Tristan Guerra]

Le blog du droit électoral, lorsqu’il a ouvert en 2012, n’était que le blog du droit des sondages électoraux. S’il a bien évolué depuis, c’est avec un plaisir particulier que nous proposons aujourd’hui de revenir à nos premiers amours (en ce jour de Saint-Valentin) grâce à la contribution d’un auteur, Tristan Guerra, dont le profil est particulier puisqu’il est sondeur. Etudiant dans le Master 2 Progis de Sciences Po Grenoble dirigé par notre collègue Frédéric Gonthier et se destinant à la recherche, M. Guerra, fort de ses récentes connaissances du droit des sondages électoraux, propose d’étudier ici la polémique ayant récemment opposé M. Mélenchon et l’IFOP en profitant du surcroît de transparence, encore trop limitée, introduit par la loi du 25 avril 2016 qui permet désormais de consulter en ligne les notices (partielles) des sondages publiés. Merci à lui et bonne lecture !

 *****

A moins de 70 jours du premier tour de l’élection présidentielle, au moment où les choix électoraux des français se cristallisent, les instituts de sondages ont commencé à publier des intentions de votes à un rythme quotidien. Des dispositifs qui avaient déjà été déployés lors des scrutins précédents de même nature. Parmi la myriade d’enquêtes de ce genre publiées, la vague 5 du « rolling » de l’Ifop a suscité une controverse animée entretenue par le camp de Jean-Luc Mélenchon qui reproche à l’institut de sous-estimer les intentions de vote en faveur du candidat de gauche radicale par un recours abusif et infondé au redressement politique.

Malgré un premier papier dans Libération qui conteste fortement le calcul de ses partisans, Jean-Luc Mélenchon a lui-même pris la plume sur Facebook pour réclamer justice et défendre ses soutiens. Libération s’est ensuite fendu d’un second article au terme d’une enquête qui défend à nouveau l’institut, en faisant valoir notamment qu’après consultation de la notice de l’enquête déposée à la Commission des sondages, le redressement n’avait affecté que très marginalement le candidat de la gauche de la gauche. Si ce n’est pas la première prise de bec entre le leader de France insoumise et un institut de sondage, l’argumentaire utilisé est révélateur de la méconnaissance du grand public et des responsables politiques à l’égard du traitement des données d’enquête. Mais cette controverse épineuse peut s’expliquer également par la confusion de l’institut qui ne rend pas public les effets du redressement sur les intentions de vote.

 L’erreur de la France insoumise

La critique de Jean-Luc Mélenchon est avant tout celle des critères de redressement utilisés par l’Ifop pour établir son intention de vote. Selon lui, ils sont illégitimes et ce à plusieurs titres. En prenant appui sur les résultats de l’élection présidentielle de 2012 et les élections régionales de 2015, le redressement mobilisé par l’institut aurait pour conséquence de rehausser le score du candidat socialiste Benoît Hamon et de fortement minorer le sien. Parallèlement, le candidat Mélenchon critique plus spécifiquement l’idée d’un redressement sur les régionales de 2015, jugé impossible car l’offre « Front de gauche » était à ce moment-là très disparate suivant les régions et serait sans comparaison possible avec l’élection présidentielle de 2017.

De son côté, l’Ifop se défend en disant que c’est la même méthode qui avait prévalu lors de l’élection présidentielle de 2012, avec succès. Or, les soutiens de Mélenchon rétorquent que l’élection de 2017 revêt un caractère « exceptionnel » et que la même méthode ne peut pas être suivie car la configuration politique d’aujourd’hui n’a plus rien à voir avec celle d’hier.

Ce raisonnement fait fi de ce qu’est en réalité l’objectif principal d’un redressement : c’est à dire d’améliorer la représentativité de l’échantillon. La technique du redressement n’a pas vocation à prédire les votes futurs ni l’état actuel des rapports politiques comme semble le croire les sympathisants de Mélenchon. Dans la théorie statistique de l’échantillonnage, la technique du redressement vise simplement à corriger l’échantillon afin de le rendre représentatif, et de faire en sorte que les observations mesurées (ici les intentions de vote) se rapprochent de la réalité c’est-à-dire de la population finie. Par quels éléments peut-on se rapprocher de cette population en matière électorale ? La réponse apportée maintenant depuis plusieurs décennies dans le monde des sondages, aussi bien en France qu’à l’étranger, est de poser dans le sondage une question sur le souvenir de vote lors des précédents scrutins afin de rapprocher au maximum l’échantillon de la seule population politique connue : les résultats électoraux des précédents scrutins. Car le comportement électoral passé des individus est une des seules bases qui soit connue et sur laquelle on puisse faire des inférences.

Le tort de ce visuel (ci-dessous) qui a circulé massivement sur les réseaux sociaux est de faire croire que le redressement serait une manipulation visant – délibérément ? – à orienter les résultats finaux alors que ce n’est qu’une caution de représentativité des données recueillies en amont par le sondeur. Au-delà des chiffres avancés, il s’agit d’une erreur typique sur le sens du redressement.

Ce qu’il faut bien garder à l’esprit c’est qu’en matière de sondage électoral, les données brutes sont souvent biaisées : par exemple, le Front National a été longtemps bien en-dessous de son niveau réel dans les intentions de vote brutes. La comparaison entre ce que disent les interviewés sur leur vote passé et les résultats réels permet de débiaiser l’échantillon : c’est l’unique objet du redressement. Quant au fait d’utiliser les élections régionales de 2015 en complément du premier tour de l’élection présidentielle de 2012, ce n’est qu’une variable supplémentaire plus proche temporellement pour contrôler la distorsion de l’échantillon et prendre en compte les comportements électoraux les plus récents.

Ensuite, strictement rien dans les données rendues publiques par l’Ifop ne permet de dire que Jean-Luc Mélenchon serait à 17% sans effet de la pondération. Et quand bien même : les données brutes pourraient être fortement biaisées en sa faveur. Mais c’est là que se niche le cœur du problème : ni les données brutes ni les colonnes de redressement ne sont présentes dans les documents rendus publics par l’institut. Un choix délétère pour la crédibilité de l’institut et pour l’information des citoyens.

Le manque de transparence des instituts sur leur redressement : une cause de la délégitimation des sondages électoraux ?

On pourrait croire que l’institut est vierge de tous reproches et joue parfaitement la carte de la transparence. Or, l’Ifop est loin d’être au clair sur les critères de pondération utilisés. Dans la notice du sondage consultable sur le site de la Commission des sondages, si les résultats des variables sociodémographiques et d’opinion sont présentés dans leur forme brute et redressée, ce n’est pas le cas des tris de la variable des intentions de votes où figurent seulement les résultats publiés (ci-dessous).

La méthode de publication des résultats par l’Ifop est loin d’être isolée. Elle est même largement rependue chez les autres instituts de sondage. Toutefois, certaines entreprises comme OpinionWay se démarquent car elles se sont engagées dans une saine opération de transparence en faisant figurer dans leurs notices rendues publiques l’ensemble des variables de redressement utilisées pour redresser l’échantillon sur les intentions de vote. On retrouve les valeurs brutes et permet d’apprécier l’effet des différents critères mobilisés pour redresser l’échantillon.

Cette clarification permet de comprendre le raisonnement du sondeur. Or, pouvoir réévaluer la précision et la fiabilité d’un raisonnement à l’aune des données mobilisées pour le construire est à la base de la démarche scientifique dont se réclament les instituts. Dès lors, on peut s’interroger sur le choix de l’Ifop, et plus généralement des instituts dans la même situation, de ne pas communiquer au grand public les données qui les ont aidés à établir le redressement : qu’ont-ils à craindre en dévoilant les données qui lui ont permis de publier les intentions de vote ? Surtout, à l’âge des réseaux sociaux, n’y a-t-il pas plus à perdre en masquant ces colonnes de redressement que de faire œuvre de transparence en publiant l’intégralité des tris sur l’intention de vote ? N’est-ce pas ouvrir la porte à des critiques déplacées qui font feu de tout bois ?

Garantir la transparence sur les méthodes de redressement utilisées lors des élections présidentielles est la clé pour maintenir la crédibilité des instituts de sondage, entamée récemment par les sondages sur les primaires de droite et de gauche. Par ailleurs, d’un point de vue de la théorie démocratique, les sondages octroient ont un poids prépondérant à certains citoyens membres d’un panel qui ont plus de chance de s’exprimer et d’avoir une influence sur le cours de notre démocratie que d’autres citoyens qui restent silencieux en dehors des élections. La contrepartie serait d’exiger un maximum de transparence dans la publication des résultats d’enquête, car le redressement est une technique banale utilisée couramment dont on ne voit pas très bien comment elle pourrait relever du secret des affaires. Dans une approche maximaliste, on pourrait par exemple songer à présenter directement les intentions de vote dans un intervalle de confiance, aussi appelée marge d’erreur. En 2017, il est indispensable de prendre le citoyen français au sérieux afin de réduire le bruit qui entoure les sondages politiques.

La campagne présidentielle est rentrée dans une phase critique au cours des dernières semaines. Les effets de la folle actualité autour de l’affaire « Pénélope Fillon » et l’installation d’Emmanuel Macron en position de se qualifier pour le second tour ont marqué à coup sûr un tournant qui ne sera pas le dernier rebondissement de cette élection présidentielle. Alors que le système politique et partisan apparaît en pleine recomposition, et que nous nous situons peut-être à un point de bascule de l’histoire politique de la Vème République, les sondages restent les seuls outils scientifiques qui peuvent prétendre reconstituer même imprécisément les mouvements qui traversent l’opinion publique, et qui pourront se traduire bientôt par le vote. Une raison supplémentaire de démystifier un outil qui fait maintenant partie intégrante de la vie des démocraties représentatives, comme cette polémique le montre une fois encore.

Tristan Guerra