La problématique de la transparence est, comme on le sait, au coeur du droit des sondages électoraux et au coeur des polémiques sur les sondages de manière générale.
Sur ce point, les efforts de l’Institut OpinionWay et de son directeur opinion, Bruno Jeanbart, peuvent être salués. En acceptant d’accueillir dans leurs locaux un enseignant-chercheur pour quelques jours, l’institut continue une politique de transparence engagée depuis l’élection présidentielle.
Cette expérience en immersion permet de confronter les sèches normes de droit à la réalité du sondeur, dans cette fameuse boîte noire que tout observateur des sondages rêve de voir de l’intérieur. Elle permet donc d’améliorer la connaissance du droit des sondages par le contact des faits, ce qui justifie d’en rendre compte sur le présent blog.
Plusieurs points qui intéressent le droit des sondages seront donc abordés ici : les innovations d’OpinionWay en termes de transparence et l’intérêt pour le droit des sondages des expériences vécues in concreto dans l’institut.
Une amélioration de la transparence : la diffusion par OpinionWay des chiffres bruts et des tableaux de redressement pendant les élections de 2012.
La transparence des sondages électoraux passe aujourd’hui, pour tous les instituts, par la publication en ligne, dans le meilleur des cas par les sites internet des journaux, de notices des sondages permettant au lecteur de se faire une idée plus approfondie des résultats de l’enquête.
Ces notices publiques, toutefois, ne contiennent pas nécessairement l’ensemble des données ayant concouru à la réalisation du sondage, à la différence des notices qui sont transmises à la Commission des sondages mais qui ne sont pas en l’état du droit accessibles aux tiers. Dans quelque mois, la question sera posée de savoir si cet état du droit sera ou non remis en question par la Cour européenne des droits de l’homme, saisie par Jean-Luc Mélenchon. Sur ces points déjà largement étudiés ici, nous renvoyons aux articles publiés sur ce blog concernant l’arrêt Mélenchon et nos propositions pour certaines évolutions législatives, ainsi qu’à l’article publié à la RFDA.
Dans l’attente, la problématique de la transparence est centrale en droit des sondages électoraux et oppose les différentes parties prenantes. Notamment, la publication des chiffres bruts n’apparaît pas dans ces notices et cela est critiqué par certains, dont Jean-Pierre Sueur, qui voudrait voir la loi évoluer pour rendre obligatoire la publication de ces chiffres, ainsi que les critères de redressement. Les sondeurs sont divisés sur cette question, certains n’étant pas particulièrement défavorables à davantage de transparence et d’autres y étant plus opposés. La récente conférence organisée par Délits d’opinion, dont on a parlé ici, a rappelé ces oppositions.
Sur ce point, l’institut OpinionWay semble en avance sur les autres instituts de sondage, et c’est un effort qu’il faut saluer pour la démocratie. Toutefois, force est de constater que cet effort de transparence n’a finalement guère révolutionné la façon d’appréhender les sondages, ce qui constitue en réalité une bonne nouvelle, démontrant que le contrôle de la Commission des sondages et les pratiques des instituts fonctionnent, dans l’attente d’une amélioration du système.
Le département opinion d’un institut de sondages et d’études n’est pas ce qui rapporte le plus. Toutefois, et c’est fondamental, il s’agit de sa principale vitrine médiatique et publicitaire : un institut qui ne fait pas de sondages politiques n’existe pas pour le public et donc, in fine, existe moins pour les entreprises et les collectivités.
OpinionWay ne fait pas exception à cette règle et c’est pour cette raison que cet institut a créé pendant la campagne présidentielle un site dédié, le site Opinionlab, qui comme son nom l’indique, a vocation à constituer un laboratoire de l’étude de l’opinion par l’intermédiaire des sondages ; autrement dit, la vitrine politique d’ Opinionway mettant en avant une certaine politique d’innovation.
Or l’institut a publié sur ce site, et plus précisément sur la partie blog de celui-ci, pendant la campagne présidentielle, une série de chiffres bruts et de tableaux de redressement.
Dans un billet du 27 mars 2012, Bruno Jeanbart publiait un article intitulé « De quoi l’intention de vote est-elle le nom ? », dans lequel il expliquait pourquoi les sondeurs redressent les résultats bruts.
Une problématique bien connue, mais que l’on peut rappeler ici dans les termes de Bruno Jeanbart : c’est une nécessité qui est liée à la structure particulière de la sociologie électorale en France et à ce que l’on appelle les « effets de normes », à savoir le fait que les répondants ne disent pas exactement la vérité : surestimation de la participation, sous-estimation du vote aux extrêmes (Front National à partir des années 80 et Parti Communiste dans les années 60-70), et à l’inverse sur-déclaration du vote en faveur des courants politiques centristes (notamment en faveur du centre-gauche). Ces caractéristiques sociologiques contraignent les sondeurs, en France au moins, à redresser les échantillons non pas seulement sur la base de critères socio-démographiques, mais aussi en fonction de critères politiques : à savoir, se référer au souvenir de vote des personnes testées et pondérer les résultats obtenus en fonction des résultats aux élections précédentes, afin de corriger les discordances.
Dans un billet du 20 avril 2012, Bruno Jeanbart publiait un article consacré aux bruts intitulé « Les bruts, de quoi parle-t-on au juste ?« , qui avait vocation à répondre à la question soulevée ci-dessus : est-il pertinent de publier des résultats bruts ?
Bruno Jeanbart répond ici ce que tous les autres sondeurs répondent, à savoir que la publication de chiffres bruts, eu égard aux éléments décrits ci-dessus, n’a pas de sens. Pour procéder à sa démonstration, il a fait le pari de la transparence par la publication des tableaux de redressement de ses propres enquêtes, dans lesquels apparaissent les chiffres bruts, les chiffres redressés du point de vue socio-démographique et du point de vue politique. La colonne de référence choisie est alors celle avec redressement politique (élection présidentielle), prenant en compte les français sûr d’aller voter.
L’intervention humaine est minimale, mais elle existe néanmoins : pour que les résultats redressés fassent 100%, les chiffres publiés sont parfois corrigés à la marge (à 0.5%) notamment en fonction des résultats obtenus dans les autres colonnes. Il reste donc un choix réalisé par l’institut.
Toutefois, ainsi que le souligne Bruno Jeanbart, ce choix est encadré par les règles fixées par la Commission des sondages : les redressements étant souvent le résultat de critères multiples, ceux-ci doivent être présentés sous forme de fourchettes, avec indiqué le redressement privilégié, dit colonne de référence.Le résultat publié doit en principe être celui de la colonne de référence, qui doit être identique pour tous les candidats, et lorsque un institut décide, pour l’un des candidats, de s’éloigner de la colonne de référence, il doit être en mesure de justifier ce choix. La Commission des sondages, conformément à l’esprit de sa jurisprudence, ne réalise de mise au point qu’en cas d’erreur manifeste. [COMMISSION DES SONDAGES, La Commission des sondages face aux élections présidentielle et législatives de 2002, pp. 13-16 ; La Commission des sondages face aux élections municipales de 2008 et aux élections européennes de 2009, précité, pp. 7-9]
L’effort de transparence a ensuite été poursuivi puisque les chiffres bruts et redressés ont ensuite été publiés à deux reprises : dans un billet du 4 mai 2012 consacré à un sondage réalisé entre les deux tours de l’élection présidentielle et pour lequel le critère de redressement a été changé – il s’agit des résultats du premier tour de l’élection présidentielle – et dans un billet du 8 juin 2012 consacré aux élections législatives pour lesquelles l’échantillon était redressé par rapport aux souvenirs de vote des résultats du premier tour de l’élection présidentielle.
La publication de ces résultats peut alors librement être comparée aux résultats des élections. De manière générale, les résultats redressés sont plus proches du résultat final, à l’exception de Jean-Luc Mélenchon pour le premier tour de l’élection présidentielle – mais c’est une erreur, on s’en rappelle, qui a été commise par tous les instituts à l’époque.
Si la publication de ces chiffres bruts est intéressante, constitue-t-elle une révolution en matière de transparence ? Force est de constater, ainsi que le relevait Bruno Jeanbart lui-même à la conférence de Délits d’opinion, que personne à l’époque ne s’est vraiment intéressé à cet effort – et nous-mêmes n’en avions pas rendu compte, ce qui vaut Mea Culpa.
Faut-il aller plus loin, publier ces chiffres dans la presse voire rendre obligatoire une telle publication ?
Sur ce point, la position de la Commission des sondages semble préférable : celle-ci exige en effet, pour les sondages d’intention de vote, que les résultats publiés soient des résultats redressés, au minimum par souvenir de vote. Dans une mise au point de principe du 14 mars 1995 Le Quotidien de Paris, la Commission des sondages a posé un considérant particulièrement clair selon lequel la Commission « réprouve et condamne la diffusion, faite sans l’aveu de l’institut qui a réalisé le sondage, de certains de ses résultats avant tout redressement, même avec l’indication qu’il s’agit de chiffres bruts. De tels chiffres ne correspondent qu’à une étape intermédiaire dans l’élaboration d’un sondage. En raison de l’imperfection inévitable de l’échantillon notamment en matière électorale, leur redressement est une nécessité. La diffusion des chiffres bruts qui n’ont par eux-mêmes aucune valeur, ne peut que gravement induire le public en erreur ». On ne peut pas être plus clair.
Cette solution semble la bonne : la publication dans la presse des résultats bruts à côtés des résultats redressés serait sans doute, outre sa difficulté de mise en oeuvre pratique, source de confusion et présenterait des risques de manipulation de la part de politiques mal intentionnés.
La publication de ces données en ligne, ou la possibilité de consulter une notice au contenu élargie, sont en revanche des hypothèses intéressantes, pour les chercheurs et les citoyens intéressés : un point à discuter dans le cadre d’une réforme du droit des sondages, préférable à l’insécurité juridique, et bientôt à la décision du juge européen ?
Une amélioration de la transparence par l’ouverture à la recherche académique, et de la recherche académique par la transparence
L’institut OpinionWay est le premier institut a avoir accepté d’accueillir l’auteur de ces lignes en son sein, afin de permettre une meilleure connaissance de la réalité des sondages et de leur rapport au droit.
Plusieurs points peuvent ici être abordés, qui tous permettent d’améliorer la connaissance du sujet : le respect des principes posés par la Commission (1), la montée de sondages non publiés pour les élections municipales (2), la portée du changement des modes de recueil (3), les sondages dans la commande publique (4) et enfin, ce qui ressort des débats sur l’encadrement juridique des sondages (5).
1) Le respect des principes posés par la Commission
Bien sûr, une question importante pour l’observateur juridique est celle de savoir si, globalement, les principes et règles posées par la Commission des sondages sont respectés.
L’observation montre, concernant les éléments examinés sur place, que c’est le cas, s’agissant des sondages omnibus, de l’ordre des questions, des règles de présentation des sondages d’intention de vote, du choix des critères et colonnes de redressement, etc.
2) La montée des sondages pour les élections municipales… non publiés
On peut aussi souligner qu’ OpinionWay réalise déjà de nombreux sondages pour les élections municipales, qui sont à ce jour confidentiels.
D’ailleurs, la Commission des sondages est aussi avertie de la commande, par de plus en plus de responsable locaux, de sondages pour les prochaines élections de 2014. Toutefois, ces sondages n’étant pas publiés, ils ne font pas l’objet d’un contrôle conformément à l’article 1er de la loi du 19 juillet 1977.
Des sondages pour les élections municipales devraient donc être commandés mais non publiés pendant encore un certain temps, tant que les règles de financement de la campagne ne sont pas ouvertes (1 an) et que les collectivités territoriales sont autorisées à faire des actions de promotion (6 mois).
Pas de quoi satisfaire, malheureusement, les nombreux internautes qui arrivent sur ce blog en cherchant des sondages frais pour les municipales ! Mais de quoi démontrer à quel point le sondage de l’opinion publique est aujourd’hui permanent.
3) Le changement des modes de recueil : de l’enquête téléphonique au panel internet
La problématique du changement des modes de recueil, et le passage progressif du recueil téléphonique au recueil internet, est un point important de l’observation et confirme les tendances dégagées ces derniers temps et que la Commission des sondages a abordé dans son rapport sur les élections de 2012.
Les observations de la Commission des sondages se trouvent confirmées : la réalisation de sondages en ligne change de manière très importante les résultats bruts recueillis par rapport aux méthodes téléphoniques. La question de la comparaison entre les deux méthodes se pose et, au regard des résultats communiqués, on peut dégager certains résultats, qui penchent franchement en faveur d’internet. OpinionWay a en effet réalisé au cours de la campagne des enquêtes en utilisant les deux méthodes – téléphone et internet – et la comparaison des résultats est intéressante.
Tout d’abord, il apparaît, dans les grandes lignes, que les chiffres bruts récoltés par internet sont meilleurs que les chiffres bruts récolés par téléphone : ils sont plus proches des résultats finals, notamment dans une hypothèse de premier tour. Les « effets de normes » précités ne se retrouvent donc pas la même proportion dans les enquêtes par internet et les enquêtes par téléphone : tout simplement, les gens avouent plus facilement ceux pour qui ils votent. De quoi aller dans le sens de ceux qui préconisent le remplacement de la méthode téléphonique à la méthode internet.
Ensuite, il apparaît, dans les grandes lignes une nouvelle fois, que par conséquent les chiffres bruts ont moins besoin d’être redressés : les différences sont moins importantes que les résultats bruts par téléphone lorsqu’on applique le redressement par souvenir de vote. De quoi satisfaire ceux qui préfèrent un redressement effectué a minima.
Par ailleurs, on constate également que le nombre de ceux qui n’expriment pas une intention de vote diminue : dans certains cas, sur le 1er tour, on peut aller jusqu’à une division par deux du nombre de non-répondants. Un résultat lié à des effets de norme moins importants quand les données sont collectées par internet. De quoi satisfaire ceux qui présentent comme une limite très importante des sondages ceux qui n’expriment pas d’intention de vote.
Enfin, l’immersion permet d’avoir une réponse sur les méthodes de redressement utilisées pour les deux méthodes : ce sont les mêmes critères. L’approche est scientifique, car elle permet de faire converger les résultats vers la réalité. Toutefois elle n’est pas parfaite, et la différence entre les bruts est trop importante : les résultats après l’application des redressements continuent d’être divergents ; mais la méthode internet continue d’être meilleure.
En définitive, il est probable qu’internet remplace toujours davantage le téléphone comme mode de recueil des données, car il apparaît plus fiable à tous les niveaux.
Ceci n’est d’ailleurs pas sans soulever des questions concernant la structure économique du secteur : en effet, l’utilisation d’internet entraîne une baisse des coûts permettant la création de nouveaux instituts – et la Commission des sondages n’a pas manqué de le souligner dans son rapport.
Cette concurrence posera des questions intéressantes en termes de contrôle pour la Commission des sondages… lorsque les sondages électoraux recommenceront. Bientôt !
4) Les sondages et la commande publique
L’observation permet également d’aborder un point nouveau, d’autant plus intéressant qu’il n’a guère été commenté jusqu’ici sur ce blog. Dans le cadre du concept de démocratie continue à laquelle appartiennent les sondages et dont on a pu parler par ailleurs, les personnes publiques commandent des sondages afin de connaître l’état de l’opinion publique. (même s’il semblerait qu’en volume, le nombre de commandes ait tendance à baisser, en raison de la crise économique).
L’occasion en tout cas de jeter un coup sur les procédures de passation et les cahiers des clauses techniques particulières.
Outre le découpage des marchés en lots selon des critères techniques (études qualitatives ou quantitatives, omnibus ou ad hoc, par téléphone, internet ou en ligne, selon les cibles), et la procédure choisie (marchés à bon de commande), ce sont les critères de sélection qui sont le plus intéressants du point de vue du droit des sondages, car ils s’intéressent de près à la qualité technique du sondage.
Ces critères sont, concernant la commande citée en exemple :
– maîtrise des techniques et qualité de la prestation (personnalisation de l’offre, mais aussi méthodologie de recrutement des personnes interrogées, méthodes et techniques d’enquête dont capacité à réaliser des analyse lexicales et/ou sémantiques, moyens techniques c’est à dire modes d’administration des questionnaires, logiciels utilisés, nombre de postes, modalités de contrôle) à 40 % ou 30 % selon les lots.
– prix des études, à 30 %.
– compétence professionnelle des équipes et suivi des prestations (profils des intervenants affectés aux enquêtes, des personnes susceptibles de conduire les entretiens et groupes, effectif et composition des équipes dédiées, modalités de suivi des prestations) à 20 % ou 30 % selon les lots.
– délais de réalisation et de restitution des études (durée du recrutement, durée du terrain, délai pour la restitution du rapport et de la note de synthèse), à 10 % selon les lots.
En somme, ce qu’il est intéressant de souligner ici c’est la primauté de la qualité sur le prix dans le marché d’étude, marque que le marché des sondages, loin d’être complètement standardisé, présente un aspect qualitatif important.
Sur ce point enfin, on peut rappeler la problématique des sondages commandés par l’Elysée. Après l’affaire du scandale des sondages de l’Elysée, des procédures avait été mises en place et des appels d’offre conclus.
Aujourd’hui, alors qu’après avoir déclaré qu’il ne ferait plus de sondages, le Président de la République a changé d’avis, aucune procédure n’a été mise en place à l’Elysée… qui selon le discours officiel, passe par le service d’information du gouvernement pour obtenir des enquêtes.
Il n’est pas certain qu’une telle organisation suffise dans l’avenir.
5) Des débats sur l’encadrement juridique des sondages
Cette immersion a bien sûr été également l’occasion de débats sur l’encadrement juridique des sondages.
De ceux-ci, il résulte que du point de vue du département opinion d’OpinionWay, la position de la Commission en tant qu’autorité de police, c’est à dire qui se contente de contrôler l’absence d’abus de liberté, et non d’autorité de régulation, qui interviendrait davantage dans le contenu du travail effectué, est appréciée par les sondeurs.
Elle permet en effet de concilier à la fois le respect de l’expertise, de l’imagination et de l’innovation mise en oeuvre par les sondeurs et le nécessaire contrôle démocratique sur les sondages électoraux. C’est effectivement l’option politique fondamentale qu’il s’agit de prendre en matière de sondages.
Par contre, et comme on a pu le dire précédemment, OpinionWay se spécifie, par l’intermédiaire de son directeur opinion, par son parti-pris en faveur de la transparence, point qui bien sûr, ne manque pas de soulever des difficultés vis-à-vis des autres instituts de sondage et dont il faudra continuer à discuter.
Enfin, ces discussions auront été l’occasion de voir que l’intérêt pour le droit comparé est partagé. L’étude des systèmes politiques et constitutionnels, de leurs rapports avec la technique des sondages, de la place respective des systèmes de régulation et d’autorégulation, des innovations méthodologiques, constituent autant d’ intérêts communs des chercheurs et des sondeurs. La réflexion doit donc se poursuivre.
Romain Rambaud