Le 02 octobre 2012 a été organisée par le site internet Délits d’opinion une conférence à Sciences Po et nous remercions les organisateurs de l’intérêt de cette conférence et de leur accueil. Nous saluons au passage leur travail qui est très intéressant pour toute personne s’intéressant aux sondages et renvoyons à leur site internet : http://www.delitsdopinion.com
La conférence, organisée en partenariat avec le CEVIPOF, portait sur la question de savoir quels changements s’étaient produits depuis le dépôt, infructueux, de la proposition de loi des sénateurs Sueur et Portelli. Dans l’article suivant, nous restituerons ces débats dans un premier temps et nous permettrons de conclure sur quelques réflexions personnelles dans un second temps.
Les questions abordées, en tout état de cause, sont bien connues des lecteurs du présent blog ce qui permet une heureuse actualisation.
Droit des sondages et controverses : retranscription de la conférence
Après une introduction du Sénateur Jean-Pierre Sueur, la conférence était divisée en trois parties :
1) La proposition de loi. Ses objectifs initiaux : quels enjeux, à quels écueils remédier ?
– La place des sondages d’opinion dans la vie politique
– la méthodologie des sondeurs en question
– Le rôle des médias dans l’interprétation des résultats
2) Des progrès permis par cette proposition de loi ? Retour d’expérience pendant la période de campagne achevée
– Les pratiques des sondeurs ont-elles changé durant cette année électorale ?
– Le traitement médiatique a-t-il évolué durant cette période ?
3) Une suite : est-il possible d’aller plus loin?
– Quelle suite dans l’agenda législatif pour cette loi ?
– Une charte ?
Reprenons donc ces éléments :
Jean-Pierre Sueur, Sénateur, co-auteur de la proposition de loi de 2010 :
Dans son introduction, le Sénateur Sueur, actuellement président de la Commission des lois du Sénat, a justifié sa volonté d’adopter une loi au risque que les sondeurs considèrent cette initiative comme négative et pernicieuse.
Pour Jean-Pierre Sueur, l’opinion publique n’est pas un objet : le politique ne doit pas suivre l’opinion, ou l’idée qu’en donnent les sondages. Le politique doit aller contre les sondages, sinon tous les politiques se ressembleront.
L’idée forte de la loi proposée est alors l’idée de la transparence, car la vérité rend libre. Le sénateur Sueur ne comprend pas que sur l’objet sondage, il y ait des choses dites et des choses cachées. Le travail du sondeur s’inscrit-il dans une logique scientifique ? Si oui, il faut la transparence. Si non, on peut se dispenser des chiffres. Il y a une nécessité scientifique de valider ce que l’on peut observer, et pour cela de connaître les méthodes : ce qui signifie faire la transparence.
D’où la proposition de changer la loi de 1977 : qui commande le sondage ? Qui le paie ? Qui le publie ? Il faudrait aussi donner les informations sur les caractéristiques de l’échantillon, l’indication des marges d’erreur – pas de marge d’erreur avec la méthode des quotas ? –notamment dans une hypothèse de 51/49, où les résultats des sondages ne sont pas significatifs. Il faudrait donc enseigner et dire cela : il faut publier les marges d’erreur.
Par ailleurs, sur la transparence, se pose la question du problème de la notice de la Commission des sondages : est-ce que cela relève du secret ? Il serait bon que tout citoyen puisse avoir accès aux informations déposées à la Commission des sondages. Donner les questions posées, examiner les problèmes posés par les enquêtes omnibus. Enfin, il faudrait tout connaître sur les redressements : on devrait avoir un débat sur les critères de redressement.
Eric Dupin, journaliste spécialiste des sondages politiques :
Pour Eric Dupin, le problème des redressements n’est pas tant le mensonge que le problème de l’accès. Répondant à Jean-Pierre Sueur, Eric Dupin développe une idée qui nous semble juste : si le débat, et l’argument tiré de l’opposition, entre l’art et les sciences est imparable, le sondage est en réalité un mélange d’art et de sciences : c’est le débat sur la sûreté de vote, on fait un peu de cuisine, il y a les statistiques mais aussi la pâte du chef.
Il faut exiger toutefois une transparence pour ceux que ça intéresse. Notamment, un problème est posé par la pratique de la Commission des sondages, qui ne permet pas la connaissance des notices.
L’argument du secret des affaires ou de la concurrence ne tient guère pour M. Dupin: s’il est vrai que mettre le savoir faire sur la place publique conduirait n’importe qui à faire des sondages. M. Dupin constate avec malice qu’on peut parfois se poser la question. Par ailleurs, plus de transparence permettrait d’avoir une meilleur concurrence sur la réalisation des chiffres bruts – car le débat aujourd’hui n’est tant sur les critères de redressement que sur les méthodes de recueil et donc la réalisation des chiffres bruts.
Par contre, le problème de la concurrence internationale peut effectivement se poser – nous noterons ici que c’est effectivement l’argument utilisé par l’Assemblée Nationale pour retoquer la proposition de loi des Sénateurs Sueur et Portelli.
Puis, M. Dupin note qu’en tant que journaliste, il constate que le principal problème n’est pas la qualité technique des enquêtes d’opinion : le problème principal est un problème qui relève du monde médiatique. C’est le problème de l’opportunisme médiatique et de la piètre qualité des commentaires : ce qui conduit M. Dupin à regretter le temps où il existait des journalistes spécialisés dans les enquêtes d’opinion, ce que le modèle économique de la presse ne permet plus aujourd’hui.
Jean Chiche, expert statistique, CEVIPOF :
Jean-Chiche, spécialiste statistique du CEVIPOF, produit une analyse très parlante des sondages du point de la technique statistique et plus généralement des sondages.
Il relève tout d’abord que la menace de la loi a eu un effet dans la présentation des sondages, avec notamment des notes techniques un peu plus argumentées, donc il y a bien eu un effet de la loi. Il insiste par ailleurs, sur cette question, sur la pertinence d’un mécanisme d’autorégulation à mettre en place dans l’avenir, peut-être par le biais du développement du SYNTEC, qui est aujourd’hui le syndicat représentatif des professionnels des études en France, et nous renvoyons ici au site internet de ce syndicat.
D’ailleurs nous promettons ici au passage de réaliser davantage de recherches sur cet organisme, recherches qui devront être intégrées, comme tant d’autres choses par ailleurs tant il est imparfait, dans la seconde édition de notre ouvrage !
M. Jean Chiche procède ensuite, après avoir constaté que les études d’opinion influencent sans doute l’opinion, à une présentation de certaines problématiques statistiques : notamment, il s’intéresse à la comparaison des différentes méthodes de recueil et aux différences des méthodes téléphoniques, de face à face et d’internet. Démontrant ainsi que si ces méthodes sont fiables, elles peuvent introduire des biais : ainsi, concernant certains sondages sur le vote des étrangers, M. Chiche démontre que chaque méthode donne des résultats très différents.
Après cette présentation, M. Chiche conclut à une amélioration de la connaissance par les étudiants – et les français sans doute – des sciences statistiques. Il est clair que là aussi, l’aspect technique est un élément à renforcer dans l’avenir dans les recherches pour la prochaine édition de l’ouvrage.
Bruno Jeanbart, sondeur, directeur opinion d’ Opinionway :
Bruno Jeanbart voit des effets positifs et des effets négatifs à cette proposition de loi.
Parmi les effets positifs de la loi, cette loi a incité les instituts à être plus transparents, à donner plus d’informations, même si le problème de la validité du calcul des marges d’erreur n’est pas terminé car l’échantillon dont il s’agit n’est pas que statistique – il est aussi pondéré politiquement.
Concernant la transparence, Bruno Jeanbart constate que le problème est celui de ce qu’on peut voir ou pas à la Commission des sondages. Pour Bruno Jeanbart, la loi de 1977 n’est pas respectée par la Commission des sondages.
Mais c’est un faux problème. En effet, donner les résultats bruts ou les critères de redressement ne lui poserait pas de problèmes mais en réalité, ça n’intéresse personne. Bruno Jeanbart avait cherché à faire preuve de transparence en publiant les chiffres bruts et les redressements sur son site internet pendant la campagne électorale ; mais personne n’a parlé de cette initiative dans la presse. Et, pour faire un peu d’auto-flagellation, nous non plus, ce qui est mal.
Enfin, cette publication présente un intérêt limité car c’est un faux débat, puisqu’aujourd’hui, tout le monde travaille de la même manière. Il y a donc un intérêt limité à connaître les méthodes de redressement des instituts.
Parmi les effets négatifs de la loi, Bruno Jeanbart insiste sur le fait que cette loi a encore eu pour effet de centrer le débat sur les effets nocifs des sondages. Certes les sondages ont une place trop importante dans la campagne électorale, on peut le reprocher au monde journalistique, dont les sondeurs sont parfois complices. Mais les sondages restent un bon instrument.
Par ailleurs, Bruno Jeanbart relève des points contestables dans le rapport : notamment deux pages affirmant que les sondages influent sur l’opinion et sur le vote. Les sondages influent sur le vote mais c’est seulement un élément parmi d’autres.
La question reste aujourd’hui de savoir comment parler des sondages de manière différente, de manière critique, comment en parler de manière plus apaisée.
Brice Tinturier, sondeur, directeur général délégué d’Ipsos :
Pour Brice Tinturier, le débat est à la base vicié si l’on sépare dès le départ les partisans de la transparence d’un côté et de l’opacité de l’autre côté. Cette position est fausse : concernant la proposition de loi, il y a beaucoup de choses sur lesquelles les sondeurs sont d’accord – notamment afficher les commanditaires et les payeurs.
Toutefois, il reste des points de crispation :
L’idée d’encadrer les sondages politiques est trop vague. On ne peut pas savoir ce qu’est un sondage politique ou non politique.
On le rappelle, le problème ici est le champ d’application de la loi de 1977 : les problèmes récents autour des sondages sur l’Union européenne attestent, comme on l’a dit, de ce problème de ce champ d’application.
Il y a un point de crispation également concernant le mode de recueil et le souhait de la loi de définir quel était le monde de recueil. L’objectif est de trouver et contrôler les biais sur certains modes de recueil : téléphone, internet, etc. Certes, la proposition de loi ne fixe pas le mode de recueil – mais il est vrai, comme le relève Bruno Jeanbart, qu’elle prévoit une interdiction de la gratification ce qui rendrait de fait impossible le mode de recueil par internet.
Autre point de crispation, très important : la publication des bruts et des redressés. Ce n’est pas la peine de les publier en même temps, mais sur le site internet c’est une bonne idée. Il existe aussi des problèmes de concurrence et des problèmes concernant l’instrumentalisation politique des résultats bruts.
Mais pour Brice Tinturier, fondamentalement, on ne résout pas le problème central : celui de l’usage médiatique des sondages et de l’usage politique des sondages. Malgré tous les efforts des sondeurs, ce problème reste le problème fondamental et il n’est pas résolu. Et une loi ne pourrait rien changer à cela.
Réflexions personnelles sur cette conférence : de l’intérêt du droit des sondages électoraux
Cette conférence appelle bien sûr de nombreuses réflexions, dont la plupart ont déjà été émises dans ce blog. En quelques mots, on peut y revenir.
Sur les problèmes de la transparence et du commentaire journalistique :
Sur la transparence, il est vrai que les sondeurs et les journaux ont fait des efforts en développant sur internet des notices plus complètes permettant une meilleure compréhension des sondages. Tous les journaux ne pratiquent pas cela, mais le développement en ce sens est une bonne chose. Il faut le saluer et c’est au bénéfice des sondeurs.
Toutefois, on mettra un bémol sur la bonne volonté déclarée des sondeurs : s’il est vrai qu’il y a des efforts, et sans parler des problèmes des chiffres bruts qui est effectivement à notre sens un faux problème, on ne connaît toujours pas les fourchettes de redressement et le choix des colonnes de références ; certes, tous les sondeurs redressent par souvenirs de vote, toutefois, le choix qu’ils font de leur colonne de référence, a fortiori s’ils s’écartent de celle-ci pour certains candidats, peut tout de même poser question. C’est pour nous le problèle central, dont pourtant on ne parle jamais. Mais peut être ces éléments relèvent-ils du secret des affaires, au sens de la jurisprudence du Conseil d’Etat ?
Car ici, concernant la Commission des sondages – et l’accès à sa notice – et plus généralement la question de la transparence, on peut relever que les sondeurs – et M. Sueur – raisonnent encore en méconnaissance de la solution rendue par le Conseil d’Etat sur l’arrêt Mélenchon du 8 février 2012 qui, d’une part, a validé la pratique de la Commission des sondages en tous points, et, d’autre part, a qualifié les documents dont dispose la Commission des sondages de documents administratifs en prévoyant qu’une partie serait couverte par le secret des affaires : pour une analyse détaillée, nous renvoyons ici à notre article de la RFDA.
C’est à dire qu’il n’est plus possible, aujourd’hui, de chercher à faire appliquer, comme hier, la loi de 1977, puisque le Conseil d’Etat a décidé de figer la loi de 1977 dans l’état où elle existe actuellement. La situation a changé, radicalement changé, le 8 février 2012. C’est pour cela qu’on en vient au dernier point, celui de l’intérêt d’une nouvelle loi.
Avant cela toutefois, sur la question du commentaire médiatique, on ne peut qu’être d’accord avec le constat réalisé et le regretter avec l’ensemble des intervenants de la table ronde. Ce problème du manque de prudence a déjà été souligné ici, et devrait de nouveau se poser, notamment avec les prochaines élections municipales.
De l’intérêt de légiférer de nouveau :
Concernant la nécessité de légiférer, Jean-Pierre Sueur s’est bien sûr opposé aux sondeurs, qui voudraient se contenter d’une application de la loi de 1977. Deux positions antagonistes, mais qui peuvent être réconciliées.
D’abord, un constat. La loi de 1977 prend l’eau de toute part, et pas seulement sur les problèmes de transparence – rappelons ici par exemple le problème de la diffusion des résultats avant 20 heures traité de nombreuses fois dans ce blog et par ailleurs dans notre article publié à la RFDA ou encore, autre exemple mais il est très important, celui du problème de la faible effectivité des dispositifs de sanction actuels et notamment des mises au point.
En somme, la loi de 1977 ne satisfait plus ni ceux qui sont du côté de Jean-Pierre Sueur, du fait du manque de transparence, ni les sondeurs, du fait de l’absence de dispositifs d’encadrement de l’utilisation des sondages notamment dans la presse.
Sur ce point, nous voulons dire par ailleurs aux sondeurs un élément qu’ils semblent aujourd’hui négliger : demain, en application de la jurisprudence Mélenchon, ce sont la CADA et le Conseil d’Etat qui décideront des documents communicables ou non, donc en l’absence de débat démocratique. De la boîte noire à la boîte de Pandore, c’était le titre initial de notre article à la RFDA, avant que ce titre ne soit modifié. Nous le disons donc tout net : pour déterminer ce qu’il est pertinent de communiquer – et ce qu’il est préférable de ne pas communiquer en raison des problèmes de concurrence internationale ou de risque de dérives populistes – il faut un régime législatif spécial et non l’application du droit commun des documents administratifs et donc une réforme législative. La loi de 1977 ne suffit plus car elle créé de l’insécurité juridique et pourra à terme produire des effets néfastes pour tous.
Ensuite, une intuition, celle qu’une nouvelle loi serait l’occasion de rapprocher les positions. La loi de 1977 présente trop de défauts aujourd’hui et c’est donc une pente glissante que de pouvoir, plutôt que de réfléchir à un cadre plus adapté, la conserver. Puisque la loi aujourd’hui ne satisfait personne, autant la changer pour rapprocher les positions et réutiliser les sondages dans un contexte apaisé. Cette réflexion en faveur de la loi ne vaut pourtant pas blanc-seing pour la proposition Sueur-Portelli : on a beaucoup de reproches à lui faire et il faudrait la compléter.
Toutefois, cela ne change rien à l’intérêt d’une loi nouvelle. Il y a un nouvel équilibre à trouver et nous sommes sûr, en plus, que ce nouvel équilibre pourrait être trouvé assez facilement, si l’on suit le principe même du droit des sondages électoraux, la démocratie. C’est donc vers une nouvelle proposition de loi, refondue, qu’il faut s’orienter. Nous avons fait en ce sens, dans notre ouvrage, de nombreuses propositions sur l’ensemble des points du droit des sondages.
Enfin, pour finir et pour conserver le lien avec cette idée, un élément est apparu comme manquant dans cette conférence, et c’est un peu dommage car il constitue le coeur même des sondages et du droit des sondages : la démocratie. Le sondage est avant toute chose un instrument très utile de démocratie continue, à condition qu’il soit correctement réalisé et correctement encadré.
Raison de plus pour réfléchir ensemble à un nouvel encadrement qui tienne compte de ce nouveau rôle du sondage en démocratie, bien différent de celui qu’il avait le 19 juillet 1977.
Romain Rambaud