Il y a un débat qui revient un peu à chaque élection, c'est la question des
sondages, de savoir s'ils sont fiables ou pas, s'il s'agit d'une «photographie
de l'opinion», leur marge d'erreur, etc.
Franchement, je ne suis pas une flèche en statistiques, mais vu qu'une nuit
vers une heure du matin je me suis réveillée avec l'envie irrépressible de
calculer la marge d'erreur du sondage sur le score d'Olivier Besancenot, je
vous fais part de ce que j'ai compris.
Méthode aléatoire / méthode des quotas
Normalement, pour faire un sondage valable, il faudrait prendre un certain
nombre de personnes de manière purement aléatoire. Par exemple, pour les
sondages électoraux, prendre 1000 personnes au hasard sur la liste des inscrits
sur les listes électorales.
Seulement, c'est plus cher, plus compliqué (notamment parce qu'il n'y a pas
de liste électorale centralisée en France), et, du coup, en général ce n'est
pas ça qui est fait, mais la «méthode des quotas», qui revient à distinguer
différentes catégories de personnes et à piocher des gens dedans.
En théorie, ça devrait revenir plus ou moins au même, mais en pratique, je
ne sais pas.
Marge d'erreur
J'ai lu à plusieurs reprises que la marge d'erreur pour un sondage portant
sur un millier de personnes était de 3%. Ce qui fait tout de suite beaucoup.
Cela dit, ce n'est pas vrai tout le temps.
Mais d'abord, ce qu'il faut dire, c'est que le calcul de la marge d'erreur
se fait en partant du principe qu'on utilise la méthode aléatoire. J'ai lu
quelque part (et malheureusement je ne retrouve plus le lien) qu'il n'était pas
possible de calculer la marge d'erreur en utilisant la méthode des quotas, et
qu'il n'était pas donné que ça soit la même chose qu'avec la méthode aléatoire.
Donc il faut faire un peu attention quand on parle de marge d'erreur vu que là
d'un point de vue rigoureux on devrait déjà dire qu'on ne peut pas calculer (si
j'ai bien compris).
Mais admettons que soit la même chose qu'avec la méthode aléatoire. Pour
calculer la marge d'erreur, on considère que si 4% des gens disent voter pour
Besancenot, ça veut dire que chaque personne a une probabilité p = 0,04 de
répondre «Besancenot» et 1-P = 0.96 de ne pas répondre «Besancenot». Cela
s'appelle une loi binomiale.
L'écart-type d'une telle loi vaut sqrt (p * (1-p) * n) où sqrt est la
fonction racine carré (désolée je sais pas faire les formules mathématiques
jolies), p la probabilité (là 0.04) et n le nombre de sujets (en général un peu
moins de 1000).
Donc si Olivier Besancenot est crédité de 4% dans un sondage où 1000
personnes ont répondu, l'écart-type sera sqrt (0.04 * 0.96 * 1000) = 6.197 pour
1000, donc 0.62%.
Pour le second tour Royal-Sarkozy à 47% contre 53%, l'écart type sera de
sqrt (0.53 * 0.47 * 1000) = 15.783 pour 1000, donc 1.58%
À partir de là, comment on calcule la marge d'erreur ? Le principe de
la marge d'erreur c'est donner un «intervalle de certitude», c'est à dire qu'on
est sûr à 95% (ou 99%, ou X%) que le score est entre a et b.
En l'occurrence, on considère que la répartition d'un sondage à l'autre avec
un échantillon différent (donc ce qu'aurait donné le même sondage si on avait
pas appelé les mêmes gens) va suivre une loi gaussienne,
grâce à un théorème qui dit, si j'ai bien compris, que si on prend plein
de variables aléatoires, ben en général on aura une gaussienne.
Cette fonction a une propriété intéressante, c'est que 95% (à peu près) de
sa surface est contenu entre «- 2 écarts-types» et «+2 écart types». Autrement
dit, on multiplie l'écart-type par deux et on a un intervalle à 95% de
certitude.
Donc pour Olivier Besancenot à 4% ça donnerait 2 * 0.63 = 1.34, et 2* 1.58 =
3.06% pour Royal ou Sakozy à 53/47%. Donc on retombe sur le 3% de marge
d'erreur quand on est proche de 50%, mais heureusement c'est un peu moins quand
c'est plus bas. Cela dit ça donne quand même un intervalle qui va de 2.66% à
5.34%, et donc on voit bien que dire qu'un candidat à 4% a gagné 0.5% depuis le
dernier sondage a assez peu de sens.
Cela dit, je remets le bémol que rigoureusement, ça ne marcherait qu'avec la
méthode aléatoire et pas celle des quotas, d'une part, et, d'autre part, mon
dernier examen en statistiques remonte à il y a 3 ans et j'avais eu 5/20. Donc
il y a peut-être une erreur dans le raisonnement :o)
Réajustement
Il y a aussi un autre petit problème du point de vue statistiques, c'est que
pour qu'une statistique soit valable, il faut éviter que ça soit biaisé.
Est-ce qu'un sondage est biaisé ? Ben oui. Carrément.
Par exemple, un électeur qui vote Front National va statistiquement moins le
dire dans les sondages, ce qui, si on prenait les chiffres brut, tendrait à
minimiser le score du FN dans les sondages.
Pour pallier ça, les instituts de sondage «redressent» les score en
appliquant des coefficients, calculés à partir des résultats bruts pour les
élections précédentes et des résultats dans les urnes.
Le problème, c'est que, pour 2007, on corrige le biais qu'on sait qu'il y
avait en 2002. Or, absolument rien ne permet de dire que le biais est le même.
Par exemple pour le FN, le fait que Le Pen soit passé au deuxième tour pourrait
faire en sorte que les électeurs votant Front National aient plus de facilité à
le déclarer dans les sondages ;ou l'inverse, à cause du choc produit par le 21
avril et des manifestations contre le FN. Idem pour Olivier Besancenot :
en 2002 il n'était pas connu, là il a une certaine notoriété, le biais ne sera
certainement pas le même. Et c'est encore pire pour les candidats qui se
présentent pour la première fois, comme José Bové.
Lorsque les instituts de sondage communiquent leurs chiffre, c'est après
avoir compensé leur biais, donc on ne sait pas les résultats bruts. Si un
sondage IFOP donne un candidat à 10% le 1er janvie, et un sondage Sofres à 15%
le 1er février, est-ce que c'est parce qu'il y a vraiment plus de gens qui ont
répondu ou alors juste un moyen d'ajuster les chiffres différent ? Du coup
pour comparer une évolution du score on est obligé de comparer avec les
sondages précédents du même institut.
Conclusion
Voilà je m'excuse si j'ai fait un billet peut-être un peu professoral avec
des formules et tout, et si ça se trouve ça paraît évident pour ceux qui
lisent, mais c'est les petites réflexions que je m'étais faites sur les
sondages.
Pour conclure, on dit souvent que les sondages sont «une photographie de
l'opinion à un instant t» ; au vu du nombre de problème inhérents à leur
fabrication, je dirais plutôt qu'il s'agit d'un dessin d'après la réalité
réalisé par un enfant de 6 ans. Autrement dit, s'il y a un soleil et une
maison, c'est sans doute qu'elles sont bien présentes, mais il vaudrait
peut-être mieux éviter de baser trop d'analyses sur le fait que la fumée de la
cheminée fait des spirales.