Il y a un débat qui revient un peu à chaque élection, c'est la question des sondages, de savoir s'ils sont fiables ou pas, s'il s'agit d'une «photographie de l'opinion», leur marge d'erreur, etc.

Franchement, je ne suis pas une flèche en statistiques, mais vu qu'une nuit vers une heure du matin je me suis réveillée avec l'envie irrépressible de calculer la marge d'erreur du sondage sur le score d'Olivier Besancenot, je vous fais part de ce que j'ai compris.

Méthode aléatoire / méthode des quotas

Normalement, pour faire un sondage valable, il faudrait prendre un certain nombre de personnes de manière purement aléatoire. Par exemple, pour les sondages électoraux, prendre 1000 personnes au hasard sur la liste des inscrits sur les listes électorales.

Seulement, c'est plus cher, plus compliqué (notamment parce qu'il n'y a pas de liste électorale centralisée en France), et, du coup, en général ce n'est pas ça qui est fait, mais la «méthode des quotas», qui revient à distinguer différentes catégories de personnes et à piocher des gens dedans.

En théorie, ça devrait revenir plus ou moins au même, mais en pratique, je ne sais pas.

Marge d'erreur

J'ai lu à plusieurs reprises que la marge d'erreur pour un sondage portant sur un millier de personnes était de 3%. Ce qui fait tout de suite beaucoup. Cela dit, ce n'est pas vrai tout le temps.

Mais d'abord, ce qu'il faut dire, c'est que le calcul de la marge d'erreur se fait en partant du principe qu'on utilise la méthode aléatoire. J'ai lu quelque part (et malheureusement je ne retrouve plus le lien) qu'il n'était pas possible de calculer la marge d'erreur en utilisant la méthode des quotas, et qu'il n'était pas donné que ça soit la même chose qu'avec la méthode aléatoire. Donc il faut faire un peu attention quand on parle de marge d'erreur vu que là d'un point de vue rigoureux on devrait déjà dire qu'on ne peut pas calculer (si j'ai bien compris).

Mais admettons que soit la même chose qu'avec la méthode aléatoire. Pour calculer la marge d'erreur, on considère que si 4% des gens disent voter pour Besancenot, ça veut dire que chaque personne a une probabilité p = 0,04 de répondre «Besancenot» et 1-P = 0.96 de ne pas répondre «Besancenot». Cela s'appelle une loi binomiale.

L'écart-type d'une telle loi vaut sqrt (p * (1-p) * n) où sqrt est la fonction racine carré (désolée je sais pas faire les formules mathématiques jolies), p la probabilité (là 0.04) et n le nombre de sujets (en général un peu moins de 1000).

Donc si Olivier Besancenot est crédité de 4% dans un sondage où 1000 personnes ont répondu, l'écart-type sera sqrt (0.04 * 0.96 * 1000) = 6.197 pour 1000, donc 0.62%.

Pour le second tour Royal-Sarkozy à 47% contre 53%, l'écart type sera de sqrt (0.53 * 0.47 * 1000) = 15.783 pour 1000, donc 1.58%

À partir de là, comment on calcule la marge d'erreur ? Le principe de la marge d'erreur c'est donner un «intervalle de certitude», c'est à dire qu'on est sûr à 95% (ou 99%, ou X%) que le score est entre a et b.

En l'occurrence, on considère que la répartition d'un sondage à l'autre avec un échantillon différent (donc ce qu'aurait donné le même sondage si on avait pas appelé les mêmes gens) va suivre une loi gaussienne, grâce à un théorème qui dit, si j'ai bien compris, que si on prend plein de variables aléatoires, ben en général on aura une gaussienne.

Cette fonction a une propriété intéressante, c'est que 95% (à peu près) de sa surface est contenu entre «- 2 écarts-types» et «+2 écart types». Autrement dit, on multiplie l'écart-type par deux et on a un intervalle à 95% de certitude.

Donc pour Olivier Besancenot à 4% ça donnerait 2 * 0.63 = 1.34, et 2* 1.58 = 3.06% pour Royal ou Sakozy à 53/47%. Donc on retombe sur le 3% de marge d'erreur quand on est proche de 50%, mais heureusement c'est un peu moins quand c'est plus bas. Cela dit ça donne quand même un intervalle qui va de 2.66% à 5.34%, et donc on voit bien que dire qu'un candidat à 4% a gagné 0.5% depuis le dernier sondage a assez peu de sens.

Cela dit, je remets le bémol que rigoureusement, ça ne marcherait qu'avec la méthode aléatoire et pas celle des quotas, d'une part, et, d'autre part, mon dernier examen en statistiques remonte à il y a 3 ans et j'avais eu 5/20. Donc il y a peut-être une erreur dans le raisonnement :o)

Réajustement

Il y a aussi un autre petit problème du point de vue statistiques, c'est que pour qu'une statistique soit valable, il faut éviter que ça soit biaisé.

Est-ce qu'un sondage est biaisé ? Ben oui. Carrément.

Par exemple, un électeur qui vote Front National va statistiquement moins le dire dans les sondages, ce qui, si on prenait les chiffres brut, tendrait à minimiser le score du FN dans les sondages.

Pour pallier ça, les instituts de sondage «redressent» les score en appliquant des coefficients, calculés à partir des résultats bruts pour les élections précédentes et des résultats dans les urnes.

Le problème, c'est que, pour 2007, on corrige le biais qu'on sait qu'il y avait en 2002. Or, absolument rien ne permet de dire que le biais est le même. Par exemple pour le FN, le fait que Le Pen soit passé au deuxième tour pourrait faire en sorte que les électeurs votant Front National aient plus de facilité à le déclarer dans les sondages ;ou l'inverse, à cause du choc produit par le 21 avril et des manifestations contre le FN. Idem pour Olivier Besancenot : en 2002 il n'était pas connu, là il a une certaine notoriété, le biais ne sera certainement pas le même. Et c'est encore pire pour les candidats qui se présentent pour la première fois, comme José Bové.

Lorsque les instituts de sondage communiquent leurs chiffre, c'est après avoir compensé leur biais, donc on ne sait pas les résultats bruts. Si un sondage IFOP donne un candidat à 10% le 1er janvie, et un sondage Sofres à 15% le 1er février, est-ce que c'est parce qu'il y a vraiment plus de gens qui ont répondu ou alors juste un moyen d'ajuster les chiffres différent ? Du coup pour comparer une évolution du score on est obligé de comparer avec les sondages précédents du même institut.

Conclusion

Voilà je m'excuse si j'ai fait un billet peut-être un peu professoral avec des formules et tout, et si ça se trouve ça paraît évident pour ceux qui lisent, mais c'est les petites réflexions que je m'étais faites sur les sondages.

Pour conclure, on dit souvent que les sondages sont «une photographie de l'opinion à un instant t» ; au vu du nombre de problème inhérents à leur fabrication, je dirais plutôt qu'il s'agit d'un dessin d'après la réalité réalisé par un enfant de 6 ans. Autrement dit, s'il y a un soleil et une maison, c'est sans doute qu'elles sont bien présentes, mais il vaudrait peut-être mieux éviter de baser trop d'analyses sur le fait que la fumée de la cheminée fait des spirales.