Sondages : pourquoi il faut mieux représenter les marges d'erreur

[politicien]

Si les sondages faisaient mieux apparaître les "intervalles de confiance", ou "marges d'erreur", notre perception en serait bien différente. Par Arnaud Mercier, professeur en information-communication à l’Institut Français de presse.

Bien des débats agitent l’interprétation que l’on peut faire des sondages d’intention de vote et leur fiabilité. Que ce soit la méthode de collecte - par Internet, par téléphone ou en face à face ; en auto-administration ou via un enquêteur ; en recevant des incitations matérielles à répondre ou pas, etc. -, la prise en compte ou non du degré de certitudes des répondants pour leurs choix, ou encore l’existence de phénomènes de sous-déclaration de la part d’enquêtés qui auraient une gêne à exprimer la réalité d’un choix qu’ils sauraient être mal vu dans la société.

Tous ces critères se croisent pour animer le débat : les sondeurs par exemple, ne voient pas pourquoi des sondés en auto-administration d’un questionnaire en ligne se sentiraient gênés à avouer leur vote pour le Front national. Les détracteurs des sondages considèrent, de leur côté, que l’incitation matérielle à participer peut conduire des gens faiblement politisés à répondre et donc accroître artificiellement le score de certains candidats et concomitamment le taux de ceux qui se déclarent peu sûrs de leurs choix. Mais nous ne souhaitons pas ici rouvrir ces débats.

Marge d'erreur, une expression impropre
L’enjeu est plutôt de réfléchir à la question des "intervalles de confiance", terminologie de la statistique qui est traduite pour le grand public par l’expression "marges d’erreur". Expression impropre car elle laisse à penser qu’il s’agit d’une erreur de calcul, alors qu’il s’agit juste d’insister sur l’existence d’incertitudes. La question est de comprendre ce que le raisonnement et l’exposition médiatique des résultats d’un sondage d’intention de vote changent si on donne à voir le score obtenu (situé au beau milieu des intervalles de confiance) ou si on expose la totalité du spectre des scores possibles, naguère vulgarisé sous l’appellation de "fourchettes".

(...)



(...)

http://www.lejdd.fr/Politique/Sondages- ... eur-859622

Qu'en pensez vous ?

[Nombrilist]

J'en pense que c'est une évidence et que n'importe quel étudiant post-bac se fait démolir si il oublie d'indiquer les "n" et les "intervalles de confiance" dans ses graphiques.

[johanono]

Nous savons tous qu'une marge d'erreur existe, et qu'un sondage est la photographie de l'état de l'opinion à un instant t.

Mais comment calculer la marge d'erreur elle-même ? N'y a-t-il pas une marge d'erreur possible dans le calcul de la marge d'erreur ?

[Nombrilist]

Bien entendu. Ce sont des marges d'erreur très théoriques et j'ai déjà dénoncé les sondages dans une tribune sur actu-po. Faire confiance aux sondages, c'est faire un acte de foi.

[Narbonne]

Dans la méthode de sondage par quotas on ne peut pas calculer, d'un point de vue théorique, la marge d'erreur. C'est pour cela qu'il y a d'indiqué sur le tableau "marge d'erreur recalculée par approximation".
C'est grosso modo, l'expérience du sondeur qui permet de quantifier cette marge d'erreur.
Cela est du au fait que dans la méthode des quotas on dit qu'on aura besoin de l'avis de 50% d'homme et 50% de femme, x% d'ouvriers, y % de cadres, ..., de x% à la campagne y% en ville, de x% de moins de 20 ans, y% de 21 à 30 ans etc ... Chaque critère est indépendant d'un autre.
Concrètement, on se retrouve à la fin où on cherche un étudiant de 60 ans et + et c'est impossible
Dans les sondages par strates, les critères sont croisés entre eux. C'est à dire qu'il faut x% de femme, de moins de 20ans, salariée, habitant en province etc Il faut un échantillon beaucoup plus vaste pour y arriver et là il est possible de faire un calcul théorique de la marge d'erreur

[Narbonne]

Dans la méthode des quotas, l'échantillon est représentatif de la population totale critère par critère et non par le croisement des critères.
Par les quotas, on peut se retrouver que tous les hommes interrogés étaient en Province. par la méthode des strates c'est impossible
Il est clair que le sondage par strates revient beaucoup plus cher que celui par quotas. La taille de l'échantillon serait beaucoup plus grande et c'est un sondage dit aléatoire alors que par les quotas ce n'est pas aléatoire

[Cheshire cat]

Bien entendu. Ce sont des marges d'erreur très théoriques et j'ai déjà dénoncé les sondages dans une tribune sur actu-po. Faire confiance aux sondages, c'est faire un acte de foi.

Sans être naïf, entre les sondage et le pifomètre, je préfère encore les sondages.

[Nombrilist]

Ceux qui prédisaient le Brexit ou la victoire de Trump au pifomètre ont eu raison contre les sondages.

[Ramdams]

Il y a sondage et sondage, il y a institut et institut. Franchement on ne peut pas faire des généralités. Les sondages ont très bien estimé les résultats des élections néerlandaises par exemple.

[Cheshire cat]

Ceux qui prédisaient le Brexit ou la victoire de Trump au pifomètre ont eu raison contre les sondages.

Pour les incertitudes sur les résultats des sondages, je ne me contente pas des de la marge mathématique, mais applique une marge empirique plus large. En conséquence, ces résultats ne me paraissaient nullement impossible, sans que cela fût pour autant prévisible de façon déterministe.

[Nombrilist]

Donc, nous sommes d'accord.

[Cheshire cat]

Si il n'y avait aucune incertitude, voter ne présenterait aucun intérêt.
Heureusement ce n'est pas toujours le cas.
Paradoxalement, les sondages prévoient une forte abstention alors que chaque vote risque d'être déterminant, et ce dès le premier tour.
Bon d'accord, ils sont tous mauvais, mais ils sont aussi tous différents.