Existe-t-il un biais connu dans les sondages téléphoniques aux États-Unis?

Je regardais un sondage WashingtonTimes / ABC, et la ventilation des résultats, en particulier par âge, m'a paru surprenante. Je suis donc allé chercher des biais.

Il a déclaré: "un sondage a été réalisé par téléphone du 11 au 14 décembre 2014 auprès d'un échantillon aléatoire de 1 000 adultes. Des entretiens ont été menés en anglais et en espagnol sur des lignes fixes et des téléphones portables".

Le sondage ne m'a pas donné le nombre de répondants dans chaque groupe d'âge, et ma première pensée a été quel genre de 18-29 ans est à la maison pour répondre au téléphone?! OK, ils incluent le cellulaire, ce qui le rend un peu plus juste. Mais quand même, quel genre de 18-29 ans répond à leur téléphone portable, est demandé s'ils veulent répondre à une enquête et dit "oui, bien sûr".

(Je ne veux pas dire cela comme une question rhétorique; mon intuition est que certains groupes sont beaucoup plus susceptibles, par exemple, une personne ayant une faible estime de soi pourrait apprécier le processus de demander son avis par un étranger par téléphone.)

Alors, y a-t-il des recherches sur ce sujet? Une organisation intéressée à manipuler l'opinion publique choisirait-elle un sondage téléphonique, un sondage en ligne ou une interview dans la rue, si elle recherchait un parti pris spécifique?

Il y a une belle étude de Pew qui regarde combien les taux de réponse ont baissé, et aussi quels sont les effets.

http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

"Une nouvelle étude du Pew Research Center for the People & the Press constate que, malgré la baisse des taux de réponse, les enquêtes téléphoniques qui incluent les lignes fixes et les téléphones portables et sont pondérées pour correspondre à la composition démographique de la population continuent de fournir des données précises sur la plupart des politiques mesures sociales et économiques, ce qui concorde avec l'exactitude constante des grands sondages en matière d'estimation des résultats des élections, entre autres.

"Cela ne veut pas dire que la baisse des taux de réponse est sans conséquence. Un domaine significatif de biais de non-réponse identifié dans l'étude est que les participants au sondage ont tendance à être beaucoup plus engagés dans l'activité civique que ceux qui n'y participent pas, confirmant ce qui la recherche a montré. Les personnes qui font du bénévolat sont plus susceptibles d’accepter de participer à des sondages que celles qui ne font pas ces choses. Cela a de graves conséquences sur la capacité d’une enquête à évaluer avec précision les comportements liés au bénévolat et à l’activité civique. peut surestimer des comportements tels que la fréquentation d'une église, la prise de contact avec des élus ou la participation à des événements de campagne. "

Existe-t-il un biais connu dans les sondages téléphoniques aux États-Unis?

Oui, il existe un biais connu dans les sondages téléphoniques aux États-Unis: les téléphones portables.

Pendant longtemps, l'étalon-or des sondages téléphoniques aléatoires aux États-Unis était la numérotation aléatoire: les machines généraient des numéros de téléphone aléatoires et les sondeurs posaient des questions à quiconque décrochait. En supposant que tout le monde avait un et un seul téléphone, le sondage était un simple échantillon aléatoire de propriétaires de téléphones.

Cependant, l'arrivée des téléphones portables a changé cela: de nombreuses personnes, en particulier les jeunes, n'ont pas de ligne fixe. Même au sein de données démographiques spécifiques (tranche d'âge, sexe, race), ces populations utilisant uniquement des téléphones portables ont des attitudes politiques distinctes des populations disposant de lignes fixes ou des deux types de téléphones. Puisqu'il est illégal pour les numéroteurs automatisés d'appeler des téléphones portables, cela fait des ravages avec les sondages.

Pour les sondeurs, cela signifie qu'ils doivent utiliser des êtres humains pour appeler tous les téléphones portables, ce qui est évidemment beaucoup plus cher. Les sondeurs doivent donc, a priori , décider du nombre de téléphones portables dont ils ont besoin pour contrôler les coûts. Le nombre d'appels par téléphone portable doit être mis en balance avec le nombre d'appels fixes par téléphone d'une manière scientifiquement valable - en composant suffisamment de maisons réservées aux téléphones portables, de maisons fixes uniquement et de maisons avec les deux proportionnellement à leur incidence dans la population, tout en n'étant pas dépassant leur budget!

L'effet des téléphones portables n'est probablement pas la source de biais potentiels.

Je soupçonne que les sondeurs que le sondage Washington Times / ABC a utilisés sont bien conscients de tout cela, car comment construire un échantillon aléatoire à la lumière de "l'effet de téléphone portable", c'est à peu près le sujet que tous les sondages politiques contemporains traitent aujourd'hui. Il est donc probable que les sondeurs aient pris des mesures pour atténuer «l'effet de téléphone portable» dans ce sondage. Cependant, les sondeurs ont peut-être eu une mauvaise journée et leur composition aléatoire de numéros de téléphone portable n'a pas donné suffisamment de réponses réelles.

S'il y a un biais, ce pourrait être les poids de l'échantillon.

Une autre source potentielle de biais dans ces sondages est la pondération de l'échantillon. Le but de la pondération des échantillons est de réduire le nombre de personnes que vous devez atteindre dans divers (combinaisons de) groupes démographiques en attribuant des poids différents à différents segments de la population. Ceci, bien sûr, conduit à la question "comment savez-vous que vous avez correctement pondéré l'échantillon?" C'est pourquoi certaines entreprises de sondage auront des estimations qui sont constamment supérieures / inférieures à celles d'autres entreprises de sondage: elles ont différentes méthodes pour pondérer leur échantillon, et cela tire systématiquement le résultat dans une direction particulière.

Ceci est un exemple de compromis biais-variance. Les sondeurs pourraient utiliser un petit échantillon aléatoire simple pour obtenir une estimation de variance élevée. Ou ils pourraient utiliser des poids pour réduire la variance de l'estimation à partir du petit échantillon, mais au prix d'un biais (statistique).

Les enquêteurs (et les statisticiens en général) doivent tous faire face au compromis biais-variance d'une manière ou d'une autre. Cela ne signifie pas nécessairement qu'ils sont malveillants ou tentent de manipuler le public.

Les explications alternatives abondent.

Il existe de nombreuses façons de gâcher un sondage, accidentellement ou délibérément. Reformuler une question peut donner des réponses différentes selon les groupes. Les sondages poussés, dans lesquels les questions sont formulées pour obtenir une réponse particulière, en sont l'exemple le plus évident et le plus néfaste.

Une organisation intéressée à manipuler l'opinion publique choisirait-elle un sondage téléphonique, un sondage en ligne ou une interview dans la rue, si elle recherchait un parti pris spécifique?

Cette question n'est pas entièrement statistique, car elle appelle à la spéculation sur les motifs et les méthodes d'une entité hypothétique et malveillante. Je ne peux y répondre que partiellement.

Les entretiens avec les gens dans la rue ne sont pas vraiment aléatoires et sont probablement biaisés (dans le sens où ils auront tendance à inclure certains groupes à une proportion plus élevée que d'autres).

Le but de la numérotation aléatoire est d'atteindre un état où tout le monde a une probabilité de sélection égale. Aller à un coin de rue et interviewer des gens n'atteint pas tout à fait cela, car vous aurez tendance à inclure des personnes qui vivent et travaillent à proximité. Si vous allez dans une rue de Washington, DC, vous aurez presque 0 chance de sélectionner une personne qui n'est pas de DC, du Maryland ou de Virginie.

De plus, pensez à quelle rue vous allez. Interroger des gens dans la rue, disons, dans le quartier de Cleveland Park à Washington, DC sera très différent de l'interview des gens dans la rue à Anacostia: ces endroits ont une composition démographique très distincte.

Les sondages en ligne ne sont pas vraiment aléatoires, mais il est difficile de savoir si c'est pire que les sondages téléphoniques.

La population de personnes optant pour un sondage en ligne est une population autosélectionnée, pas nécessairement échantillonnée au hasard parmi tous les répondants potentiels. Les sondeurs traditionnels qui ont tendance à favoriser les sondages téléphoniques sont très sceptiques à l'égard des sondages en ligne pour cette raison. Cependant, des gens comme Andrew Gelman sont moins certains que le résultat final d'un sondage téléphonique composé au hasard et d'un sondage en ligne auto-sélectionné est significativement différent. C'est vraiment un domaine de recherche ouvert.

Une organisation intéressée à manipuler l'opinion publique choisirait-elle un sondage téléphonique, un sondage en ligne ou une interview dans la rue, si elle recherchait un parti pris spécifique?

Toutes les méthodes de sondage peuvent être biaisées, y compris certaines autres non mentionnées dans la question.

Pour surreprésenter les points de vue des aînés, choisissez un sondage téléphonique et «oubliez» de normaliser les tranches d'âge, sachant que les jeunes répondants étaient mal représentés.

Le sondage de rue sans aucun quota ni normalisation serait probablement le moyen le plus simple pour obtenir un biais. Selon Sycorax, choisissez simplement votre rue. Interroger sur les heures de travail ou en dehors d'eux transformerait également les résultats. J'ai déjà été intervieweur de rue. Nous avons travaillé à fixer des quotas stricts combinant la tranche d'âge, le sexe et la classe sociale, mais à l'intérieur de cela, j'étais conscient de ma propre tendance à approcher les personnes dans les limites du quota que j'aimais (les gens qui étaient un peu comme moi, si vous voulez) plutôt que les personnes sous quota qui avaient un attrait visuel moins immédiat. Et je ne pense pas qu'ils avaient des quotas pour les types d'intervieweur!

Les journaux tabloïds britanniques effectuent régulièrement des `` sondages '' oui / non autosélectionnés de leurs propres lecteurs, généralement sur une question directrice émotive, rapportant les résultats comme s'ils étaient une véritable enquête représentative de la population, et souvent avec une plus grande importance que appropriée, éthiquement. mené des enquêtes.

Comme l'a commenté Andy Jones, il existe des moyens beaucoup plus faciles de biaiser un sondage. Choix des dates et des heures, ajustements de la formulation (en particulier dans les enquêtes avant et après), questions directrices, questions directrices ou de filtrage avant-gardistes, hypothèses réductrices, choix de réponse restreints, etc. À Londres, diverses sections de gestion du trafic municipal, de gestion du stationnement et de consultation publique semblent faire de ces techniques sournoises leur spécialité.

En règle générale, s'ils imposent des restrictions de circulation, ils ne consulteront que les résidents d'une zone étroite à proximité et pas les conducteurs du tout. Les résidents obtiendront une carte de case à cocher par leur porte, ou peut-être deux cartes dans une grande vieille propriété qui est divisée en cinq ou sept appartements séparés.

Une forme vraiment imbattable de biais de sondage, bien qu'elle ne fasse pas partie du processus de sondage lui-même, consiste à le conduire de quelque manière que ce soit (par exemple parfaitement) et à supprimer simplement les résultats s'ils ne conviennent pas. C'est précisément ce qu'a fait une association de résidents d'une région où j'habitais autrefois, contrôlée d'une main de fer par un dirigeant syndical très manipulateur.

Enfin, en 2004, de retour de vacances à l'aéroport de Stansted, je me suis retrouvé confronté à une "porte" composée d'un double mur en plexiglas et d'un détecteur de mouvement. Les passagers ont été invités à franchir cette porte facultative s'ils voulaient que les Jeux olympiques se déroulent à Londres. Une minorité importante de l'opinion publique à cette époque n'était pas enthousiaste à l'idée d'obtenir une facture massive pour un événement de vanité, rappelant le fardeau fiscal grec et la corruption dans l'Utah, et l'équipe London Back the Bid tentait de susciter un soutien.

Vous pouviez franchir la porte autant de fois que vous le souhaitiez pour enregistrer un «vote» (comme on l'appelait ainsi) à chaque fois pour les JO, pour le plus grand plaisir des familles avec de jeunes enfants. Hélas, ils ont oublié de prévoir une deuxième porte pour ceux qui ne voulaient pas une grosse facture depuis 30 ans, ou pour des gens comme moi qui pensaient que Paris était digne de l'événement.

Curieusement, le résultat de style soviétique était que 100% des Britanniques voulaient les Jeux olympiques. Je vais les payer encore longtemps avant ma retraite. Choses pratiques, sondages.