Comment traiter les réponses aux sondages illogiques

J'ai soumis un sondage à un échantillon d'artistes. L'une des questions était d'indiquer le pourcentage des revenus provenant: de l'activité artistique, du soutien gouvernemental, de la pension privée, des activités non liées aux arts. Environ 65% des individus ont répondu que la somme du pourcentage est de 100. Les autres ne le font pas: par exemple, il y a qui répond que 70% de leurs revenus proviennent de ses activités artistiques et 60% des revenus du gouvernement , etc. Ma question est: comment dois-je traiter ces observations? Dois-je les supprimer, les modifier ou les conserver? Je vous remercie!

C'est une bonne situation pour une analyse de sensibilité. Analysez vos données de trois manières:

1. Comme ils sont
2. Après avoir exclu "les illogiques", c'est-à-dire les personnes dont les pourcentages ne totalisent pas 100 (ou 100 +/- 10)
3. Après ajustement si nécessaire pour que les pourcentages de chaque personne totalisent 100

Comparez ensuite les résultats, en partageant toute justification que vous pouvez développer quant aux résultats qui pourraient être plus précis ou plus précis à certains égards.

Vous pouvez également étudier l'éventail des différences entre les logiques et les illogiques, le cas échéant. Les illogiques ont-ils tendance à déclarer des revenus plus élevés? Pour montrer un plus grand soutien pour certaines idées ou programmes? Pour sauter plus de questions? Faire preuve de plus de biais dans le sens d'une ligne droite ou d'un choix disproportionné de réponses moyennes ou de réponses extrêmes?

Avec environ 400 ou ces illogiques, vous disposez même de suffisamment de données pour évaluer la relation entre le degré d'illogisme et le degré d'un type de biais donné. Quelque chose comme une relation dose-réponse.

Ce que vous apprenez de ces enquêtes pourrait être réinjecté dans votre plan de lutte contre les illogiques en ce qui concerne les principales analyses d'intérêt.

Comme déjà mentionné ici , ces réponses ne sont pas nécessairement illogiques. Par exemple, vous dites

Les autres ne le font pas: par exemple, il y a qui répond que 70% de leurs revenus proviennent de ses activités artistiques et 60% des revenus du gouvernement, etc.

Cela est parfaitement logique si 30% des revenus proviennent des activités artistiques réalisées pour le gouvernement. Ensuite, nous avons vraiment trois groupes:

• Activité artistique, sans rapport avec le gouvernement: 40%.
• Gouvernement, sans rapport avec l'activité artistique: 30%.
• Activité artistique subventionnée par le gouvernement: 30%.

Ces chiffres totalisent jusqu'à 100%.

Considérez les questions suivantes:

• Les coupons alimentaires sont-ils du gouvernement ou des activités non liées aux arts?
• Le gouvernement de la sécurité sociale ou une pension?
• Une pension du gouvernement (ancien employé du gouvernement) est-elle une pension privée ou un gouvernement?
• Est-ce une subvention du gouvernement pour peindre une activité artistique de peinture ou du gouvernement?
• Un emploi enseigne les arts dans une administration scolaire locale ou une activité artistique ou des activités non liées aux arts?
• Si vous vous retirez d'un emploi dans les arts (enseignement ou commerce, par exemple en tirant des cartes-cadeaux), la pension est-elle une activité privée ou artistique? Ou dans le cas de l'enseignement, éventuellement gouvernemental?

Vous semblez vouloir que ces catégories s'excluent mutuellement. Cependant, je ne pense pas que tout le monde les interpréterait de cette façon. Vous avez peut-être une idée claire de la façon dont ces activités devraient être classées, mais il n'est pas clair que vos répondants avaient les mêmes divisions en tête lorsqu'ils ont répondu. Au minimum, si vous voulez que les chiffres totalisent 100%, vous devez le dire aux gens.

Personnellement, je pense que la meilleure approche pour ce genre de problème est de faire une sorte de focus group. Dans une enquête traditionnelle, vous ne pourrez peut-être pas valider les réponses. Alors appelez ou visitez des personnes qui seraient ciblées par l'enquête et entamez une conversation. Ensuite, quand ils donnent des réponses que vous ne comprenez pas, demandez-leur pourquoi. Et au-delà de cela, demandez-leur comment vous auriez dû poser la question afin d'obtenir le type de résultats que vous souhaitez. Cela fonctionne plus comme un groupe de discussion dans la mesure où il est interactif.

Une fois que vous avez fait cela, alors vous pouvez avoir une meilleure idée de la façon de gérer les réponses qui ne correspondent pas à votre format. Par exemple, vous pouvez prendre les 30% supplémentaires et soustraire la moitié de chacun. Ensuite, vous auriez 55% d'activité artistique et 45% de gouvernement. Ou vous pouvez catégoriser 40% d'activité artistique privée, 30% d'activité artistique parrainée par le gouvernement et 30% autre (dans ce cas, le soutien gouvernemental sans rapport avec l'activité artistique, par exemple les coupons alimentaires ou l'aide au loyer). Ou jetez le sondage et refaites-le, car les gens ne comprennent pas correctement vos catégories. Cela dépend en partie de ce que vous avez compris les catégories et de la façon dont elles l'ont interprétée.

Trop tard maintenant, mais pour les sondages futurs, pensez à organiser un groupe de discussion régulier avant le sondage. Ensuite, vous pouvez tester vos questions dans l'environnement de groupe et les améliorer. Vous pouvez même constater que vous recevez des questions supplémentaires du groupe. S'il est trop difficile de le faire en personne, envisagez de le faire en ligne. Ou faites un sondage test (auprès d'un plus petit nombre de personnes, valider les réponses avec des questions de suivi) par téléphone personnellement avant de faire le vrai sondage. N'importe lequel de ces éléments peut vous aider à clarifier vos questions.

Par exemple, vos vraies catégories auraient peut-être dû être un revenu privé provenant d'une activité artistique; activité artistique parrainée par le gouvernement; pension privée d'un ancien emploi; autres revenus non liés à l'activité artistique. Ou quelque chose de différent. Une partie du problème est que je ne peux pas dire ce que vous voulez, ce qui me fait penser que vos répondants ne le peuvent pas non plus. S'il y a trois interprétations différentes, c'est presque comme si vous mélangiez les réponses de trois enquêtes différentes.

Je ne peux pas vous donner de réponse pour le cas général des réponses illogiques. Mais pour ce type de question spécifique - été là, faites cela. Non seulement dans une enquête, mais aussi dans des entretiens semi-structurés, où j'ai eu l'occasion d'observer comment les gens trouvent ce genre de réponse. Sur cette base, ainsi que sur une expérience générale dans l'observation et l'analyse des processus cognitifs, je suggérerais: normalisez vos données à une somme de 100% . La raison en est que les gens semblent d'abord aller dans la catégorie la plus saillante - dans votre cas, ce serait le revenu le plus élevé - donner une estimation de l'intestin en pourcentage, puis commencer à penser aux catégories plus petites suivantes et baser leur estimation relative à l'ancre de la première catégorie, plus celle des autres catégories déjà mentionnées.

Pour un exemple, un train de pensée ira comme: "Ma première source de revenu est certainement plus de la moitié. Cela fait quoi, 60%? Non, c'est trop bas, disons 65%. La seconde est environ un tiers de cela , ce serait donc un peu plus de 20%, euh, difficile à calculer dans ma tête, arrondissons à 25%. Le troisième ressemble aussi à un tiers du premier, mais c'est en fait toujours un peu plus que le deuxième, donc ça devrait être 30%. Ou même 35? Non, allons-y avec 30. Oh, et j'ai oublié que j'ai une quatrième source, qui n'arrive qu'une fois par an, qui devrait être vraiment petite par rapport aux autres, donc 5 ou 10%? Probabaly 5 est plus proche, ce n'est pas vraiment beaucoup ". Et vous vous retrouvez donc avec une réponse de 65 + 25 + 30 + 5 = 125%.

Parce que les gens ont tendance à être plus conscients de la taille relative des parts de revenu les unes par rapport aux autres que de chaque part au total, je dirais que les normaliser est de mise ici, si vous voulez exécuter une sorte d'analyse numérique sur les revenus . Je ne travaillerais avec les chiffres réels que si la différence entre les croyances et les déclarations des gens sur leur revenu et leur réalité objective est un sujet important pour votre travail, par exemple si vous êtes un psychologue étudiant les biais cognitifs, ou si vous êtes plus intéressé par le perception de soi des artistes que dans leur situation économique.

Malheureusement, je n'ai pas une bonne source de littérature pour prouver que cela fonctionne vraiment comme je l'ai décrit, c'est juste mon observation empirique personnelle. Mais je ne pense pas que les examinateurs seront rattrapés par ce type de décision, car, comme l'ont dit les autres réponses, il n'y a pas de "bonne" façon de la traiter. Si quoi que ce soit, ils rejetteront toutes vos données de cette question comme non valides en raison d'une technique de requête défectueuse. Le mieux que vous puissiez faire est de le reconnaître à titre préventif et de vous expliquer pourquoi votre travail est néanmoins utile et pourquoi les conclusions que vous tirez sont toujours bonnes malgré cette source spécifique d'inexactitude dans les données.

Si les sciences sociales m'ont appris quelque chose, c'est que si vous donnez aux gens la possibilité de donner des réponses logiquement incohérentes, ils le feront. Soyez donc assuré qu'il n'y a rien d'inhabituel dans vos sujets. C'est quelque chose à garder à l'esprit lors de la conception de futures enquêtes. Pour le moment, il est préférable de laisser les réponses telles quelles et de garder à l'esprit dans vos analyses que les réponses ne totaliseront pas 100%, comme on pourrait le penser. Plutôt que de vraies proportions, vous avez des signaux bruyants du revenu que chaque sujet reçoit de chaque catégorie, alors analysez-les de cette façon.

activité artistique, aide gouvernementale, pension privée, activités non liées aux arts

En un coup d'œil, il semble que «l'activité artistique» et «l'activité non liée aux arts» devraient totaliser 100%.

Bien sûr, «activité non liée aux arts» n'est pas la même chose que «pas d'activité liée aux arts», car il peut y avoir un revenu associé à aucune activité du tout. Mais c'est le cheveu que la plupart des artistes ne remarqueront pas.

Si vous supposez que les catégories 1 et 4 devraient totaliser jusqu'à 100% et réinterprétez ces répondants en conséquence, vous pouvez constater que la plupart d'entre eux ont inclus les catégories 2 et 3 dans la catégorie 4.

Cependant, tout cela est une manipulation de données qui n'est pas idéale. Si vous voulez des réponses statistiques précises, vous devez collecter des données précises. Les gens pourraient mentir en réponse à votre enquête, et c'est difficile à éviter, mais si les gens qui essaient honnêtement de répondre à vos questions peuvent être confus quant à ce que cela signifie, votre enquête doit être réécrite.

La prochaine fois, relisez le sondage pour plus de compréhension et d' ambiguïté avant de l'envoyer.

Vous avez donné quatre catégories de revenu - qu'en est-il du revenu qui ne se trouve dans aucune d'entre elles? Par exemple, les revenus de dividendes provenant de la détention d'actions. Ce n'est pas un revenu provenant d'une forme d'activité, mais ce n'est pas non plus un soutien du gouvernement ou une pension. Je suggérerais qu'en l'absence d'autres informations, vous devriez considérer les réponses comme correctes et attribuer l'argent manquant à des sources que les répondants n'ont pas considérées comme étant couvertes par les catégories.

En fait, c'est assez simple (et même pas aussi illogique qu'on pourrait le penser)! Je suppose que ce sont vraiment les proportions des différentes catégories de revenus que vous recherchez en demandant des pourcentages. Vous pouvez donc simplement renormaliser à 100%. Dans votre exemple: si quelqu'un dit: 70% de mes revenus proviennent d'activités artistiques et 60% de l'aide gouvernementale, cette personne (qui n'a probablement jamais reçu de formation pour travailler avec des pourcentages) dit en fait: parentles tailles ou les proportions de mes revenus provenant des activités artistiques et du gouvernement sont d'environ 70 à 60 ou de 7 à 6 (ne réalisant probablement pas que les pourcentages sont censés s'élever à 100 ..). Vous pouvez convertir ces déclarations sur les proportions en déclarations sur les pourcentages en les renormalisant simplement, comme suit: 70/130 * 100 = 53% des revenus artistiques et 60/130 * 100 = 47% des revenus de soutien du gouvernement.

(ce que je fais ici est en fait de prendre 130% comme un "nouveau" 100% et de calculer les proportions ..)

PS. cela fonctionne pour tous les cas où la somme des pourcentages indiqués n'est pas égale à 100

J'espère que cela t'aides!

La majorité des réponses déjà fournies ont déjà fourni un aperçu des lacunes méthodologiques évidentes de l'enquête, je ne m'étendrai donc pas là-dessus. Au lieu de cela, je fournirai quelques options pratiques sur la façon de traiter ces données étant donné qu'elles sont déjà collectées et malgré la question erronée. Il existe plusieurs façons de gérer cela. Vous pouvez envisager de marquer les réponses qui ne correspondent pas à votre définition de «réponses valides» en traitant la question entière comme manquante, puis en suivant un certain nombre de pratiques pour gérer la non-réponse à un élément telles que celles discutées ici .

Vous pouvez également envisager de mettre à l'échelle chaque réponse de sorte que les pourcentages s'ajoutent à 100. En supposant que chaque réponse est enregistrée en pourcentage, cela peut être fait en recodant chaque réponse d'origine $y_{{old}_{ij}}$ $(j=1,2,3,4)$ des 4 sous-composantes de votre question (c.-à-d. activité artistique, soutien gouvernemental, pension privée, activités non liées aux arts) dans une nouvelle réponse $y_{{new}_{ij}}$ comme suit:

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ Par exemple, disons que vous aviez un répondant $i$ qui a répondu comme suit:

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Ensuite, vous recoderiez comme suit:

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

Notez que tous les nouveaux pourcentages totalisent désormais 100%. Quoi que vous fassiez, assurez-vous de rendre les transformations très claires lorsque vous communiquez vos résultats et je pense que @ rolando2 a fourni d'excellents conseils sur la façon d'effectuer des analyses de sensibilité pour voir comment des transformations comme celles-ci pourraient affecter vos conclusions.