Comment détecter les opinions polarisées des utilisateurs (étoiles hautes et basses)

Si j'ai un système de classement par étoiles où les utilisateurs peuvent exprimer leur préférence pour un produit ou un article, comment puis-je détecter statistiquement si les votes sont très "divisés". Cela signifie, même si la moyenne est de 3 sur 5, pour un produit donné, comment puis-je détecter s'il s'agit d'une répartition 1-5 par rapport à un consensus 3, en utilisant uniquement les données (pas de méthodes graphiques)

On pourrait construire un indice de polarisation; exactement comment on le définit dépend de ce qui constitue être plus polarisé (c'est-à-dire que voulez-vous dire exactement, dans des cas particuliers de bord, par plus ou moins polarisé?):

Par exemple, si la moyenne est «4», un partage 50-50 entre «3» et «5» est-il plus ou moins polarisé que 25% «1» et 75% «5»?

Quoi qu'il en soit, en l'absence de ce type de définition spécifique de ce que vous voulez dire, je proposerai une mesure basée sur la variance:

Étant donné une moyenne particulière, définissez la répartition la plus polarisée possible comme celle qui maximise la variance *.

* (NB cela voudrait dire que 25% '1' et 75% '5' est nettement plus polarisé que la répartition 50-50 de '3 et' 5; si cela ne correspond pas à votre intuition, n'utilisez pas la variance)

Cet indice de polarisation est donc la proportion de la plus grande variance possible ( avec la moyenne observée ) dans la variance observée.

Appelez la note moyenne ( ).$m$$m=\bar x$

La variance maximale se produit lorsqu'une proportion est à et est à ; cela a une variance de .$p=\frac{m-1}{4}$$5$$1-p$$1$$(m-1)(5-m) \cdot \frac{n}{n-1}$

Il suffit donc de prendre la variance de l'échantillon et de la diviser par ; cela donne un nombre entre (accord parfait) et (complètement polarisé).$(m-1)(5-m) \cdot \frac{n}{n-1}$$0$$1$

Pour un certain nombre de cas où la note moyenne est de 4, cela donnerait ce qui suit:

---

Vous préférerez peut- être plutôt ne pas les calculer par rapport à la plus grande variance possible avec la même moyenne, mais plutôt en pourcentage de la plus grande variance possible pour toute note moyenne . Cela impliquerait de diviser à la place par , et donne à nouveau une valeur entre 0 (accord parfait) et (polarisée aux extrêmes dans un rapport 50-50). Cela donnerait les mêmes relativités que le diagramme ci-dessus, mais toutes les valeurs seraient 3/4 aussi grandes (c'est-à-dire, de gauche à droite, de haut en bas, elles seraient de 0, 16,5%, 25%, 25%, 50 % et 75%).$4 \cdot \frac{n}{n-1}$$1$

L'un ou l'autre des deux est un choix parfaitement valable - comme n'importe quel autre nombre de manières alternatives de construire un tel indice.

"Pas de méthodes graphiques" est en quelque sorte un gros handicap, mais ... voici quelques idées étranges. Les deux traitent les notes comme continues, ce qui est en quelque sorte une faiblesse conceptuelle, et probablement pas la seule ...

Kurtosis

• Le kurtosis de {1,1,1,5,5,5} = 1. Vous n'obtiendrez pas un kurtosis inférieur avec un combo de 1 à 5 notes.
• Le kurtosis de {1,2,3,4,5} = 1,7. Plus bas signifie des valeurs plus extrêmes; plus élevé signifie plus moyen.
• Cela ne fonctionnera pas si la distribution n'est pas à peu près symétrique. Je vais démontrer ci-dessous.

Régression binomiale négative

Avec un bloc de données comme celui-ci: Ajuster le modèle F r e q u e n c y ∼ R a t i n g +

$$\begin{array}{c|c}\rm Rating&\rm Frequency\\\hline1&31\\2&15\\3&7\\4&9\\5&37\end{array}$$ utilisant une régression binomiale négative. Le$\rm Frequency\sim\rm Rating+\sqrt{Rating}$ coefficient R a t i n g doit être proche de zéro si les notes sontuniformément distribuées, positif s'il y a proportionnellement plus de valeurs moyennes (cf.distribution binomiale), ou négatif avec des distributions polarisées comme celle ci-dessus, pour lesquelles le coefficient est - 11.8.$\rm\sqrt{Rating}$

FWIW, voici le code r avec lequel j'ai joué:

x=rbinom(99,4,c(.1,.9))+1;y=sample(0:4,99,replace=T)+1 #Some polarized & uniform rating data
table(x);table(y)                                                         #Frequencies
require(moments);kurtosis(x);kurtosis(y)                                  #Kurtosis

Y=data.frame(n=as.numeric(table(y)),rating=as.numeric(levels(factor(y)))) #Data frame setup
X=data.frame(n=as.numeric(table(x)),rating=as.numeric(levels(factor(x)))) #Data frame setup
require(MASS);summary(glm.nb(n~rating+sqrt(rating),X))  #Negative binomial of polarized data
summary(glm.nb(n~rating+sqrt(rating),Y))                #Negative binomial of uniform data

Je ne peux pas résister à jeter dans un complot ...

require(ggplot2);ggplot(X,aes(x=rating,y=n))+geom_point()+stat_smooth(formula=y~x+I(sqrt(x)),method='glm',family='poisson')

Le $\rm\sqrt{Rating}$

---

---

Edit: Je viens de voir cette question annoncée dans la barre latérale: et quand j'ai cliqué, je l'ai vue dans les Hot Network Questions se reliant à elle-même, comme cela arrive parfois ,

j'ai donc pensé que cela mériterait d'être revu d'une manière plus généralement utile. J'ai décidé d'essayer mes méthodes sur les avis clients Amazon pour le t-shirt à manches courtes The Mountain Three Wolf Moon :

$$\begin{array}{c|ccccc}\rm Rating&1&2&3&4&5\\\hline\rm Frequency&208&54&89&198&2273\end{array}$$

$\beta_\sqrt{\rm Rating}=-19.1$

$\rm \sigma^2_{Frequency_\text{The Mountain Three Wolf Moon Short Sleeve Tee Ratings}}=1.31$
x=rep(5:1,c(2273,198,89,54,208))var(x)/(4*length(x)/(length(x)-1))

$$\frac {(1-3)^2 + (3-3)^2 + (3-3)^2 + (5-3)^2}4 = 1$$ $$\frac {(1-3)^2 + (1-3)^2 + (5-3)^2 + (5-3)^2}4 = 2$$

Je doute que je puisse ajouter quelque chose de précieux aux réponses intelligentes déjà données. En particulier, à l'idée fine de @ Glen_b d'évaluer comment la variance observée est relativement proche de la variance maximale possible sous la moyenne observée. Ma propre proposition directe et directe de l'épaule concerne plutôt une mesure de dispersion robuste basée non pas sur des écarts par rapport à un centre mais directement sur des distances entre des points de données.

$d_{ii}$

Rating scale                   Distances      Mean     Median    Hodges-Lehmann
1  2  3  4  5

Frequency distributions:

1     2     1                 0 2 2 2 2 4      2          2          2

2           2                 0 0 4 4 4 4      2.7        4          2

1        2  1                 0 1 1 3 3 4      2          2          2

1  1  1     1                 1 1 2 2 3 4      2.2        2          2

1  1     1  1                 1 1 2 3 3 4      2.3        2.5        2.5

1           3                 0 0 0 4 4 4      2          2          2

$N$

Que diriez-vous, si la note de 3 étoiles est inférieure à la moyenne des 5 et 4, et également inférieure à la moyenne des 1 et 2:

if (number_of_ratings > 6)      // kind of meaningless unless there's enough ratings
{
    if ( ((rating(5)+rating(4))*0.5 > rating(3)) &&
         ((rating(1)+rating(2))*0.5 > rating(3))
       )    
    {
        // Opinion divided
    }
    else
    {
        // Opinion not divided
    }
}
else
{
    // Hard to tell yet if opinion is divided
}

Du haut de ma tête, je ne peux penser à aucune situation dans laquelle cela ne fonctionnerait pas. En utilisant l'exemple ci-dessus: Commentaires des clients d'Amazon pour le t-shirt à manches courtes The Mountain Three Wolf Moon :

$$\begin{array}{c|ccccc}\rm Rating&1&2&3&4&5\\\hline\rm Frequency&208&54&89&198&2273\end{array}$$

Dans ce cas:

$$\begin{array}{c|ccccc}\rm Rating&average(1,2)&3&average(4,5)\\\hline\rm Frequency&131&89&1235\end{array}$$

Cela passerait le test et serait considéré comme une opinion divisée.

$$\sigma = \sqrt{\frac{\sum_{i=0}^{n}(x_i-\mu )^2}{n}}\\\text{where }\sigma \text{ is standard deviation, } \\ n \text{ is the number of data points,}\\ x \text{ represents all of the data points, and}\\\mu\text{ is the mean.}$$

Je ne sais pas de quel langage de programmation il s'agit, mais voici une méthode java qui vous donnera l'écart type:

public static double standardDeviation(double[] data) {
            //find the mean
    double sum = 0;
    for(double x:data) {
        sum+=x;
    }
    double mean = sum/data.length;

            //find standard deviation
    Double sd;
    sd=0.0;
    for(double x:data) {
        sd+=Math.pow((x-mean),2);
    }
    sd=sd/data.length;
    sd=Math.sqrt(sd);

    return sd;
}