Comment évaluer la signification statistique de l'exactitude d'un classificateur?

J'ai la sortie de précision du classificateur en pourcentage et le nombre d'échantillons d'entrée. Existe-t-il un test qui puisse dire à quel point le résultat est statistiquement significatif d'après ces informations?

Merci

Vous voulez définir la distribution de la précision de juste deviner. C'est peut-être comme$X/n$ où $X \sim$ binomial($n$, $p$) pour certains connus $p$ (disons 50%).

Calculez ensuite la chance d'observer les résultats que vous avez obtenus, si ce modèle nul était vrai. Dans R, vous pouvez l'utiliser binom.testou le calculer directement avec pbinom.

Habituellement, vous voudriez comparer l'exactitude non pas à "deviner" mais à une autre méthode, auquel cas vous pourriez utiliser le test de McNemar ; dans R, mcnemar.test.

Je ne vois pas où le test contre le hasard complet est si utile. Un classificateur qui ne peut battre que des suppositions aléatoires pures n'est pas très utile. Un problème plus important est l'utilisation de proportions correctement classées comme votre score de précision. Il s'agit d'une règle de notation incorrecte discontinue qui peut être facilement manipulée car elle est arbitraire et insensible. Une (parmi de nombreuses) façons de voir ses lacunes est de calculer correctement la proportion classée si vous avez un modèle avec seulement une interception. Elle sera élevée si les résultats ne sont pas proches de 0,5 en prévalence.

Une fois que vous avez choisi une règle plus appropriée, il serait utile de calculer un intervalle de confiance pour l'indice. La signification statistique a peu de valeur.

Bien sûr, vous pouvez calculer un intervalle de confiance . Si$\mbox{acc}$ est votre précision estimée sur un ensemble de tests de $N$ éléments, il soutient que

$$\frac{acc-p}{\sqrt{p(1-p)/N}} \sim \mathcal{N}(0,1)$$ Donc $$P\bigg( \frac{acc-p}{\sqrt{p(1-p)/N}} \in [-z_{\alpha/2},+z_{\alpha/2}]\bigg) \approx 1 - \alpha$$ Vous pouvez donc dire que: $$P(p \in [l,u]) \approx 1 - \alpha$$ Par exemple, vous pouvez calculer l' intervalle Wilson . $$l = \frac{2 \ N \ \mbox{acc} + z_{\alpha/2}^2 - z_{\alpha/2} \sqrt{z_{\alpha/2}^2+4 \ N \ \mbox{acc}-4 \ N \ \mbox{acc}^2}}{2(N+z_{\alpha/2}^2)}$$ $$u = \frac{2 \ N \ \mbox{acc} + z_{\alpha/2}^2 + z_{\alpha/2} \sqrt{z_{\alpha/2}^2+4 \ N \ \mbox{acc}-4 \ N \ \mbox{acc}^2}}{2(N+z_{\alpha/2}^2)}$$

Je pense que vous pouvez calculer à quel point vos performances diffèrent d'une performance aléatoire calculant le gain . La précision d'un classificateur aléatoire est:

$$\mbox{acc}_r = \sum_{i=1}^{c} p_i^2$$ où $p_i$ est la fréquence empirique de la classe $i$ estimée sur l'ensemble de test, et $c$est le nombre de classes différentes. En moyenne, un classificateur aléatoire, qui classe au hasard deviner la classe$i$ en se basant sur la probabilité a priori de l'ensemble de test, classe $p_i\cdot n_i = \frac{n_i}{N} \cdot n_i$ exemples de cours $i$correctement. Où$n_i$ est le nombre d'enregistrements de classe $i$dans l'ensemble de test. Donc $$\mbox{acc}_r = \frac{p_1 \cdot n_1 + \dots + p_c \cdot n_c}{n_1 + \dots + n_c} = \frac{p_1\cdot n_1}{N} + \dots + \frac{p_c\cdot n_c}{N} = \sum_{i}^{c} p_i^2$$ Vous pourriez avoir un regard sur une de mes questions .

Le gain est:

$$\mbox{gain} = \frac{\mbox{acc}}{\mbox{acc}_r}$$

Je pense en fait qu'un test statistique peut être esquissé. Le numérateur pourrait être considéré comme une variable aléatoire normale,$\mathcal{N}(\mbox{acc},p(1-p)/N)$, mais vous devez déterminer quel type de variable aléatoire le dénominateur $\mbox{acc}_r$ pourrait être.

Vous pouvez être intéressé par les articles suivants:

• Eric W. Noreen, Méthodes informatisées pour tester les hypothèses: une introduction, John Wiley & Sons, New York, NY, USA, 1989.
• Alexander Yeh, Des tests plus précis pour la signification statistique des différences de résultats, dans: Actes de la 18e Conférence internationale de linguistique computationnelle, Volume 2, pages 947-953, 2000.

Je pense qu'ils couvrent ce dont parle Dimitrios Athanasakis.

J'ai implémenté une option de Yeh de la manière que je comprends:

http://www.clips.uantwerpen.be/~vincent/software#art

Je pense qu'une chose que vous pourriez essayer serait un test de permutation. Il suffit de simplement permuter de manière aléatoire les paires de sortie d'entrée souhaitées que vous alimentez votre classificateur plusieurs fois. S'il ne parvient pas à reproduire quoi que ce soit au même niveau sur 100 permutations différentes, il est significatif à 99% d'intervalle, etc. Il s'agit essentiellement du même processus utilisé pour obtenir des valeurs de p (qui correspondent à la probabilité d'obtenir une corrélation linéaire de la même mangnitude après permutation aléatoire des données) et ainsi de suite.