J'ai un ensemble de tests de 100 cas et deux classificateurs.

J'ai généré des prédictions et calculé l'ASC ROC, la sensibilité et la spécificité pour les deux classificateurs.

Question 1: Comment puis-je calculer la valeur de p pour vérifier si l'un est significativement meilleur que l'autre en ce qui concerne tous les scores (ROC AUC, sensibilité, spécificité)?

---

Maintenant, pour le même ensemble de tests de 100 cas, j'ai des affectations de fonctionnalités différentes et indépendantes pour chaque cas. En effet, mes fonctionnalités sont fixes mais subjectives et fournies par plusieurs (5) sujets.

J'ai donc évalué à nouveau mes deux classificateurs pour 5 "versions" de mon jeu de test et obtenu 5 AUC ROC, 5 sensibilités et 5 spécificités pour les deux classificateurs. Ensuite, j'ai calculé la moyenne de chaque mesure de performance pour 5 sujets (moyenne ROC AUC, sensibilité moyenne et spécificité moyenne) pour les deux classificateurs.

Question 2: Comment puis-je calculer la valeur de p pour vérifier si l'un est significativement meilleur que l'autre en ce qui concerne les scores moyens (ASC ROC moyen, sensibilité moyenne, spécificité moyenne)?

---

Les réponses avec un exemple de python (de préférence) ou de code MatLab sont plus que bienvenues.

Wojtek J. Krzanowski et David J. Hand ROC Curves for Continuous Data (2009) est une excellente référence pour tout ce qui concerne les courbes ROC. Il recueille un certain nombre de résultats dans ce qui est une base de littérature frustrante, qui utilise souvent une terminologie différente pour discuter du même sujet.

En outre, ce livre propose des commentaires et des comparaisons de méthodes alternatives qui ont été dérivées pour estimer les mêmes quantités, et souligne que certaines méthodes émettent des hypothèses qui peuvent être intenables dans des contextes particuliers. C'est un de ces contextes; d'autres réponses font état de la méthode Hanley & McNeil, qui suppose le modèle binormal pour les distributions de scores, ce qui peut être inapproprié dans les cas où la distribution des scores de classe n'est pas (proche) de la normale. L'hypothèse de scores normalement distribués semble particulièrement inappropriée dans les contextes d' apprentissage automatique modernes , les modèles communs typiques tels que xgboost ont tendance à produire des scores avec une distribution "en baignoire" pour les tâches de classification (c'est-à-dire, les distributions avec des densités élevées dans les extrêmes proches de 0 et 1 ).

Question 1 - AUC

La section 6.3 discute des comparaisons de l'AUC ROC pour deux courbes ROC (pp 113-114). En particulier, je crois comprendre que ces deux modèles sont corrélés, donc les informations sur la façon de calculer sont d'une importance cruciale ici; sinon, votre statistique de test sera biaisée car elle ne tient pas compte de la contribution de la corrélation.$r$

Dans le cas des courbes ROC non corrélées qui ne sont basées sur aucune hypothèse de distribution paramétrique, les statistiques pour les tets et les intervalles de confiance comparant les ASC peuvent être directement basées sur des estimations et des valeurs de l'ASC et des estimations de leurs écarts types et , comme indiqué dans la section 3.5.1: ^ AUC 2S1S$\widehat{\text{AUC}}_1$$\widehat{\text{AUC}}_2$$S_1$$S_2$

$$Z = \frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2}}$$

Pour étendre ces tests au cas où les mêmes données sont utilisées pour les deux classificateurs, nous devons tenir compte de la corrélation entre les estimations de l'ASC:

$$z=\frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2 - rS_1S_2}}$$

où est l'estimation de cette corrélation. Hanley et McNeil (1983) ont fait une telle extension, basant leur analyse sur le cas binormal, mais n'ont donné qu'un tableau montrant comment calculer le coefficient de corrélation estimé partir de la corrélation des deux classificateurs de la classe P, et la corrélation de des deux classificateurs de la classe N, en disant que la dérivation mathématique était disponible sur demande. Divers autres auteurs (par exemple Zou, 2001) ont développé des tests basés sur le modèle binormal, en supposant qu'une transformation appropriée peut être trouvée qui transformera simultanément les distributions des scores des classes P et N en normales.r r P r $r$$r$$r_P$$r_n$

DeLong et al (1988) ont profité de l'identité entre l'ASC et la statistique du test de Mann-Whitney, ainsi que des résultats de la théorie des statistiques généralisées dues à Sen (1960), pour dériver une estimation de la corrélation entre les AUC qui ne repose pas sur l'hypothèse binormale. En fait, DeLong et al (1988) ont présenté les résultats suivants pour les comparaisons entre les classificateurs .k ≥ $U$$k\ge 2$

Dans la section 3.5.1, nous avons montré que l'aire sous la courbe empirique ROC était égale à la statistique Mann-Whitney et était donnée par$U$

sPi,i=1,…,nPPsNj,j=1,…,nNNks r N j ,j=1…nNs r P i ,j=1,…

$$\widehat{AUC}=\frac{1}{n_N n_P} \sum_{i=1}^{n_N} \sum_{j=1}^{n_P} \left[ I(s_{P_j} > s_{N_i}) + \frac{1}{2}I(s_{P_j} = s_{N_i}) \right]$$ où sont le score des objets de classe et sont les scores des objets de classe dans l'échantillon. Supposons que nous ayons classificateurs, produisant des scores et [J'ai corrigé une erreur d'indexation dans cette partie - Sycorax] et . Définir$s_{P_i}, i = 1, \dots,n_P$$P$$s_{N_j}, j = 1, \dots,n_N$$N$$k$$s^r_{N_j}, j=1\dots n_N$^ A U C r , r = 1 , … , $s_{P_i}^r, j = 1, \dots,n_P$$\widehat{AUC}_r, r = 1, \dots, k$

V r 01 =

$$V^r_{10}=\frac{1}{n_N}\sum_{j=1}^{n_N} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , i=1,\dots,n_P$$ et $$V^r_{01} = \frac{1}{n_P}\sum_{i=1}^{n_P} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , j=1,\dots,n_N$$

ensuite, définissez la matrice avec e élément et la matrice avec e élément Alors la matrice de covariance estimée pour le vecteur des aires estimées sous les courbes est W 10 ( r , s ) w r , s 10 = $k \times k$$\mathbf{W}_{10}$$(r,s)$k×kW01(r,s)w r , s 01 =

$$w_{10}^{r,s} = \frac{1}{n_P - 1}\sum_{i=1}^{n_P} \left[ V_{10}^r(s_{P_i}) - \widehat{AUC}_r \right] \left[ V_{10}^s(s_{P_i}) - \widehat{AUC}_s \right]$$ $k \times k$$\mathbf{W}_{01}$$(r,s)$( ^ A U C 1,…, ^ A U C k)W= $$w_{01}^{r,s} = \frac{1}{n_N - 1}\sum_{i=1}^{n_N} \left[ V_{01}^r(s_{N_i}) - \widehat{AUC}_r \right] \left[ V_{01}^s(s_{N_i}) - \widehat{AUC}_s \right]$$ $(\widehat{AUC}_1, \dots, \widehat{AUC}_k)$ $$\mathbf{W} = \frac{1}{n_P}\mathbf{W}_{10} + \frac{1}{n_N}\mathbf{W}_{01}$$ avec les éléments . Il s'agit d'une généralisation du résultat de la variance estimée d'une AUC estimée unique, également donnée dans la section 3.5.1. Dans le cas de deux classificateurs, la corrélation estimée entre les ASC estimées est donc donnée par qui peut être utilisé dans ci-dessus.$w^{r,s}$$r$$\frac{w^{1,2}}{\sqrt{w^{1,1}w^{2,2}}}$$z$

Puisqu'une autre réponse donne les expressions de Hanley et McNeil pour les estimateurs de la variance AUC, je reproduis ici l'estimateur DeLong à partir de p. 68:

L'approche alternative due à DeLong et al (1988) et illustrée par Pepe (2003) donne peut-être une estimation plus simple, et qui introduit le concept supplémentaire utile d'une valeur de placement. La valeur de placement d'un score par rapport à une population spécifiée est la fonction de survivant de cette population à . Cette valeur de placement pour dans la population N est et pour dans la population P est . Les estimations empiriques des valeurs de placement sont données par les proportions évidentes. Ainsi, la valeur de placement de l'observation dans la population P notée , est la proportion de valeurs d'échantillon de P qui dépassent$s$$s$$s$$1 - F(s)$$s$$1 - G(s)$$s_{N_i}$$s^P_{N_i}$$s_{N_i}$ , et est la variance des valeurs de placement de chaque observation de N par rapport à la population P ...$\text{var}(s_{P_i}^N)$

L'estimation de DeLong et al (1988) de la variance de est donnée en fonction de ces variances: $\widehat{AUC}$

$$s^2(\widehat{AUC}) = \frac{1}{n_P} \text{var}\left(s_{P_i}^N\right) + \frac{1}{n_N}\text{var}\left(s_{N_i}^P\right)$$

Notez que est la fonction de distribution cumulative des scores dans la population N et est la fonction de distribution cumulative des scores dans la population P. Une façon standard d'estimer et est d'utiliser l' ecdf . Le livre fournit également quelques méthodes alternatives aux estimations ecdf, telles que l'estimation de la densité du noyau, mais cela n'entre pas dans le cadre de cette réponse.$F$$G$$F$$G$

Les statistiques et peuvent être supposées être des écarts normaux normaux, et les tests statistiques de l'hypothèse nulle se déroulent de la manière habituelle. (Voir aussi: test d'hypothèse )$Z$$z$

Voici un aperçu simplifié de haut niveau du fonctionnement du test d'hypothèse:

• Tester, selon vos mots, "si un classificateur est significativement meilleur que l'autre" peut être reformulé comme testant l'hypothèse nulle selon laquelle les deux modèles ont des AUC statistiquement égales par rapport à l'hypothèse alternative selon laquelle les statistiques sont inégales.

• Il s'agit d'un test bilatéral.

• Nous rejetons l'hypothèse nulle si la statistique de test se trouve dans la région critique de la distribution de référence, qui est une distribution normale standard dans ce cas.

• La taille de la région critique dépend du niveau du test. Pour un niveau de signification de 95%, la statistique de test tombe dans la région critique si ou . (Ce sont les quantiles et de la distribution normale standard.) Sinon, vous ne parvenez pas à rejeter l'hypothèse nulle et les deux modèles sont statistiquement liés.$\alpha$$z > 1.96$$z < -1.96$$\alpha/2$$1 - \alpha/2$

Question 1 - Sensibilité et spécificité

La stratégie générale pour comparer la sensibilité et la spécificité consiste à observer que ces deux statistiques équivalent à effectuer une inférence statistique sur les proportions, et c'est un problème standard et bien étudié. Plus précisément, la sensibilité est la proportion de la population P qui a un score supérieur à un certain seuil , et de même pour la spécificité par rapport à la population N: $t$

$$\begin{align} \text{sensitivity} = tp &= \mathbb{P}(s_P > t) \\ 1 - \text{specificity} = fp &= \mathbb{P}(s_N > t) \end{align}$$

Le principal point d'achoppement est de développer le test approprié étant donné que les deux proportions d'échantillon seront corrélées (car vous avez appliqué deux modèles aux mêmes données de test). Cette question est abordée à la p. 111.

En ce qui concerne des tests particuliers, plusieurs statistiques récapitulatives se réduisent à des proportions pour chaque courbe, de sorte que des méthodes standard de comparaison des proportions peuvent être utilisées. Par exemple, la valeur de pour fixe est une proportion, tout comme le taux de classification erronée pour le seuil fixe . On peut ainsi comparer des courbes, à l'aide de ces mesures, au moyen de tests standards pour comparer des proportions. Par exemple, dans le cas non apparié, nous pouvons utiliser la statistique de test , où est le véritable taux positif pour la courbe comme point en question, et est le somme des variances de et ...$tp$$fp$$t$$(tp_1 - tp_2) / s_{12}$$tp_i$$i$$s_{12}^2$$tp_1$$tp_2$

Pour le cas apparié, cependant, on peut dériver un ajustement qui permet la covariance entre et , mais une alternative est d'utiliser le test de McNemar pour les proportions corrélées (Marascuilo et McSweeney, 1977).$tp_1$$tp_2$

Le test mcnemar est approprié lorsque vous avez sujets, et chaque sujet est testé deux fois, une fois pour chacun des deux résultats dichotomiques. Compte tenu des définitions de la sensibilité et de la spécificité, il devrait être évident que c'est exactement le test que nous recherchons, puisque vous avez appliqué deux modèles aux mêmes données de test et calculé la sensibilité et la spécificité à un certain seuil.$N$

Le test de McNemar utilise une statistique différente, mais une hypothèse nulle et alternative similaire. Par exemple, compte tenu de la sensibilité , l'hypothèse nulle est que la proportion , et l'alternative est . En réorganisant les proportions pour en faire des nombres bruts , nous pouvons écrire une table de contingence où le nombre de cellules est donné par comptage les vrais positifs et faux négatifs selon chaque modèle$tp_1 = tp_2$$tp_1 \neq tp_2$

$$\begin{array}{c|c|c|} & \text{Model 1 Positive at } t & \text{Model 1 Negative at } t \\ \hline \text{Model 2 Positive at } t & a & b \\ \hline \text{Model 2 Negative at } t & c & d \\ \hline \end{array}$$

$$\begin{align} a &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 > t) \\ b &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 > t) \\ c &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 \le t) \\ d &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 \le t) \\ \end{align}$$

et nous avons la statistique de test qui est distribuée comme une distribution chi carré avec 1 degré de liberté. Avec un niveau , l'hypothèse nulle est rejetée pour .

$$M = \frac{(b-c)^2}{b + c}$$ $\chi^2_1$$\alpha=95\%$$M > 3.841459$

Pour la spécificité , vous pouvez utiliser la même procédure, sauf que vous remplacez le par le .$s^r_{P_i}$$s^r_{N_j}$

question 2

Il semble qu'il suffit de fusionner les résultats en faisant la moyenne des valeurs de prédiction pour chaque répondant, de sorte que pour chaque modèle, vous avez 1 vecteur de 100 valeurs prédites moyennes. Calculez ensuite l'AUC ROC, les statistiques de sensibilité et de spécificité comme d'habitude, comme si les modèles originaux n'existaient pas. Cela reflète une stratégie de modélisation qui traite chacun des modèles des 5 répondants comme faisant partie d'un «comité» de modèles, un peu comme un ensemble.

Permettez-moi de garder la réponse courte, car ce guide explique beaucoup plus et mieux .

Fondamentalement, vous avez votre nombre de vrais postifs ( ) et le nombre de vrais négatifs ( ). Vous avez également votre AUC, A. L'erreur standard de ce A est:$nTP$$nTN$

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

avec et .$Q_1 = A / (2 - A)$$Q_2 = 2A^2 / (1 + A)$

Pour comparer deux AUC, vous devez calculer le SE des deux en utilisant:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

où est une quantité qui représente la corrélation induite entre les deux zones par l'étude du même ensemble de cas. Si vos cas sont différents, alors ; sinon, vous devez le rechercher (tableau 1, page 3 de l'article disponible gratuitement).$r$$r=0$

Étant donné que vous calculez le Score par$z$

$z = (A_1 - A_2) / SE_{A_1-A_2}$

De là, vous pouvez calculer la valeur de p en utilisant la densité de probabilité d'une distribution normale standard. Ou utilisez simplement cette calculatrice.

J'espère que cela répond à la question 1 . - au moins la partie comparant les ASC. Sens / Spec est déjà couvert par le ROC / AUC d'une manière ou d'une autre. Sinon, la réponse, je pense, réside dans la question 2.

Quant à la question 2 , le théorème de limite centrale nous dit que votre statistique récapitulative suivrait une distribution normale. Par conséquent, je pense qu'un simple test t suffirait (5 mesures d'un classificateur contre 5 mesures du deuxième classificateur où les mesures pourraient être AUC, sens, spec)

Edit: formule corrigée pour ( ) … - 2 r $\texttt{SE}$$\ldots - 2r \ldots$

Pour la question 1, @Sycorax a fourni une réponse complète.

Pour la question 2, à ma connaissance, la moyenne des prévisions des sujets est incorrecte. J'ai décidé d'utiliser le bootstrap pour calculer les valeurs de p et comparer les modèles.

Dans ce cas, la procédure est la suivante:

For N iterations:
  sample 5 subjects with replacement
  sample 100 test cases with replacement
  compute mean performance of sampled subjects on sampled cases for model M1
  compute mean performance of sampled subjects on sampled cases for model M2
  take the difference of mean performance between M1 and M2
p-value equals to the proportion of differences smaller or equal than 0

Cette procédure effectue un test unilatéral et suppose que M1 performances moyennes> M2 performances moyennes.

Une implémentation Python du bootstrap pour calculer les valeurs de p comparant plusieurs lecteurs peut être trouvée dans ce dépôt GitHub: https://github.com/mateuszbuda/ml-stat-util