Que vous disent les courbes ROC que l'inférence traditionnelle ne ferait pas?

Quand auriez-vous tendance à utiliser les courbes ROC sur certains autres tests pour déterminer la capacité prédictive d'une mesure sur un résultat?

Lorsqu'il s'agit de résultats discrets (vivants / morts, présents / absents), qu'est-ce qui rend les courbes ROC plus ou moins puissantes que quelque chose comme un chi carré?

La fonction ROC (ce n'est pas nécessairement une courbe) vous permet d'évaluer la capacité de discrimination fournie par un modèle statistique spécifique (composé d'une variable prédictive ou d'un ensemble d'entre eux).

Une considération principale des ROC est que les prédictions du modèle ne découlent pas seulement de la capacité du modèle à discriminer / faire des prédictions sur la base des preuves fournies par les variables prédictives. Il existe également un critère de réponse qui définit la quantité de preuves nécessaires pour que le modèle puisse prédire une réponse et quel est le résultat de ces réponses. La valeur établie pour les critères de réponse influencera grandement les prévisions du modèle et, en fin de compte, le type d'erreurs qu'il fera.

Considérons un modèle générique avec des variables prédictives et des critères de réponse. Ce modèle essaie de prédire la présence de X, en répondant Oui ou Non. Vous avez donc la matrice de confusion suivante:

                                **X present               X absent**
 **Model Predicts X Present**       Hit                   False Alarm

 **Model Predicts X Absent**      Miss                 Correct Rejection

Dans cette matrice, il vous suffit de prendre en compte la proportion de Hits et des fausses alarmes (car les autres peuvent en être dérivées, étant donné qu'elles doivent être de 1 à 1). Pour chaque critère de réponse, vous aurez une matrice de confusion différente. Les erreurs (manques et fausses alarmes) sont liées négativement, ce qui signifie qu'un critère de réponse qui minimise les fausses alarmes maximise les manques et vice-versa. Le message est: il n'y a pas de déjeuner gratuit.

Ainsi, afin de comprendre dans quelle mesure le modèle discrimine les cas / fait des prédictions, indépendamment des critères de réponse établis, vous tracez les taux de succès et de faux produits sur l'ensemble des critères de réponse possibles.

Ce que vous obtenez de ce tracé est la fonction ROC. La zone sous la fonction fournit une mesure non biaisée et non paramétrique de la capacité de discrimination du modèle. Cette mesure est très importante car elle est exempte de toute confusion qui aurait pu être produite par les critères de réponse.

Un deuxième aspect important est qu'en analysant la fonction, on peut définir les critères de réponse les mieux adaptés à vos objectifs. Quels types d'erreurs vous souhaitez éviter et quelles sont les erreurs sont OK. Par exemple, considérons un test VIH: c'est un test qui recherche une sorte de preuve (dans ce cas des anticorps) et fait une discrimination / prédiction basée sur la comparaison des preuves avec le critère de réponse. Ce critère de réponse est généralement défini très bas, afin que vous minimisiez les échecs. Bien sûr, cela entraînera plus de fausses alarmes, qui ont un coût, mais un coût négligeable par rapport aux miss.

Avec les ROC, vous pouvez évaluer la capacité de discrimination de certains modèles, indépendamment des critères de réponse, et également établir les critères de réponse optimaux, compte tenu des besoins et des contraintes de tout ce que vous mesurez. Des tests comme hi-square ne peuvent pas du tout aider à cela, car même si vous testez si les prédictions sont au niveau de chance, de nombreuses paires d'alarmes Hit-False sont cohérentes avec le niveau de chance.

Certains cadres, comme la théorie de la détection du signal, supposent a priori que les preuves disponibles pour la discrimination ont une distribution spécifique (par exemple, la distribution normale ou la distribution gamma). Lorsque ces hypothèses se vérifient (ou sont assez proches), de très bonnes mesures sont disponibles qui vous facilitent la vie.

j'espère que cela vous éclairera sur les avantages des ROC

Une courbe ROC est utilisée lorsque le prédicteur est continu et que le résultat est discret, donc un test du chi carré ne serait pas applicable. En fait, l'analyse ROC est en quelque sorte équivalente au test de Mann-Whitney: l'aire sous la courbe est P (X> Y) qui est la quantité testée par le test MW. Cependant, l'analyse de Mann-Whitney ne met pas l'accent sur la sélection d'un seuil, alors que c'est le point principal de l'analyse ROC. De plus, les courbes ROC sont souvent utilisées comme un simple affichage visuel de la capacité prédictive d'une covariable.

La réponse la plus courte est que les tests traditionnels de détection de signal ne vous donnent qu'un seul point sur le ROC (caractéristique de fonctionnement du récepteur) tandis que la courbe vous permet de voir les réponses à travers une plage de valeurs. Il est possible que les critères et décalent au fur et à mesure que l'on se déplace tout au long de la courbe. C'est comme la différence entre un test t généré en sélectionnant deux classes de variables prédictives et deux lignes de régression générées en examinant les manipulations paramétriques de chaque variable prédictive.

Si vous êtes intéressé par d'autres références, une liste complète d'articles est disponible sur le site Web de KH Zou, Receiver Operating Characteristic (ROC) Literature Research .

Les courbes ROC sont également utilisées lorsque l'on souhaite comparer les performances de différents classificateurs, avec de larges applications dans la recherche biomédicale et la bioinformatique.

À bien des égards, les ROC sont un détournement des principaux outils d'inférence et d'estimation pour les modèles. Je ne vois pas beaucoup de valeur là-bas.