Mesures d'erreur pour les modèles de Poisson à validation croisée

Je suis en train de valider un modèle qui essaie de prédire un nombre. S'il s'agissait d'un problème de classification binaire, je calculerais l'ASC hors pli, et s'il s'agissait d'un problème de régression, je calculerais le RMSE ou MAE hors pli.

Pour un modèle de Poisson, quelles mesures d'erreur puis-je utiliser pour évaluer la «précision» des prédictions hors échantillon? Existe-t-il une extension de Poisson de l'ASC qui examine dans quelle mesure les prédictions ordonnent les valeurs réelles?

Il semble que de nombreuses compétitions Kaggle pour les décomptes (par exemple, le nombre de votes utiles qu'un examen de yelp obtiendra, ou le nombre de jours qu'un patient passera à l'hôpital) utilisent l'erreur quadratique moyenne du journal, ou RMLSE.

/ Edit: Une chose que j'ai faite est de calculer les déciles des valeurs prédites, puis de regarder les nombres réels, regroupés par décile. Si le décile 1 est bas, le décile 10 est élevé et que les déciles intermédiaires augmentent strictement, j'ai appelé le modèle "bon", mais j'ai eu du mal à quantifier ce processus, et je suis convaincu qu'il y a un meilleur approche.

/ Edit 2: Je recherche une formule qui prend les valeurs prévues et réelles et renvoie une métrique "erreur" ou "précision". Mon plan est de calculer cette fonction sur les données hors pli lors de la validation croisée, puis de l'utiliser pour comparer une grande variété de modèles (par exemple une régression de poisson, une forêt aléatoire et un GBM ).

Par exemple, une de ces fonctions est RMSE = sqrt(mean((predicted-actual)^2)). Une telle fonction serait AUC . Aucune de ces fonctions ne semble convenir aux données de poisson.

Il existe quelques règles de notation correctes et strictement correctes pour les données de comptage que vous pouvez utiliser. Les règles de notation sont des pénalités introduites, P étant la distribution prédictive et y la valeur observée. Ils ont un certain nombre de propriétés souhaitables, d'abord et avant tout qu'une prévision qui est plus proche de la vraie probabilité recevra toujours moins de pénalité et qu'il y a une meilleure prévision (unique) et que c'est lorsque la probabilité prédite coïncide avec la vraie probabilité. Ainsi, minimiser l'espérance de s ( y , P ) signifie rapporter les vrais probabilités. Voir aussi Wikipedia .$s(y,P)$$P$$y$$s(y,P)$

Souvent, on prend une moyenne de celles sur toutes les valeurs prédites comme

$S=\frac{1}{n}\sum_{i=1}^n s(y^{(i)},P^{(i)})$

La règle à prendre dépend de votre objectif, mais je donnerai une caractérisation approximative lorsque chacun est bon à utiliser.

$f(y)$$\Pr(Y=y)$$F(y)$$\sum_k$$0,1,\dots, \infty$$I$$\mu$$\sigma$

Règles de notation strictement appropriées

• Score de Brier : (stable pour le déséquilibre de taille dans les prédicteurs catégoriels)$s(y,P)=-2 f(y) + \sum_k f^2(k)$
• Score de Dawid-Sebastiani : (bon pour le choix général du modèle prédictif; stable pour le déséquilibre de taille dans les prédicteurs catégoriques)$s(y,P)=(\frac{y-\mu}{\sigma})^2+2\log\sigma$
• Score de déviance : ( est un terme de normalisation qui ne dépend que de , dans les modèles de Poisson, il est généralement considéré comme la déviance saturée; bon pour une utilisation avec des estimations à partir de un cadre ML)$s(y,P)=-2\log f(y) + g_y$$g_y$$y$
• Score logarithmique : (très facilement calculé; stable pour le déséquilibre de taille dans les prédicteurs catégoriques)$s(y,P)=-\log f(y)$
• Score de probabilité classé : (bon pour contraster différentes prédictions de comptes très élevés; sensible au déséquilibre de taille dans les prédicteurs catégoriques)$s(y,P)=\sum_k \{F(k)-I(y\leq k)\}^2$
• Score sphérique : (stable pour le déséquilibre de taille dans les prédicteurs catégoriels)$s(y,P)=\frac{f(y)}{\sqrt{\sum_k f^2(k)}}$

Autres règles de notation (moins appropriées mais souvent utilisées)

• Score d'erreur absolu :(pas bon)$s(y,P)=|y-\mu|$
• Score d'erreur quadratique : (pas strictement approprié; sensible aux valeurs aberrantes; sensible au déséquilibre de taille dans les prédicteurs catégoriques)$s(y,P)=(y-\mu)^2$
• Score d'erreur quadratique normalisé de Pearson : (pas strictement approprié; sensible aux valeurs aberrantes; peut être utilisé pour vérifier si le modèle vérifie si le score moyen est très différent de 1; stable pour le déséquilibre de taille dans les prédicteurs catégoriels)$s(y,P)=(\frac{y-\mu}{\sigma})^2$

Exemple de code R pour les règles strictement appropriées:

library(vcdExtra)
m1 <- glm(Freq ~ mental, family=poisson, data=Mental) 

# scores for the first observation
mu <- predict(m1, type="response")[1]
x  <- Mental$Freq[1]

# logarithmic (equivalent to deviance score up to a constant) 
-log(dpois(x, lambda=mu))

# quadratic (brier)
-2*dpois(x,lambda=mu) + sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) })

# spherical
- dpois(x,mu) / sqrt(sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) }))

# ranked probability score
sum(ppois((-1):(x-1), mu)^2) + sum((ppois(x:10000,mu)-1)^2)

# Dawid Sebastiani
(x-mu)^2/mu + log(mu)