Statistiques et Big Data calibration

3

Visualisation de l'étalonnage de la probabilité prédite d'un modèle

Supposons que j'ai un modèle prédictif qui produit, pour chaque instance, une probabilité pour chaque classe. Je reconnais maintenant qu'il existe de nombreuses façons d'évaluer un tel modèle si je veux utiliser ces probabilités pour la classification (précision, rappel, etc.). Je reconnais également qu'une courbe ROC et l'aire sous-jacente peuvent …

23 data-visualization classification predictive-models binary-data calibration

2

Pourquoi utiliser la mise à l'échelle de Platt?

Afin d'étalonner un niveau de confiance à une probabilité dans un apprentissage supervisé (par exemple, pour mapper la confiance d'un SVM ou d'un arbre de décision à l'aide de données suréchantillonnées), une méthode consiste à utiliser la mise à l'échelle de Platt (par exemple, obtenir des probabilités calibrées à partir …

17 logistic cross-validation calibration

1

Mise en commun des tracés d'étalonnage après imputation multiple

Je voudrais des conseils sur la mise en commun des tracés / statistiques d'étalonnage après imputation multiple. Dans le cadre du développement de modèles statistiques afin de prédire un événement futur (par exemple en utilisant les données des dossiers hospitaliers pour prédire la survie ou les événements après la sortie …

15 data-visualization data-imputation multiple-imputation pooling calibration

2

Scikit bonne façon d'étalonner les classificateurs avec CalibratedClassifierCV

Scikit a CalibratedClassifierCV , qui nous permet d'étalonner nos modèles sur une paire X, y particulière. Il indique également clairement quedata for fitting the classifier and for calibrating it must be disjoint. S'ils doivent être disjoints, est-il légitime de former le classificateur avec les éléments suivants? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, …

14 cross-validation scikit-learn validation train calibration

2

Comment choisir la largeur optimale du bac tout en calibrant les modèles de probabilité?

Contexte: Il y a ici d'excellentes questions / réponses sur la façon d'étalonner les modèles qui prédisent les probabilités qu'un résultat se produise. Par exemple Le score de Brier et sa décomposition en résolution, incertitude et fiabilité . Tracés d'étalonnage et régression isotonique . Ces méthodes nécessitent souvent l'utilisation d'une …

12 probability predictive-models binary-data calibration scoring-rules

3

Comment choisir la meilleure métrique pour mesurer mon étalonnage?

Je programme et fais du développement piloté par les tests. Après avoir modifié mon code, je lance mes tests. Parfois, ils réussissent et parfois ils échouent. Avant d'exécuter un test, j'écris un nombre de 0,01 à 0,99 pour ma certitude que le test réussira. Je veux savoir si je m'améliore …

10 forecasting decision-theory calibration scoring-rules

2

Pourquoi la régression logistique est-elle bien calibrée et comment ruiner sa calibration?

Dans le scikit, apprendre des documents sur l'étalonnage des probabilités, ils comparent la régression logistique avec d'autres méthodes et remarquent que la forêt aléatoire est moins bien étalonnée que la régression logistique. Pourquoi la régression logistique est-elle bien calibrée? Comment pourrait-on ruiner l'étalonnage d'une régression logistique (pas que l'on voudrait …

9 regression logistic calibration

1

Comment estimer une courbe d'étalonnage avec bootstrap (R)

Question : J'ai adapté un modèle probabiliste (réseau bayésien) pour modéliser une variable de résultat binaire. Je voudrais créer un tracé d'étalonnage haute résolution (par exemple spline) corrigé pour le sur-ajustement avec bootstrapping. Existe-t-il une procédure standard pour calculer une telle courbe? Considérations : je pourrais le faire facilement avec …

9 bootstrap splines regression-strategies calibration

Questions marquées «calibration»