Statistiques et Big Data model-evaluation

1

Évaluer les performances d'un modèle de régression en utilisant des ensembles de formation et de test?

J'entends souvent parler de l'évaluation des performances d'un modèle de classification en présentant l'ensemble de test et en entraînant un modèle sur l'ensemble de formation. Puis création de 2 vecteurs, un pour les valeurs prédites et un pour les vraies valeurs. Évidemment, faire une comparaison permet de juger des performances …

10 regression machine-learning model-evaluation

1

Comment intégrer une valeur aberrante innovante à l'observation 48 dans mon modèle ARIMA?

Je travaille sur un ensemble de données. Après avoir utilisé certaines techniques d'identification de modèle, je suis sorti avec un modèle ARIMA (0,2,1). J'ai utilisé la detectIOfonction dans le package TSAen R pour détecter une valeur aberrante innovante (IO) à la 48e observation de mon ensemble de données d'origine. Comment …

10 r time-series arima outliers hypergeometric fishers-exact r time-series intraclass-correlation r logistic glmm clogit mixed-model spss repeated-measures ancova machine-learning python scikit-learn distributions data-transformation stochastic-processes web standard-deviation r machine-learning spatial similarities spatio-temporal binomial sparse poisson-process r regression nonparametric r regression logistic simulation power-analysis r svm random-forest anova repeated-measures manova regression statistical-significance cross-validation group-differences model-comparison r spatial model-evaluation parallel-computing generalized-least-squares r stata fitting mixture hypothesis-testing categorical-data hypothesis-testing anova statistical-significance repeated-measures likert wilcoxon-mann-whitney boxplot statistical-significance confidence-interval forecasting prediction-interval regression categorical-data stata least-squares experiment-design skewness reliability cronbachs-alpha r regression splines maximum-likelihood modeling likelihood-ratio profile-likelihood nested-models

3

Comment comparer l'exactitude de deux modèles différents en utilisant la signification statistique

Je travaille sur la prédiction de séries chronologiques. J'ai deux ensembles de données et . J'ai trois modèles de prédiction: . Tous ces modèles sont entraînés à l'aide d'échantillons dans l'ensemble de données , et leurs performances sont mesurées à l'aide des échantillons dans l'ensemble de données . Disons que …

10 time-series machine-learning statistical-significance classification model-evaluation

3

Approches lors de l'apprentissage à partir d'énormes ensembles de données?

Fondamentalement, il existe deux façons courantes d'apprendre contre d'énormes ensembles de données (lorsque vous êtes confronté à des restrictions de temps / d'espace): Tricher :) - utilisez juste un sous-ensemble "gérable" pour la formation. La perte de précision peut être négligeable en raison de la loi des rendements décroissants - …

10 machine-learning large-data model-evaluation train

3

Meilleure façon d'évaluer les méthodes d'estimation PDF

Je souhaite tester certaines de mes idées qui me semblent meilleures que tout ce que j'ai vu. Je peux me tromper mais je voudrais tester mes idées et vaincre mes doutes par des observations plus certaines. Ce que j'ai pensé faire, c'est ce qui suit: Définissez analytiquement un ensemble de …

10 hypothesis-testing estimation pdf kernel-smoothing model-evaluation

1

Le biais est-il le même que le sous-ajustement et la variance est-il le même que le sur-ajustement?

Cela pourrait être une question fondamentale: quelle est la différence entre le biais et le sous-ajustement? Et, par analogie, quelle est la différence entre la variance et le sur-ajustement? Les termes de chaque paire signifient-ils la même chose? Sinon, quelle est la différence?

10 variance bias overfitting model-evaluation

1

Évaluation des performances de prédiction de séries chronologiques

J'ai un modèle dynamique de Naive Bayes formé sur quelques variables temporelles. La sortie du modèle est la prédiction de P(Event) @ t+1, estimée à chacun t. L'intrigue de P(Event)versus timeest indiquée dans la figure ci-dessous. Dans cette figure, la ligne noire représente P(Event)comme prévu par mon modèle; la ligne …

9 time-series probability prediction model-comparison model-evaluation

2

Mesure de performance du classificateur qui combine sensibilité et spécificité?

J'ai des données étiquetées à 2 classes sur lesquelles j'effectue une classification à l'aide de plusieurs classificateurs. Et les ensembles de données sont bien équilibrés. Lors de l'évaluation des performances des classificateurs, je dois prendre en compte la précision du classificateur pour déterminer non seulement les vrais positifs, mais aussi …

9 classification roc model-evaluation sensitivity-specificity

5

Comment mesurer les performances d'un classificateur lorsque près de 100% des étiquettes de classe appartiennent à une classe?

Dans mes données, j'ai une variable de classe, notée . Les valeurs de cette variable de classe sont 0 , 1 (binaire). Presque toutes les observations de C sont 0 (près de 100%, plus précisément 97%). Je souhaiterais un test de "performance" sur différents modèles de classification (ce pourrait être …

9 classification binary-data model-evaluation

2

Apprentissage incrémental pour le modèle de série chronologique LOESS

Je travaille actuellement sur certaines données de séries chronologiques, je sais que je peux utiliser le modèle LOESS / ARIMA. Les données sont écrites dans un vecteur dont la longueur est de 1000, qui est une file d'attente, mise à jour toutes les 15 minutes, Ainsi, les anciennes données apparaîtront …

9 time-series model-evaluation

4

Évaluation d'un modèle de régression

Pour les problèmes de classification, j'ai utilisé des réseaux de neurones et mesuré les erreurs de type I et II en utilisant la matrice de confusion et ses mesures selon cette ressource ( miroir ), ce qui est assez simple. Face à un problème d'estimation, comment évaluer les performances du …

9 regression machine-learning estimation model-evaluation

1

Existe-t-il un nom accepté pour cette mesure d'erreur?

Je suis tombé sur une mesure d'erreur utilisée pour quantifier l'erreur de reconstruction d'un modèle: ε =∑je(yje-mje)2∑je(yje-y¯)2ε=∑i(yi−mi)2∑i(yi−y¯)2 \varepsilon = \frac{\sum_i{\left(y_i-m_i\right)^2}}{\sum_i{\left(y_i-\bar{y}\right)^2}} où yjeyiy_i est le jeiie point de données, mjemim_i est l'estimation du modèle de la jeiie point de données, et y¯y¯\bar{y}est la moyenne de tous les points de données. Le …

8 terminology error model-evaluation

4

Précision moyenne dans la détection d'objets

Je suis assez confus quant à la façon de calculer les valeurs AP ou mAP car il semble y avoir plusieurs méthodes différentes. Je veux spécifiquement obtenir les valeurs AP / mAP pour la détection d'objets. Tout ce que je sais, c'est: Rappel = TP / (TP + FN), précision …

8 machine-learning precision-recall model-evaluation average-precision object-detection

Questions marquées «model-evaluation»