Statistiques et Big Data predictive-models

2

La prédiction est-elle le «critère d'or» pour juger de la capacité des statisticiens?

Je lisais les modèles linéaires de manuels de Faraway avec R (1ère édition) le week-end dernier. Loin avait un chapitre intitulé "Stratégie statistique et incertitude du modèle". Il a décrit (page 158) qu'il avait généré artificiellement des données à l'aide d'un modèle très compliqué, puis il a demandé à ses …

13 predictive-models modeling interpretation

1

Lors de la construction d'un modèle de régression à l'aide d'ensembles de modélisation / validation distincts, est-il approprié de «recirculer» les données de validation?

Supposons que j'ai un partage 80/20 entre les observations de modélisation / validation. J'ai ajusté un modèle à l'ensemble de données de modélisation et je suis à l'aise avec l'erreur que je vois sur l'ensemble de données de validation. Avant de déployer mon modèle pour noter les observations futures, est-il …

13 regression predictive-models validation

2

Quand enregistrer / développer vos variables lors de l'utilisation de modèles de forêt aléatoires?

Je fais une régression en utilisant des forêts aléatoires pour prédire les prix en fonction de plusieurs attributs. Le code est écrit en Python à l'aide de Scikit-learn. Comment décidez-vous si vous devez transformer vos variables en utilisant exp/ logavant de l'utiliser pour l'adapter au modèle de régression? Est-il nécessaire …

13 regression machine-learning predictive-models python random-forest

2

Ensachage avec suréchantillonnage pour les modèles prédictifs d'événements rares

Est-ce que quelqu'un sait si ce qui suit a été décrit et (de toute façon) si cela ressemble à une méthode plausible pour apprendre un modèle prédictif avec une variable cible très déséquilibrée? Souvent dans les applications CRM de data mining, nous chercherons un modèle où l'événement positif (succès) est …

13 data-mining predictive-models

2

Pourquoi le seuil P> 0,5 n'est pas «optimal» pour la régression logistique?

PRÉFACE: Je ne me soucie pas des avantages d'utiliser ou non un seuil, ni de la façon de choisir un seuil. Ma question est purement mathématique et due à la curiosité. La régression logistique modélise la probabilité conditionnelle postérieure de la classe A par rapport à la classe B et …

13 logistic predictive-models unbalanced-classes

2

Prédiction de régression quantile

Je suis intéressé à utiliser la régression quantile pour certains de mes modèles, mais j'aimerais avoir des clarifications sur ce que je peux réaliser en utilisant cette méthodologie. Je comprends que je peux obtenir une analyse plus robuste de la relation IV / DV , en particulier face aux valeurs …

13 predictive-models quantile-regression

2

Qu'est-ce que le retrait?

Le mot rétrécissement est souvent utilisé dans certains cercles. Mais ce qui est rétrécissement, il ne semble pas y avoir de définition claire. Si j'ai une série chronologique (ou toute collection d'observations d'un processus), quelles sont les différentes façons de mesurer un certain type de rétrécissement empirique sur la série? …

13 estimation predictive-models shrinkage

2

Comment choisir la largeur optimale du bac tout en calibrant les modèles de probabilité?

Contexte: Il y a ici d'excellentes questions / réponses sur la façon d'étalonner les modèles qui prédisent les probabilités qu'un résultat se produise. Par exemple Le score de Brier et sa décomposition en résolution, incertitude et fiabilité . Tracés d'étalonnage et régression isotonique . Ces méthodes nécessitent souvent l'utilisation d'une …

12 probability predictive-models binary-data calibration scoring-rules

1

Test d'adéquation en régression logistique; quel «ajustement» voulons-nous tester?

Je fais référence à la question et à ses réponses: comment comparer la capacité prédictive (probabilité) des modèles développés à partir de la régression logistique? par @Clark Chong et réponses / commentaires par @Frank Harrell. et à la question Degrés de liberté de dans le test de Hosmer-Lemeshowχ2χ2\chi^2 et les …

12 hypothesis-testing logistic predictive-models regression-strategies hosmer-lemeshow-test

1

Existe-t-il un problème avec la multicolinéarité et la régression des splines?

Lors de l'utilisation de splines cubiques naturelles (c'est-à-dire restreintes), les fonctions de base créées sont hautement colinéaires et, lorsqu'elles sont utilisées dans une régression, semblent produire des statistiques VIF (facteur d'inflation de variance) très élevées, signalant la multicolinéarité. Lorsque l'on considère le cas d'un modèle à des fins de prédiction, …

12 multiple-regression generalized-linear-model predictive-models multicollinearity splines

1

Différences entre PROC Mixed et lme / lmer en R - degrés de liberté

Remarque: cette question est une rediffusion, car ma question précédente a dû être supprimée pour des raisons juridiques. En comparant PROC MIXED de SAS avec la fonction lmedu nlmepackage dans R, je suis tombé sur des différences assez confuses. Plus précisément, les degrés de liberté dans les différents tests diffèrent …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

2

Une ingénierie des fonctionnalités indépendante du domaine qui conserve une signification sémantique?

L'ingénierie des fonctionnalités est souvent un élément important de l'apprentissage automatique (elle a été largement utilisée pour remporter la Coupe KDD en 2010 ). Cependant, je trouve que la plupart des techniques d'ingénierie des fonctionnalités détruire toute signification intuitive des caractéristiques sous-jacentes ou sont très spécifiques à un domaine particulier …

12 predictive-models feature-selection feature-construction

2

Prédire plusieurs cibles ou classes?

Supposons que je construis un modèle prédictif où j'essaie de prédire plusieurs événements (par exemple, le lancer d'un dé et le tirage au sort d'une pièce). La plupart des algorithmes que je connais ne fonctionnent qu'avec une seule cible, alors je me demande s'il existe une approche standard pour ce …

12 machine-learning classification predictive-models multi-class

2

SVM, interaction variable et ajustement des données de formation

J'ai 2 questions générales / plus théoriques. 1) Je suis curieux de savoir comment les SVM gèrent les interactions variables lors de la construction de modèles prédictifs. Par exemple, si j'ai deux fonctionnalités f1 et f2 et que la cible dépend de f1, f2 et disons f1 * f2 (ou …

12 machine-learning predictive-models svm interaction

1

Déterminer la précision du modèle qui estime la probabilité d'un événement

Je modélise un événement avec deux résultats, a et b. J'ai créé un modèle qui estime la probabilité que a ou b se produise (c'est-à-dire que le modèle calculera que a se produira avec 40% de chance et b se produira avec 60% de chance). J'ai un grand dossier de …

12 predictive-models scoring-rules

Questions marquées «predictive-models»