Statistiques et Big Data predictive-models

5

L'analyse exploratoire des données est-elle importante lors de la modélisation purement prédictive?

Lors de la construction d'un modèle prédictif à l'aide de techniques d'apprentissage automatique, quel est l'intérêt de faire une analyse exploratoire des données (EDA)? Est-il correct de passer directement à la génération de fonctionnalités et à la construction de votre (vos) modèle (s)? Quelle est l'importance des statistiques descriptives utilisées …

23 machine-learning predictive-models descriptive-statistics eda

1

Explication de ce que Nate Silver a dit au sujet du loess

Dans une question que j'ai posée récemment , on m'a dit que c'était un grand "non-non" d'extrapoler avec du lœss. Mais, dans le dernier article de Nate Silver sur FiveThirtyEight.com, il a discuté de l'utilisation du loess pour faire des prédictions électorales. Il discutait des spécificités des prévisions agressives par …

23 time-series forecasting predictive-models loess politics

3

Visualisation de l'étalonnage de la probabilité prédite d'un modèle

Supposons que j'ai un modèle prédictif qui produit, pour chaque instance, une probabilité pour chaque classe. Je reconnais maintenant qu'il existe de nombreuses façons d'évaluer un tel modèle si je veux utiliser ces probabilités pour la classification (précision, rappel, etc.). Je reconnais également qu'une courbe ROC et l'aire sous-jacente peuvent …

23 data-visualization classification predictive-models binary-data calibration

3

Sites pour les compétitions de modélisation prédictive

Je participe à des compétitions de modélisation prédictive sur Kaggle , TunedIt et CrowdAnalytix . Je trouve que ces sites sont un bon moyen de "travailler" pour les statistiques / l'apprentissage automatique. Y a-t-il d'autres sites que je devrais connaître? Que pensez-vous tous des compétitions où l'hôte a l'intention de …

23 machine-learning predictive-models

2

Modèles génératifs vs discriminants (dans le contexte bayésien)

Quelles sont les différences entre les modèles génératifs et discriminants (discriminants) (dans le contexte de l'apprentissage et de l'inférence bayésienne)? et qu'est-ce qui concerne la prédiction, la théorie de la décision ou l'apprentissage sans supervision?

22 bayesian predictive-models unsupervised-learning

3

Comment prédire les résultats avec seulement des cas positifs comme formation?

Par souci de simplicité, disons que je travaille sur l'exemple classique des e-mails spam / non-spam. J'ai un ensemble de 20000 e-mails. Parmi ceux-ci, je sais que 2000 sont du spam, mais je n'ai aucun exemple d'e-mails non-spam. Je voudrais prédire si les 18 000 restants sont du spam ou …

21 machine-learning predictive-models unsupervised-learning supervised-learning semi-supervised

2

Techniques d'augmentation des données pour les ensembles de données générales?

Dans de nombreuses applications d'apprentissage automatique, les méthodes dites d'augmentation des données ont permis de construire de meilleurs modèles. Par exemple, supposons un ensemble de formation de images de chats et de chiens. En tournant, en miroir, en ajustant le contraste, etc., il est possible de générer des images supplémentaires …

21 machine-learning predictive-models dataset independence data-augmentation

2

Fonction «Intérêt» pour les questions StackExchange

J'essaie de mettre en place un package d'exploration de données pour les sites StackExchange et en particulier, je suis coincé en essayant de déterminer les questions "les plus intéressantes". Je voudrais utiliser le score de la question, mais supprimer le biais dû au nombre de vues, mais je ne sais …

20 data-mining predictive-models

2

Pensée bayésienne sur le sur-ajustement

J'ai consacré beaucoup de temps au développement de méthodes et de logiciels pour valider des modèles prédictifs dans le domaine statistique fréquentiste traditionnel. En mettant davantage d'idées bayésiennes en pratique et en enseignant, je vois certaines différences clés à adopter. Premièrement, la modélisation prédictive bayésienne demande à l'analyste de réfléchir …

20 bayesian cross-validation predictive-models validation regression-strategies

2

Boosting: pourquoi le taux d'apprentissage est-il appelé paramètre de régularisation?

Le paramètre de taux d'apprentissage ( ) dans Gradient Boosting réduit la contribution de chaque nouveau modèle de base - généralement un arbre peu profond - qui est ajouté dans la série. Il s'est avéré augmenter considérablement la précision de l'ensemble de test, ce qui est compréhensible car avec des …

19 machine-learning data-mining predictive-models boosting overfitting

1

Modélisation prédictive - Faut-il se soucier de la modélisation mixte?

Pour la modélisation prédictive, devons-nous nous préoccuper de concepts statistiques tels que les effets aléatoires et la non indépendance des observations (mesures répétées)? Par exemple.... J'ai des données de 5 campagnes de publipostage (survenues au cours d'une année) avec divers attributs et un drapeau à acheter. Idéalement, j'utiliserais toutes ces …

19 machine-learning predictive-models repeated-measures assumptions

2

Comment prédire quand le prochain événement se produit, en fonction des heures des événements précédents?

Je suis un lycéen et je travaille sur un projet de programmation informatique, mais je n'ai pas beaucoup d'expérience en statistique et en modélisation de données au-delà d'un cours de statistique au lycée donc je suis un peu confus. Fondamentalement, j'ai une liste raisonnablement longue (supposons qu'elle soit suffisamment grande …

19 probability modeling data-mining predictive-models

4

Déterminer la meilleure fonction d'ajustement de courbe d'ajustement à partir de fonctions linéaires, exponentielles et logarithmiques

Le contexte: À partir d'une question sur Mathematics Stack Exchange (Puis-je créer un programme) , quelqu'un a un ensemble de points et veut y adapter une courbe, linéaire, exponentielle ou logarithmique. La méthode habituelle consiste à commencer par choisir l'un d'entre eux (qui spécifie le modèle), puis à effectuer les …

18 regression predictive-models model-selection curve-fitting

3

Obtention d'une formule pour les limites de prédiction dans un modèle linéaire (ie: intervalles de prédiction)

Prenons l'exemple suivant: set.seed(342) x1 <- runif(100) x2 <- runif(100) y <- x1+x2 + 2*x1*x2 + rnorm(100) fit <- lm(y~x1*x2) Cela crée un modèle de y basé sur x1 et x2, en utilisant une régression OLS. Si nous souhaitons prédire y pour un x_vec donné, nous pourrions simplement utiliser la …

18 r regression predictive-models prediction-interval

1

Stepwise AIC - Existe-t-il une controverse autour de ce sujet?

J'ai lu d'innombrables articles sur ce site qui sont incroyablement contre l'utilisation de la sélection pas à pas de variables en utilisant n'importe quel type de critère, qu'il s'agisse de valeurs p, AIC, BIC, etc. Je comprends pourquoi ces procédures sont en général assez médiocres pour la sélection des variables. …

17 forecasting predictive-models arima aic stepwise-regression

Questions marquées «predictive-models»