Statistiques et Big Data

12

Meilleurs livres pour une introduction à l'analyse des données statistiques?

Verrouillé . Cette question et ses réponses sont verrouillées car la question est hors sujet mais a une signification historique. Il n'accepte pas actuellement de nouvelles réponses ou interactions. J'ai acheté ce livre: Comment mesurer n'importe quoi: trouver la valeur des actifs incorporels en entreprise et Analyse de données Head …

17 machine-learning bayesian references

4

Test t robuste pour la moyenne

J'essaie de tester la valeur nulle , contre l'alternative locale E [ X ] > 0 , pour une variable aléatoire X , sujette à un biais léger à moyen et à un kurtosis de la variable aléatoire. À la suite des suggestions de Wilcox dans «Introduction to Robust Estimation …

17 hypothesis-testing t-test finance robust

3

Analyse factorielle des questionnaires composés d'éléments Likert

J'avais l'habitude d'analyser des éléments d'un point de vue psychométrique. Mais maintenant, j'essaie d'analyser d'autres types de questions sur la motivation et d'autres sujets. Ces questions sont toutes sur des échelles de Likert. Ma pensée initiale était d'utiliser l'analyse factorielle, car les questions sont supposées refléter certaines dimensions sous-jacentes. Mais …

17 factor-analysis scales psychometrics likert psychology

5

Régression de Poisson avec de grandes données: est-ce mal de changer l'unité de mesure?

En raison de la factorielle dans une distribution de poisson, il devient peu pratique d'estimer les modèles de poisson (par exemple, en utilisant le maximum de vraisemblance) lorsque les observations sont grandes. Ainsi, par exemple, si j'essaie d'estimer un modèle pour expliquer le nombre de suicides dans une année donnée …

17 modeling poisson-distribution large-data

7

Quelle est la façon la plus simple de créer des tracés de qualité publication sous Linux?

Nous pouvons supposer que nous avons un fichier CSV et nous voulons un tracé de ligne très basique avec plusieurs lignes sur un tracé et une légende simple.

17 data-visualization

2

Est-il possible d'automatiser la prévision des séries chronologiques?

Je voudrais construire un algorithme qui serait capable d'analyser n'importe quelle série chronologique et choisir "automatiquement" la meilleure méthode de prévision traditionnelle / statistique (et ses paramètres) pour les données de séries chronologiques analysées. Serait-il possible de faire quelque chose comme ça? Si oui, pouvez-vous me donner quelques conseils sur …

17 time-series forecasting python

2

Si un modèle de série chronologique auto-régressif n'est pas linéaire, a-t-il encore besoin de stationnarité?

Penser à utiliser des réseaux de neurones récurrents pour la prévision de séries chronologiques. Ils implémentent essentiellement une sorte d'auto-régression non linéaire généralisée, par rapport aux modèles ARMA et ARIMA qui utilisent l'auto-régression linéaire. Si nous effectuons une auto-régression non linéaire, est-il toujours nécessaire que les séries chronologiques soient stationnaires …

17 time-series autoregressive nonlinear stationarity

2

Quelqu'un peut-il m'expliquer NUTS en anglais?

Ma compréhension de l'algorithme est la suivante: Aucun échantillonneur de demi-tour (NUTS) est une méthode hamiltonienne de Monte Carlo. Cela signifie qu'il ne s'agit pas d'une méthode de chaîne de Markov et donc, cet algorithme évite la partie de marche aléatoire, qui est souvent considérée comme inefficace et lente à …

17 bayesian monte-carlo markov-process

1

PCA robuste vs distance Mahalanobis robuste pour la détection des valeurs aberrantes

L'ACP robuste (telle que développée par Candes et al 2009 ou mieux encore Netrepalli et al 2014 ) est une méthode populaire pour la détection des valeurs aberrantes multivariées , mais la distance de Mahalanobis peut également être utilisée pour la détection des valeurs aberrantes étant donné une estimation robuste …

17 pca outliers covariance-matrix robust anomaly-detection

3

Inférence après avoir utilisé Lasso pour la sélection de variables

J'utilise Lasso pour la sélection d'entités dans un cadre dimensionnel relativement bas (n >> p). Après avoir ajusté un modèle Lasso, je veux utiliser les covariables avec des coefficients non nuls pour ajuster un modèle sans pénalité. Je fais cela parce que je veux des estimations impartiales que Lasso ne …

17 regression feature-selection lasso unbiased-estimator

3

Différence entre les échantillons, les pas de temps et les caractéristiques du réseau neuronal

Je passe par le blog suivant sur le réseau de neurones LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ L'auteur remodèle le vecteur d'entrée X en [échantillons, pas de temps, caractéristiques] pour différentes configurations de LSTM. L'auteur écrit En effet, les séquences de lettres sont des pas de temps d'une caractéristique plutôt qu'un pas de temps …

17 neural-networks lstm rnn tensorflow tensor

3

Comment obtenir des hyper paramètres dans la validation croisée imbriquée?

J'ai lu les articles suivants pour la validation croisée imbriquée et je ne suis toujours pas sûr à 100% de ce que je dois faire avec la sélection de modèle avec la validation croisée imbriquée: Validation croisée imbriquée pour la sélection du modèle Sélection de modèle et validation croisée: la …

17 cross-validation scikit-learn hyperparameter

3

Quels algorithmes nécessitent une mise à l'échelle des fonctionnalités, à côté de SVM?

Je travaille avec de nombreux algorithmes: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear et rbf), KNN, LDA et XGBoost. Tous étaient assez rapides à l'exception de SVM. C'est à ce moment que j'ai appris qu'il avait besoin d'une mise à l'échelle des fonctionnalités pour fonctionner plus rapidement. Ensuite, j'ai commencé …

17 machine-learning svm random-forest naive-bayes xgboost

1

Comment construire le modèle final et ajuster le seuil de probabilité après une validation croisée imbriquée?

Tout d'abord, des excuses pour avoir posté une question qui a déjà été longuement discutée ici , ici , ici , ici , iciet pour réchauffer un vieux sujet. Je sais que @DikranMarsupial a longuement écrit sur ce sujet dans des articles et des journaux, mais je suis toujours confus, …

17 machine-learning cross-validation model-selection glmnet hyperparameter

3

La validation croisée est-elle suffisante pour éviter le sur-ajustement?

Si j'ai des données et que j'exécute une classification (disons forêt aléatoire sur ces données) avec validation croisée (disons 5 fois), pourrais-je conclure qu'il n'y a pas de sur-ajustement dans ma méthode?

17 cross-validation overfitting