Statistiques et Big Data

6

Pourquoi devrions-nous mélanger les données lors de la formation d'un réseau neuronal?

Dans la formation en mini-lots d'un réseau de neurones, j'ai entendu qu'une pratique importante est de mélanger les données d'entraînement avant chaque époque. Quelqu'un peut-il expliquer pourquoi le brassage à chaque époque aide? De la recherche google, j'ai trouvé les réponses suivantes: il aide la formation à converger rapidement il …

15 neural-networks

2

Comment expliqueriez-vous la fonction de génération de moment (MGF) en termes simples?

Qu'est-ce qu'une fonction de génération de moment (MGF)? Pouvez-vous l'expliquer en termes simples et avec un exemple simple et facile? Veuillez limiter autant que possible les notations mathématiques formelles.

15 moments intuition mgf

1

Pourquoi est-il important d'inclure un terme de correction de biais pour l'optimiseur Adam pour l'apprentissage en profondeur?

Je lisais sur l' optimiseur Adam pour le Deep Learning et suis tombé sur la phrase suivante dans le nouveau livre Deep Learning de Begnio, Goodfellow et Courtville: Adam inclut des corrections de biais dans les estimations des moments du premier ordre (le terme de momentum) et des moments du …

15 machine-learning neural-networks optimization conv-neural-network adam

2

Différence entre la sélection d'entités basée sur la «régression F» et basée sur les valeurs ?

La comparaison d'entités utilise-t-elle F-regressionla même chose que la corrélation individuelle d'entités avec l'étiquette et l'observation de la valeur ?R2R2R^2 J'ai souvent vu mes collègues utiliser une F regressionsélection de fonctionnalités dans leur pipeline d'apprentissage automatique à partir de sklearn: sklearn.feature_selection.SelectKBest(score_func=sklearn.feature_selection.f_regression...)` Certains me disent s'il vous plaît - pourquoi cela …

15 feature-selection python scikit-learn r-squared f-test

1

La malédiction dimensionnelle affecte-t-elle certains modèles plus que d'autres?

Les endroits que j'ai lus sur la malédiction de la dimensionnalité l'expliquent conjointement avec kNN principalement et les modèles linéaires en général. Je vois régulièrement les meilleurs classeurs de Kaggle utiliser des milliers d'entités sur un ensemble de données qui ne contient pratiquement pas 100 000 points de données. Ils …

15 neural-networks svm k-means k-nearest-neighbour high-dimensional

1

Qu'est-ce que la dimension VC nous apprend sur l'apprentissage profond?

Dans l'apprentissage automatique de base, nous apprenons les «règles de base» suivantes: a) la taille de vos données doit être au moins 10 fois supérieure à la dimension VC de votre ensemble d'hypothèses. b) un réseau neuronal avec N connexions a une dimension VC d'environ N. Ainsi, lorsqu'un réseau neuronal …

15 machine-learning neural-networks deep-learning vc-dimension

2

Pourquoi lrtest () ne correspond pas à anova (test = “LRT”)

Je cherchais des moyens de faire un test de rapport de vraisemblance en R pour comparer les ajustements du modèle. Je l'ai d'abord codé moi-même, puis j'ai trouvé la anova()fonction par défaut et également lrtest()dans le lmtestpackage. Cependant, lorsque j'ai vérifié, anova()produit toujours une valeur de p légèrement différente des …

15 r anova likelihood-ratio

1

La régression logistique glmnet peut-elle gérer directement les variables factorielles (catégorielles) sans avoir besoin de variables fictives? [fermé]

Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 3 ans . Je construis une régression logistique en R en utilisant la méthode …

15 r logistic categorical-data lasso glmnet

1

Relation entre la distribution gamma et khi carré

Si où , c'est-à-dire que tous les sont iid des variables aléatoires normales de zéro moyenne avec les mêmes variances, puisY=∑i=1NX2iY=∑i=1NXi2Y=\sum_{i=1}^{N}X_i^2Xi∼N(0,σ2)Xi∼N(0,σ2)X_i \sim \mathcal{N}(0,\sigma^2)XiXiX_iY∼Γ(N2,2σ2).Y∼Γ(N2,2σ2).Y \sim \Gamma\left(\frac{N}{2},2\sigma^2\right). Je sais que la distribution du chi-carré est un cas particulier de la distribution gamma, mais n'a pas pu obtenir la distribution chi-carré pour la …

15 chi-squared gamma-distribution

1

Transformez les données en moyenne et en écart type souhaités

Je recherche une méthode pour transformer mon ensemble de données de sa moyenne actuelle et de son écart type en une moyenne cible et un écart type cible. Fondamentalement, je veux réduire / étendre la dispersion et mettre à l'échelle tous les nombres à une moyenne. Cela ne fonctionne pas …

15 data-transformation standard-deviation mean

3

Différence dans l'utilisation du dégradé normalisé et du dégradé

Dans le cadre général de l'algorithme de descente de gradient, nous avons où x n est le point courant, η est la taille du pas et g r a d i e n t x n est le gradient évalué à x n . Xn + 1= xn- η∗ gr …

15 algorithms optimization

2

Qu'est-ce qu'une bonne distribution préalable des degrés de liberté dans la distribution?

Je souhaite utiliser à la distribution pour modéliser les rendements des actifs à court intervalle dans un modèle bayésien. Je voudrais estimer à la fois les degrés de liberté (ainsi que d'autres paramètres de mon modèle) pour la distribution. Je sais que les rendements des actifs sont tout à fait …

15 distributions bayesian modeling prior

1

logloss vs gini / auc

J'ai formé deux modèles (classificateurs binaires utilisant h2o AutoML) et je veux en sélectionner un à utiliser. J'ai les résultats suivants: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 les colonnes aucet loglosssont les métriques de validation …

15 model-selection validation auc gini log-loss

2

Est-il courant de minimiser la perte moyenne sur les lots au lieu de la somme?

Tensorflow propose un exemple de didacticiel sur la classification de CIFAR-10 . Dans le didacticiel, la perte d'entropie croisée moyenne sur le lot est minimisée. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from …

15 neural-networks loss-functions tensorflow

2

Peut-on utiliser une variable indépendante catégorielle dans une analyse discriminante?

Dans l'analyse discriminante, la variable dépendante est catégorielle, mais puis-je utiliser une variable catégorielle (par exemple, le statut résidentiel: rural, urbain) avec une autre variable continue comme variable indépendante dans l'analyse discriminante linéaire?

15 logistic categorical-data discriminant-analysis regression-strategies