Statistiques et Big Data

3

Réseaux de neurones récurrents ou récursifs: quel est le meilleur pour la PNL?

Il existe des réseaux de neurones récurrents et des réseaux de neurones récursifs. Les deux sont généralement désignés par le même acronyme: RNN. Selon Wikipedia , NN récurrent est en réalité NN récursif, mais je ne comprends pas vraiment l'explication. De plus, je ne semble pas trouver ce qui est …

48 machine-learning neural-networks deep-learning natural-language

7

Comment tester que deux variables continues sont indépendantes?

Supposons que j'ai un échantillon à partir de la distribution conjointe de et . Comment tester l'hypothèse selon laquelle et sont indépendants ?( Xn, Yn) , n = 1 .. N(Xn,Yn),n=1..N(X_n,Y_n), n=1..NY X YXXXYYYXXXYYY Aucune hypothèse n'est faite sur les lois de distribution conjointe ou marginale de et (la normalité …

48 hypothesis-testing references independence

4

Comment identifier une distribution bimodale?

Je comprends qu’une fois que nous représentons les valeurs sous forme de graphique, nous pouvons identifier une distribution bimodale en observant les pics jumeaux, mais comment la trouver par programme? (Je cherche un algorithme.)

48 distributions

7

Le chi-carré est-il toujours un test unilatéral?

Un article publié ( pdf ) contient ces 2 phrases: De plus, les fausses déclarations peuvent être causées par l'application de règles incorrectes ou par une connaissance insuffisante du test statistique. Par exemple, l'df totale dans un ANOVA peut être considéré comme le df d'erreur dans le rapport d'un test, …

48 hypothesis-testing chi-squared

5

Quelle est la différence entre NaN et NA?

Je voudrais savoir pourquoi certaines langues comme R ont NA et NaN. Quelles sont les différences ou sont-elles également identiques? Est-il vraiment nécessaire d'avoir NA?

48 r

17

Quel est votre blog de visualisation de données préféré?

Quel est le meilleur blog sur la visualisation de données? Je fais de cette question un wiki de communauté car il est hautement subjectif. Veuillez limiter chaque réponse à un seul lien. Veuillez noter les critères suivants pour les réponses proposées: Des réponses faciles à des questions comme celle-ci ... …

48 data-visualization references

7

Effet de la réponse de commutation et de la variable explicative dans la régression linéaire simple

Disons qu'il existe une "vraie" relation entre et telle que , où et sont des constantes et est un bruit normal. Lorsque je génère de manière aléatoire des données à partir de ce code R: puis que je rentre dans un modèle , je reçois évidemment des estimations raisonnablement bonnes …

48 regression

5

Intuition sur la divergence de Kullback-Leibler (KL)

J'ai appris sur l'intuition qui se cache derrière la divergence KL, en quoi une fonction de distribution de modèle diffère de la distribution théorique / vraie des données. La source que je lis poursuit en disant que la compréhension intuitive de la « distance » entre ces deux distributions est …

48 distributions distance intuition kullback-leibler

4

Quelle est la différence entre la descente de gradient basée sur la quantité de mouvement et la descente de gradient accélérée de Nesterov?

Ainsi, la descente de gradient basée sur la quantité de mouvement fonctionne comme suit: v=self.momentum∗m−lr∗gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g où est la mise à jour précédente du poids, et est le gradient actuel par rapport aux paramètres , est le taux d'apprentissage et est une constante.mmmgggppplrlrlrself.momentumself.momentumself.momentum pnew=p+v=p+self.momentum∗m−lr∗gpnew=p+v=p+self.momentum∗m−lr∗gp_{new} = p + v = p + …

48 optimization gradient-descent

2

Explications intuitives des différences entre les arbres de renforcement de gradient (GBM) et Adaboost

J'essaie de comprendre les différences entre GBM et Adaboost. Ce sont ce que j'ai compris jusqu'à présent: Il existe deux algorithmes de renforcement, qui tirent les leçons des erreurs des modèles précédents et font enfin une somme pondérée des modèles. GBM et Adaboost sont assez similaires sauf pour leurs fonctions …

48 boosting gbm adaboost

2

Chaque matrice de covariance est-elle positive définie?

Je suppose que la réponse devrait être oui, mais je sens toujours que quelque chose ne va pas. Il devrait y avoir des résultats généraux dans la littérature, est-ce que quelqu'un pourrait m'aider?

48 covariance matrix covariance-matrix linear-algebra

5

R - QQPlot: comment voir si les données sont normalement distribuées

Je l'ai tracé après avoir fait un test de normalité Shapiro-Wilk. Le test a montré qu'il est probable que la population est normalement répartie. Cependant, comment voir ce "comportement" sur cette intrigue? MISE À JOUR Un histogramme simple des données: MISE À JOUR Le test Shapiro-Wilk dit:

48 r data-visualization normal-distribution histogram qq-plot

10

Qu'est-ce qu'un bon algorithme pour estimer la médiane d'un énorme jeu de données en lecture unique?

Je recherche un bon algorithme (calcul minimal, exigences de stockage minimales) pour estimer la médiane d'un ensemble de données trop volumineux pour être stocké, de telle sorte que chaque valeur ne puisse être lue qu'une fois (à moins que vous stockiez explicitement cette valeur). Aucune donnée sur les données ne …

48 algorithms median large-data

1

Comment appliquer la normalisation / normalisation à la formation et aux tests si l'objectif est la prédiction?

Est-ce que je transforme toutes mes données ou mes plis (si CV est appliqué) en même temps? par exemple (allData - mean(allData)) / sd(allData) Est-ce que je transforme les trains et les tests séparément? par exemple (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Ou dois-je transformer la …

47 r cross-validation data-transformation normalization standardization

7

Par où commencer avec les statistiques pour un développeur expérimenté

Au cours du premier semestre de 2015, j'ai suivi le cours coursera de Machine Learning (par Andrew Ng, cours GREAT). Et appris les bases de l'apprentissage automatique (régression linéaire, régression logistique, SVM, réseaux neuronaux ...) De plus, je suis développeur depuis 10 ans, donc apprendre un nouveau langage de programmation …

47 r regression machine-learning references