Statistiques et Big Data

4

J'analyse un ensemble de données expérimentales. Les données consistent en un vecteur apparié du type de traitement et un résultat binomial: Treatment Outcome A 1 B 0 C 0 D 1 A 0 ... Dans la colonne des résultats, 1 indique un succès et 0, un échec. Je voudrais savoir …

32 logistic anova binomial experiment-design

5

Modélisation des données longitudinales lorsque l'effet du temps varie sous forme fonctionnelle entre individus

Contexte : Imaginez que vous ayez une étude longitudinale qui a mesuré une variable dépendante (DV) une fois par semaine pendant 20 semaines sur 200 participants. Bien que je sois intéressé en général, les DV typiques auxquels je pense incluent le rendement au travail après l’embauche ou diverses mesures de …

32 repeated-measures random-effects-model latent-class

6

Classification statistique du texte

Je suis un programmeur sans connaissances statistiques et je suis actuellement en train d’examiner différentes méthodes de classification pour un grand nombre de documents que je souhaite classer en catégories prédéfinies. J'ai lu sur kNN, SVM et NN. Cependant, j'ai du mal à démarrer. Quelles ressources recommandez-vous? Je connais assez …

32 classification information-retrieval text-mining

8

Quelle est la probabilité que cette personne soit une femme?

Il y a une personne derrière un rideau - je ne sais pas s'il s'agit d'une femme ou d'un homme. Je sais que la personne a les cheveux longs et que 90% des personnes ayant les cheveux longs sont des femmes Je sais que la personne a un groupe sanguin …

32 conditional-probability probability

2

Pourquoi n'y a-t-il pas de moteurs d'apprentissage en profondeur pour les échecs, similaires à AlphaGo?

Les ordinateurs peuvent depuis longtemps jouer aux échecs en utilisant une technique de «force brute», en cherchant à une certaine profondeur puis en évaluant la position. Cependant, l'ordinateur AlphaGo n'utilise qu'un ANN pour évaluer les positions (il ne fait aucune recherche en profondeur pour autant que je sache). Est-il possible …

32 neural-networks deep-learning reinforcement-learning games

1

Comment PCA pourrait-il aider avec une analyse de classification k-means?

Contexte : Je souhaite classer les zones résidentielles d'une ville en groupes en fonction de leurs caractéristiques socio-économiques, y compris la densité d'unités de logement, la densité de population, les espaces verts, le prix du logement, le nombre d'écoles / centres de santé / garderies, etc. Je veux comprendre combien …

32 clustering pca k-means dimensionality-reduction

2

Fonction de coût dans la régression linéaire OLS

Je suis un peu confus avec une conférence sur la régression linéaire donnée par Andrew Ng sur Coursera sur l'apprentissage automatique. Là, il a donné une fonction de coût qui minimise la somme des carrés comme suit: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 Je comprends où le 1212\frac{1}{2} vient de. Je …

32 regression machine-learning loss-functions

2

Quelle plage de recherche pour déterminer les paramètres C et gamma optimaux SVM?

J'utilise SVM pour la classification et j'essaie de déterminer les paramètres optimaux pour les noyaux linéaires et RBF. Pour le noyau linéaire, j'utilise la sélection de paramètres à validation croisée pour déterminer C et pour le noyau RBF, j'utilise la recherche de grille pour déterminer C et gamma. J'ai 20 …

32 classification svm kernel-trick

1

Fonction objectif de l'ACP: quel est le lien entre maximiser la variance et minimiser l'erreur?

L'algorithme PCA peut être formulé en termes de matrice de corrélation (supposons que les données ont déjà été normalisées et que nous ne considérons que la projection sur le premier PC). La fonction objectif peut s'écrire:XXX maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. C'est très bien, et nous …

32 pca optimization

3

ACP sur la corrélation ou la covariance: est-ce que l'ACP sur la corrélation a un sens? [fermé]

En analyse en composantes principales (ACP), on peut choisir la matrice de covariance ou la matrice de corrélation pour trouver les composantes (à partir de leurs vecteurs propres respectifs). Ceux-ci donnent des résultats différents (chargements et scores PC), car les vecteurs propres entre les deux matrices ne sont pas égaux. …

32 pca factor-analysis

3

Existe-t-il un projet Euler-like pour l'apprentissage automatique?

J'ai trouvé que Project Euler http://projecteuler.net/ était incroyablement utile pour apprendre les langages de programmation. Existe-t-il un site similaire pour l'apprentissage automatique? J'ai vu http://www.kaggle.com/ , mais il n'est pas aussi accessible aux débutants que Project Euler.

32 teaching

4

Comment calculer l'erreur relative lorsque la vraie valeur est zéro?

Comment calculer l'erreur relative lorsque la vraie valeur est zéro? Disons que j'ai xtrue=0xtrue=0x_{true} = 0 et . Si je définis l'erreur relative comme:xtestxtestx_{test} relative error=xtrue−xtestxtruerelative error=xtrue−xtestxtrue\text{relative error} = \frac{x_{true}-x_{test}}{x_{true}} Ensuite, l'erreur relative n'est toujours pas définie. Si à la place j'utilise la définition: relative error=xtrue−xtestxtestrelative error=xtrue−xtestxtest\text{relative error} = \frac{x_{true}-x_{test}}{x_{test}} …

32 error measurement-error

2

Variance du produit des variables dépendantes

Quelle est la formule de variance du produit des variables dépendantes? Dans le cas de variables indépendantes, la formule est simple: var(XY)=E(X2Y2)−E(XY)2=var(X)var(Y)+var(X)E(Y)2+var(Y)E(X)2var(XY)=E(X2Y2)−E(XY)2=var(X)var(Y)+var(X)E(Y)2+var(Y)E(X)2 {\rm var}(XY) = E(X^{2}Y^{2}) - E(XY)^{2} = {\rm var}(X){\rm var}(Y) + {\rm var}(X)E(Y)^2 + {\rm var}(Y)E(X)^2 Mais quelle est la formule des variables corrélées? Au fait, comment puis-je …

32 correlation variance

3

Quels critères d'arrêt pour le clustering hiérarchique aggloméré sont utilisés dans la pratique?

J'ai trouvé une littérature abondante proposant toutes sortes de critères (par exemple Glenn et al. 1985 (pdf) et Jung et al. 2002 (pdf)). Cependant, la plupart d'entre eux ne sont pas si faciles à mettre en œuvre (du moins de mon point de vue). J'utilise scipy.cluster.hierarchy pour obtenir une hiérarchie …

32 clustering

3

Comment R gère-t-il les valeurs manquantes dans lm?

Je voudrais régresser un vecteur B par rapport à chacune des colonnes d'une matrice A. C'est trivial s'il n'y a pas de données manquantes, mais si la matrice A contient des valeurs manquantes, ma régression par rapport à A est contrainte d'inclure uniquement les lignes où tout des valeurs sont …

32 r missing-data linear-model