Statistiques et Big Data

2

Combinaison linéaire de deux variables aléatoires normales multivariées dépendantes

Supposons que nous ayons deux vecteurs de variables aléatoires, les deux sont normaux, c'est-à-dire et Y ∼ N ( μ Y , Σ Y ) . Nous nous intéressons à la distribution de leur combinaison linéaire Z = A X + B Y + C , où A et B …

14 probability normal-distribution multinomial

3

Quels devraient être les paramètres optimaux pour le classificateur Random Forest?

Actuellement j'utilise RF toolbox sur MATLAB pour un problème de classification binaire Ensemble de données: 50000 échantillons et plus de 250 fonctionnalités Alors, quel devrait être le nombre d'arbres et la fonction sélectionnée au hasard sur chaque division pour faire pousser les arbres? tout autre paramètre peut-il affecter considérablement les …

14 machine-learning classification random-forest

5

Clustering (k-means ou autre) avec une contrainte de taille de cluster minimum

J'ai besoin de regrouper les unités en grappes pour minimiser la somme des carrés au sein du groupe (WSS), mais je dois m'assurer que les grappes contiennent chacune au moins unités. Une idée si l'une des fonctions de clustering de R permet le clustering en clusters soumis à une contrainte …

14 r clustering

2

Quelle est la différence entre la sortie «coef» et «(exp) coef» de coxph dans R?

J'ai essayé de discerner ce que signifient exactement les sorties "coef" et "(exp) coef" de coxph. Il semble que les "(exp) coef" soient des comparaisons de la première variable du modèle selon le groupe assigné dans la commande. Comment la fonction coxph arrive-t-elle aux valeurs de "coef" et "(exp) coef"? …

14 r survival interpretation

3

OLS est BLEU. Mais que se passe-t-il si je me fiche de l'impartialité et de la linéarité?

Le théorème de Gauss-Markov nous dit que l'estimateur OLS est le meilleur estimateur linéaire sans biais pour le modèle de régression linéaire. Mais supposons que je ne me soucie pas de la linéarité et de l'impartialité. Existe-t-il alors un autre estimateur (non linéaire / biaisé possible) pour le modèle de …

14 regression unbiased-estimator

6

Régression linéaire lorsque Y est borné et discret

La question est simple: est-il approprié d'utiliser une régression linéaire lorsque Y est borné et discret (par exemple, le score du test 1 ~ 100, certains classements prédéfinis 1 ~ 17)? Dans ce cas, est-il «pas bon» d'utiliser la régression linéaire ou est-ce totalement faux de l'utiliser?

14 regression multiple-regression least-squares linear bounds

2

Quelle est la valeur attendue du logarithme de la distribution gamma?

Si la valeur attendue de est , quelle est la valeur attendue de ? Peut-il être calculé analytiquement?Gamma(α,β)Gamma(α,β)\mathsf{Gamma}(\alpha, \beta)αβαβ\frac{\alpha}{\beta}log(Gamma(α,β))log⁡(Gamma(α,β))\log(\mathsf{Gamma}(\alpha, \beta)) Le paramétrage que j'utilise est le taux de forme.

14 expected-value gamma-distribution

5

Pourquoi avons-nous besoin d'hypothèses alternatives?

Lorsque nous faisons des tests, nous nous retrouvons avec deux résultats. 1) Nous rejetons l'hypothèse nulle 2) Nous ne rejetons pas l'hypothèse nulle. Nous ne parlons pas d'accepter des hypothèses alternatives. Si nous ne parlons pas d'accepter une hypothèse alternative, pourquoi devons-nous avoir une hypothèse alternative? Voici la mise à …

14 hypothesis-testing

3

Pourquoi les réseaux de neurones ont-ils besoin d'une sélection / ingénierie de fonctionnalités?

Particulièrement dans le contexte des compétitions kaggle, j'ai remarqué que la performance du modèle est une question de sélection / ingénierie de fonctionnalités. Bien que je puisse pleinement comprendre pourquoi c'est le cas dans le cas des algorithmes ML plus conventionnels / old-school, je ne vois pas pourquoi ce serait …

14 neural-networks deep-learning feature-selection feature-engineering

2

Pourquoi utiliser le lien logit en régression bêta?

Récemment, je me suis intéressé à l'implémentation d'un modèle de régression bêta, pour un résultat proportionnel. Notez que ce résultat ne rentrerait pas dans un contexte binomial, car il n'y a pas de concept significatif de «succès» discret dans ce contexte. En fait, le résultat est en fait une proportion …

14 logit beta-regression

3

Comment la sélection des fonctionnalités et l'optimisation des hyperparamètres doivent-elles être ordonnées dans le pipeline d'apprentissage automatique?

Mon objectif est de classer les signaux des capteurs. Le concept de ma solution jusqu'à présent est le suivant: i) fonctionnalités d'ingénierie à partir d'un signal brut ii) sélection des fonctionnalités pertinentes avec ReliefF et une approche de clustering iii) application de NN, Random Forest et SVM Cependant, je suis …

14 feature-selection hyperparameter optimization

1

Que signifie une couche de goulot d'étranglement dans les réseaux de neurones?

Je lisais le papier FaceNet et dans le 3ème paragraphe de l'introduction il dit: Les approches précédentes de reconnaissance de visage basées sur des réseaux profonds utilisent une couche de classification formée sur un ensemble d'identités de visage connues, puis prennent une couche intermédiaire de goulot d'étranglement comme représentation utilisée …

14 neural-networks image-processing

1

Quelle est la différence entre l'épisode et l'époque dans l'apprentissage Q profond?

J'essaie de comprendre le célèbre article "Jouer à Atari avec l'apprentissage par renforcement profond" ( pdf ). Je ne suis pas clair sur la différence entre une époque et un épisode . Dans l'algorithme , la boucle externe est sur des épisodes , tandis que sur la figure l'axe des …

14 neural-networks terminology reinforcement-learning q-learning

2

Comment la validation croisée k-fold s'inscrit-elle dans le contexte des ensembles de formation / validation / test?

Ma principale question est de savoir comment comprendre la validation croisée k-fold dans le contexte des ensembles de formation / validation / test (si cela correspond à un tel contexte). Habituellement, les gens parlent de diviser les données en un ensemble de formation, de validation et de test - disons …

14 cross-validation dataset overfitting

2

Comment Naive Bayes fonctionne-t-il avec des variables continues?

À ma connaissance (très basique), Naive Bayes estime les probabilités en fonction des fréquences de classe de chaque caractéristique des données d'entraînement. Mais comment calcule-t-il la fréquence des variables continues? Et lors de la prédiction, comment classe-t-elle une nouvelle observation qui peut ne pas avoir les mêmes valeurs que n'importe …

14 machine-learning classification bayesian naive-bayes