Statistiques et Big Data

1

La régression avec la régularisation L1 est-elle identique à celle de Lasso, et avec la régularisation L2 est-elle identique à la régression de crête? Et comment écrire «Lasso»?

Je suis un ingénieur en logiciel apprenant à apprendre les machines, en particulier grâce aux cours d'apprentissage automatique d' Andrew Ng . En étudiant la régression linéaire avec la régularisation , j'ai trouvé des termes déroutants: Régression avec régularisation L1 ou régularisation L2 LASSO Régression Ridge Donc mes questions: La …

33 regression terminology lasso regularization ridge-regression

1

Importance relative relative pour Boosting

Je cherche une explication du calcul de l'importance relative relative des variables dans les arbres à gradient de densité, qui n'est pas trop générale / simpliste, comme: Les mesures sont basées sur le nombre de fois qu'une variable est sélectionnée pour le fractionnement, pondérées par l'amélioration au carré du modèle …

33 machine-learning data-mining predictive-models cart boosting

3

Comment les forêts aléatoires ne sont-elles pas sensibles aux valeurs aberrantes?

J'ai lu dans quelques sources, y compris celle-ci , que les forêts aléatoires ne sont pas sensibles aux valeurs aberrantes (par exemple, la régression logistique et les autres méthodes ML). Cependant, deux morceaux d'intuition me disent le contraire: Chaque fois qu'un arbre de décision est construit, tous les points doivent …

33 random-forest bootstrap outliers cart

4

Filet Ridge, lasso et élastique

Comment les méthodes de régularisation des arêtes, LASSO et des filets élastiques se comparent-elles? Quels sont leurs avantages et inconvénients respectifs? Tout bon document technique ou note de cours serait également apprécié.

33 references lasso regularization ridge-regression elastic-net

2

La régularisation de Tikhonov est-elle la même que celle de Ridge Regression?

La régularisation de Tikhonov et la régression de crête sont des termes souvent utilisés comme s'ils étaient identiques. Est-il possible de spécifier exactement quelle est la différence?

33 regression terminology regularization ridge-regression tikhonov-regularization

2

Comprendre la forme et le calcul des bandes de confiance dans la régression linéaire

J'essaie de comprendre l'origine de la forme incurvée des bandes de confiance associées à une régression linéaire MLS et son lien avec les intervalles de confiance des paramètres de régression (pente et intersection), par exemple (avec R): require(visreg) fit <- lm(Ozone ~ Solar.R,data=airquality) visreg(fit) Il semble que la bande soit …

33 regression confidence-interval

3

Différence intuitive entre les modèles de Markov cachés et les champs aléatoires conditionnels

Je comprends que les modèles de Markov cachés (HMM) sont des modèles génératifs et les modèles CRF sont des modèles discriminants. Je comprends également comment les CRF (Conditional Random Fields) sont conçus et utilisés. Ce que je ne comprends pas, c'est comment ils sont différents des HMM? J'ai lu que …

33 machine-learning hidden-markov-model natural-language conditional-random-field

2

Détermination de la taille de l'échantillon nécessaire pour la méthode bootstrap / Méthode proposée

Je sais que c’est un sujet brûlant où personne ne peut vraiment donner une réponse simple. Néanmoins, je me demande si l'approche suivante ne pourrait pas être utile. La méthode bootstrap n'est utile que si votre échantillon suit plus ou moins (lire exactement) la même distribution que la population d'origine. …

33 bootstrap sample-size methodology

5

Mise en cluster d'un jeu de données avec des variables à la fois discrètes et continues

J'ai un jeu de données X qui a 10 dimensions, dont 4 sont des valeurs discrètes. En fait, ces 4 variables discrètes sont ordinales, c'est-à-dire qu'une valeur plus élevée implique une sémantique plus élevée / meilleure. 2 de ces variables discrètes sont catégoriques en ce sens que pour chacune de …

33 clustering k-means discrete-data continuous-data gaussian-mixture

5

Gain d'information, information mutuelle et mesures connexes

33 information-theory

7

Comment transmettez-vous la beauté du théorème de la limite centrale à un non-statisticien?

Mon père est un passionné de mathématiques mais peu intéressé par les statistiques. Il serait judicieux d' essayer d'illustrer quelques-unes des merveilleuses statistiques, et le CLT est un candidat de choix. Comment pourriez-vous transmettre la beauté mathématique et l'impact du théorème de la limite centrale à un non-statisticien?

33 theory central-limit-theorem

7

Existe-t-il une définition acceptée de la médiane d'un échantillon dans l'avion ou d'espaces ordonnés plus élevés?

Si oui quoi? Si non pourquoi pas Pour un échantillon sur la ligne, la médiane minimise l’écart absolu total. Il semblerait naturel d'étendre la définition à R2, etc., mais je ne l'ai jamais vue. Mais ensuite, je suis dans le champ gauche depuis longtemps.

33 multivariate-analysis spatial median

2

Théorie de la régression des moindres carrés partiels

Quelqu'un peut-il recommander une bonne exposition de la théorie de la régression des moindres carrés partiels (disponible en ligne) pour quelqu'un qui comprend la SVD et la PCA? J'ai regardé de nombreuses sources en ligne et je n'ai rien trouvé qui avait la bonne combinaison de rigueur et d'accessibilité. J'ai …

33 regression references regularization svd partial-least-squares

1

Que sont les contrôles prédictifs postérieurs et qu'est-ce qui les rend utiles?

Je comprends ce qu'est la distribution prédictive postérieure , et j'ai lu sur les vérifications prédictives postérieures , bien que je ne sache pas encore ce qu'elle fait. Quelle est exactement la vérification prédictive postérieure? Pourquoi certains auteurs affirment que l'exécution de vérifications prédictives postérieures «utilise les données deux fois» …

33 bayesian model-selection posterior

2

Choisir la bonne méthode de liaison pour le clustering hiérarchique

Je joue la classification hiérarchique des données que j'ai recueillies et traitées de la décharge de données reddit sur Google BigQuery. Mon processus est le suivant: Recevez les 1000 derniers articles dans / r / politique Rassemblez tous les commentaires Traiter les données et calculer une n x mmatrice de …

33 clustering distance unsupervised-learning hierarchical-clustering