Statistiques et Big Data

2

La théorie derrière l'argument des poids dans R lors de l'utilisation de lm ()

Après une année d'études supérieures, ma compréhension des "moindres carrés pondérés" est la suivante: soit , soit matrice de conception , \ boldsymbol \ beta \ in \ mathbb {R} ^ p soit un vecteur de paramètres, \ boldsymbol \ epsilon \ in \ mathbb {R} ^ n soit un …

12 r linear-model weighted-regression

1

Transformations de densité de probabilité différentes dues au facteur jacobien

Dans Bishop's Pattern Recognition and Machine Learning, j'ai lu ce qui suit, juste après l' introduction de la densité de probabilité :p(x∈(a,b))=∫bap(x)dxp(x∈(a,b))=∫abp(x)dxp(x\in(a,b))=\int_a^bp(x)\textrm{d}x Sous un changement de variable non linéaire, une densité de probabilité se transforme différemment d'une fonction simple, en raison du facteur jacobien. Par exemple, si nous considérons un …

12 machine-learning probability

3

La régression aléatoire de la forêt ne prévoit pas plus que les données d'entraînement

J'ai remarqué que lors de la construction de modèles de régression aléatoire des forêts, au moins dans R, la valeur prédite ne dépasse jamais la valeur maximale de la variable cible vue dans les données d'apprentissage. À titre d'exemple, consultez le code ci-dessous. Je construis un modèle de régression à …

12 r random-forest

2

«Les liens ne devraient pas être présents» dans le test à un échantillon de Kolmgorov-Smirnov en R

Je vais utiliser le test de Kolmogorov-Smirnov pour tester la normalité de MYDATA en R. Ceci est un exemple de ce que je fais ks.test(MYDATA,"pnorm",mean(MYDATA),sd(MYDATA)) Voici le résultat que R me donne: data: MYDATA D = 0.13527, p-value = 0.1721 alternative hypothesis: two-sided Warning message: In ks.test(MYDATA, "pnorm", mean(MYDATA), sd(MYDATA)) …

12 kolmogorov-smirnov ties

4

Bootstrap vs Monte Carlo, estimation d'erreur

Je lis l'article Anderson propagation (Error propagation by the Monte Carlo in geochemical calculs), et il y a quelque chose que je ne comprends pas très bien. Considérons quelques données mesurées et un programme qui les traite et renvoie une valeur donnée. Dans l'article, ce programme est utilisé pour obtenir …

12 bootstrap monte-carlo error

3

Lasso contre Lasso adaptatif

LASSO et LASSO adaptatif sont deux choses différentes, non? (Pour moi, les pénalités sont différentes, mais je vérifie simplement si je manque quelque chose.) Quand on parle généralement de filet élastique, est-ce le cas particulier LASSO ou LASSO adaptatif? Lequel le paquet glmnet fait-il, à condition de choisir alpha = …

12 lasso glmnet elastic-net oracle

2

Les modèles de séries chronologiques de différence logarithmique sont-ils meilleurs que les taux de croissance?

Souvent, je vois des auteurs estimer un modèle de «différence logarithmique», par exemple Journal( yt) - journal( yt - 1) = log( yt/ yt - 1) = α + βXtJournal⁡(yt)-Journal⁡(yt-1)=Journal⁡(yt/yt-1)=α+βXt\log (y_t)-\log(y_{t-1}) = \log(y_t/y_{t-1}) = \alpha + \beta x_t Je conviens que cela est approprié pour relier à une variation en …

12 time-series forecasting data-transformation econometrics logarithm

1

Échantillonnage à partir d'une distribution marginale à l'aide d'une distribution conditionnelle?

Je veux échantillonner à partir d'une densité univariée mais je ne connais que la relation:FXfXf_X FX( x ) = ∫FX| Oui( x | y) fOui( y) dy.fX(x)=∫fX|Y(x|y)fY(y)dy.f_X(x) = \int f_{X\vert Y}(x\vert y)f_Y(y) dy. Je veux éviter l'utilisation de MCMC (directement sur la représentation intégrale) et, comme et sont faciles à …

12 sampling conditional-probability monte-carlo marginal

3

La différence est des statistiques sommaires: coefficient de Gini et écart type

Il existe plusieurs statistiques sommaires. Lorsque vous voulez décrire la propagation d'une distribution, vous pouvez utiliser par exemple l' écart type ou le coefficient de Gini . Je sais que l'écart type est basé sur la tendance centrale, c'est-à-dire l'écart par rapport à la moyenne, et le coefficient de Gini …

12 standard-deviation descriptive-statistics gini

2

Quelle est la différence entre et le score de variance dans Scikit-learn?

Je lisais sur les métriques de régression dans le manuel python scikit-learn et même si chacun d'eux a sa propre formule, je ne peux pas dire intuitivement quelle est la différence entre et le score de variance et donc quand utiliser l'un ou l'autre pour évaluer mes modèles.R2R2R^2

12 regression variance scikit-learn r-squared model-evaluation

1

Modélisation bayésienne des temps d'attente des trains: la définition du modèle

C'est ma première tentative pour quelqu'un venant du camp fréquentiste de faire l'analyse des données bayésiennes. J'ai lu un certain nombre de tutoriels et quelques chapitres de Bayesian Data Analysis par A. Gelman. Le premier exemple d'analyse de données plus ou moins indépendant que j'ai choisi est le temps d'attente …

12 bayesian pymc

1

Intervalle de confiance et incertitude de la valeur P pour le test de permutation

J'apprends des tests de randomisation en ce moment. Deux questions me viennent à l'esprit: Oui, il est facile et intuitif de calculer la valeur de p avec le test de randomisation (qui, je pense, est le même que le test de permutation?). Cependant, comment pourrions-nous également générer un intervalle de …

12 confidence-interval p-value permutation-test

1

Comment ajuster les poids dans les valeurs Q avec approximation de la fonction linéaire

Dans l'apprentissage par renforcement, l'approximation de fonction linéaire est souvent utilisée lorsque de grands espaces d'états sont présents. (Lorsque les tables de recherche deviennent irréalisables.) La forme de la valeur avec approximation de la fonction linéaire est donnée parQ -Q−Q- Q ( s , a ) = w1F1( s , …

12 machine-learning feature-selection reinforcement-learning

2

Méthodes de rotation des facteurs (varimax, oblimin, etc.) - que signifient les noms et que font les méthodes?

L'analyse factorielle a plusieurs méthodes de rotation, telles que varimax, quartimax, equamax, promax, oblimin, etc. Je ne trouve aucune information qui relie leurs noms à leurs actions mathématiques ou statistiques réelles. Pourquoi est-il appelé "equa-max" ou "quarti-max"? De quelle manière les axes ou les matrices tournent-ils pour qu'ils aient un …

12 factor-analysis terminology factor-rotation

3

Et si le chemin c n'est pas significatif, mais les chemins a et b le sont? Effet indirect dans la médiation

Dans un modèle de médiation classique, nous avons des chemins indiqués dans le diagramme ci-dessous , dans lequel la première étape de test de l'effet médiateur de M entre X et Y est que X est significativement corrélé avec Y (comme indiqué dans le panneau A sur la figure). Cependant, …

12 mediation path-model