Statistiques et Big Data

2

Comment comparer des modèles sans ajustement?

La régression et l'apprentissage automatique sont utilisés en sciences naturelles pour tester des hypothèses, estimer des paramètres et faire des prédictions en ajustant des modèles aux données. Cependant, quand j'ai un modèle a priori , je ne veux faire aucun ajustement --- par exemple, un modèle d'un système physique déterministe …

8 modeling simulation goodness-of-fit model-comparison

2

Qu'entendait Silverman (1981) par «bande passante critique»?

Dans la sélection d'une bande passante pour un estimateur de densité de noyau, la bande passante critique selon ma compréhension est: "Pour chaque entier k, où 1<k<n, nous pouvons trouver la largeur minimale h(k)telle que l'estimation de la densité du noyau ait au plus k maxima. Silverman appelle ces h(k)valeurs" …

8 econometrics kernel-smoothing

3

Que signifie dire que ont une distribution normale «commune»?

Une question d'exercice demande Soit rvs ayant une distribution normale commune avec . Calculez le coefficient de dépendance de la queue supérieure pour tous les .X1,X2X1,X2X_1, X_2N(0,1)N(0,1)N(0,1)Corr(X1,X2)=ρCorr⁡(X1,X2)=ρ\operatorname{Corr}(X_1, X_2) = \rhoρ∈[−1,1]ρ∈[−1,1]\rho \in [-1, 1] Qu'est-ce que cela signifie avec le fait qu'ils ont une distribution normale "commune"? Ma première pensée a …

8 probability random-variable heavy-tailed

1

comme estimateur quantile pour le quantile 1% de

J'ai récemment trouvé l'estimateur quantile suivant pour une variable aléatoire continue dans un article (non statistique, appliqué): pour un vecteur XXx long de 100 , le quantile 1% est estimé avec min ( x )min(X)\min(x) . Voici comment il fonctionne: ci-dessous est un graphique de densité de noyau des réalisations …

8 quantiles

1

Qui a inventé la notation d'indépendance ?

Il s'agit plus d'une question historique: qui a inventé la notation pour dénoter l'indépendance (conditionnelle)?⊥⊥⊥⊥\perp \!\!\! \perp

8 probability notation history

3

Utilisation de poids de régression lorsque

Supposons que nous observions les données et que nous souhaitions ajuster un modèle de régression pour . Malheureusement, est parfois mesuré avec des erreurs dont la moyenne est non nulle.Oui, XY,XY, XE [Y|X]E[Y|X]\mathbf{E}[Y \,|\, X]OuiYY Soit indiquer si est mesuré avec des erreurs moyennes nulles classiques ou des erreurs non …

8 regression bias measurement-error weighted-regression

4

Est-il obligatoire de sous-définir vos données pour valider un modèle?

J'ai du mal à me retrouver sur la même longueur d'onde que mon supérieur quand il s'agit de valider mon modèle. J'ai analysé les résidus (observés par rapport aux valeurs ajustées) et je l'ai utilisé comme argument pour discuter des résultats obtenus par mon modèle, mais mon superviseur insiste sur …

8 r references glmm validation glmmtmb

1

La corrélation entre les variables dans une interaction est-elle importante?

Supposons que vous ajustiez un modèle . Y a-t-il des implications pratiques pour l'estimation de l'effet d'interaction si et sont corrélés?y=x1+x2+x1×x2y=x1+x2+x1×x2y = x_1 + x_2 + x_1\times x_2x1x1x_1x2x2x_2 Je comprends qu'il pourrait y avoir des problèmes de colinéarité si et sont très corrélés, mais cela ne devrait pas affecter le …

8 regression correlation interaction

2

Attente du logit inverse de la variable aléatoire normale

J'ai une variable aléatoire Oui=eX1 +eXOui=eX1+eXY = \frac{e^{X}}{1 + e^{X}}et je connais .X∼ N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu, \sigma^2) Existe-t-il un moyen de calculer ? J'ai essayé de comprendre l'intégrale, mais je n'ai pas fait beaucoup de progrès. Est-ce même possible?E (Y)E(Oui)\mathbb{E}(Y)

8 logistic normal-distribution expected-value

2

Les produits des VR échangeables sont-ils échangeables?

Suppose que X=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X_1, ..., X_n),: (\Omega, A,P)\to (\{0,1\}^n, 2^{{\{0,1\}}^n}) et Oui= (Oui1, . . . ,Ouin) : ( Ω , A , P) → ( { 0 , 1}n,2{ 0 , 1 }n)Oui=(Oui1,...,Ouin):(Ω,UNE,P)→({0,1}n,2{0,1}n)Y=(Y_1, ..., Y_n):(\Omega, A,P)\to (\{0,1\}^n, 2^{{\{0,1\}}^n})sont deux variables aléatoires qui ont des RV binaires comme composants (par conséquent …

8 bayesian exchangeability

2

Erreur d'apprentissage dans le classificateur KNN lorsque K = 1

J'ai obtenu cette question dans un quiz, il a demandé quelle sera l'erreur de formation pour un classificateur KNN lorsque K = 1. Que signifie la formation pour un classificateur KNN? Ma compréhension du classificateur KNN était qu'il considère l'ensemble des données et attribue à toute nouvelle observation la valeur …

8 classification supervised-learning k-nearest-neighbour

3

Sur-ajustement exprès

Serait-il sensé d'équiper un modèle à dessein? Disons que j'ai un cas d'utilisation où je sais que les données ne varieront pas beaucoup en ce qui concerne les données de formation. Je pense ici à la prévision du trafic, où l'état du trafic suit un ensemble fixe de modèles trajet …

8 machine-learning time-series forecasting prediction overfitting

1

Puis-je combiner de nombreux arbres améliorant le gradient en utilisant la technique d'ensachage

Basé sur Gradient Boosting Tree vs Random Forest . GBDT et RF utilisant une stratégie différente pour lutter contre le biais et la variance. Ma question est la suivante: puis-je rééchantillonner l'ensemble de données (avec remplacement) pour former plusieurs GBDT et combiner leurs prédictions comme résultat final? C'est équivalent à …

8 random-forest cart boosting bagging gradient

1

Reproduire la figure de «l'inférence statistique de l'âge de l'ordinateur» d'Efron et Hastie

La version résumée de ma question (26 décembre 2018) J'essaie de reproduire la figure 2.2 de l' inférence statistique de l'âge de l' ordinateur par Efron et Hastie, mais pour une raison que je ne peux pas comprendre, les chiffres ne correspondent pas à ceux du livre. Supposons que nous …

8 self-study python likelihood-ratio neyman-pearson-lemma

2

Peut-on dire que 50% des données se situeront entre le 25e et le 75e centile?

Disons que nous avons le cadre de données suivant: TY_MAX 141 1.004622 142 1.004645 143 1.004660 144 1.004672 145 1.004773 146 1.004820 147 1.004814 148 1.004807 149 1.004773 150 1.004820 151 1.004814 152 1.004834 153 1.005117 154 1.005023 155 1.004928 156 1.004834 157 1.004827 158 1.005023 159 1.005248 160 1.005355 …

8 quantiles statsmodels