Statistiques et Big Data

1

Variable aléatoire univariée X, Y avec : sont-ils indépendants?

Soit et des variables aléatoires univariées avec CDF telles que: où , sont des fonctions connues.X:Ω→RX:Ω→RX:\Omega\to\mathbb{R}Y:Ω→RY:Ω→RY:\Omega\to\mathbb{R}FX,Y(x,y)FX,Y(x,y)F_{X,Y}(x,y)FX,Y(x,y)=G1(x)G2(y),∀(x,y)∈R×RFX,Y(x,y)=G1(x)G2(y),∀(x,y)∈R×R F_{X,Y}(x,y)=G_1(x)G_2(y),\forall (x,y)\in\mathbb{R}\times\mathbb{R} G1:R→RG1:R→RG_1:\mathbb{R}\to\mathbb{R}G2:R→RG2:R→RG_2:\mathbb{R}\to\mathbb{R} Question : Est-il vrai que et sont des VR indépendants?XXXYYY Quelqu'un peut-il me donner quelques indices? J'ai essayé de: mais je ne sais pas pourquoi (ou si) \ lim_ {y \ …

8 random-variable joint-distribution

1

Pourquoi le PDF de Dirichlet Distribution ne semble-t-il pas s'intégrer à 1?

J'ai essayé de trouver la valeur attendue d'une fonction d'une variable aléatoire avec une distribution de Dirichlet en intégrant son produit avec la fonction de densité de Dirichlet sur un simplex en R. Pour vérifier que j'appliquais la fonction correcte dans R, j'ai essayé d'intégrer la fonction de densité sur …

8 probability distributions dirichlet-distribution

1

estimation de la densité du noyau du paquet np avec le noyau Epanechnikov

Je travaille avec l'ensemble de données "geyser" du package MASS et compare les estimations de densité du noyau du package np. Mon problème est de comprendre l'estimation de la densité en utilisant la validation croisée des moindres carrés et le noyau Epanechnikov: blep<-npudensbw(~geyser$waiting,bwmethod="cv.ls",ckertype="epanechnikov") plot(npudens(bws=blep)) Pour le noyau gaussien, cela semble …

8 r nonparametric kernel-smoothing

3

Intervalles de prédiction avec hétéroscédasticité

J'utilise R pour effectuer une régression linéaire. J'ai vu des moyens de calculer les intervalles de prédiction, mais ceux-ci dépendent de données homoscédastiques. Existe-t-il un moyen de calculer les intervalles de prédiction avec des données hétéroscédastiques?

8 r regression least-squares heteroscedasticity prediction-interval

1

Puis-je obtenir les paramètres d'une distribution log-normale à partir de la moyenne et de la médiane de l'échantillon?

J'ai les valeurs moyennes et médianes d'un échantillon tiré d'une distribution log-normale. Notez que ce n'est pas la moyenne et la médiane des journaux de la variable, bien que je puisse bien sûr calculer les journaux de la moyenne et de la médiane. Existe-t-il une solution sous forme fermée pour …

8 estimation mean lognormal median parameterization

3

Les termes fonction de densité de probabilité et distribution de probabilité (ou simplement «distribution») sont-ils interchangeables?

Comme le dit le titre, les termes fonction de densité de probabilité et distribution de probabilité (ou simplement "distribution") sont-ils interchangeables? Sinon, quelle est la différence?

8 terminology

1

Pouvez-vous utiliser le test de Kolmogorov-Smirnov pour tester directement l'équivalence de deux distributions?

Il y a eu des discussions sur d'autres questions sur la façon dont on pourrait utiliser l'approche des deux tests unilatéraux (TOST) pour le test de Kolmogorov-Smirnov (KS), mais je me demandais s'il était possible d'utiliser directement la statistique de test pour montrer que deux les distributions étaient similaires? Si …

8 distributions kolmogorov-smirnov equivalence tost

3

Pourquoi les GLM prédisent la moyenne et non le mode?

Pourquoi un GLM prédit-il la moyenne et non le mode d'un signal? Cela ne contredit-il pas le fondement même du GLM, c'est-à-dire le maximum de vraisemblance? Les équations à résoudre pour les paramètres du modèle dans un GLM sont basées sur la maximisation de la vraisemblance comme décrit par la …

8 generalized-linear-model maximum-likelihood mean mode

1

Quand utiliser LDA sur GMM pour le clustering?

J'ai un ensemble de données contenant l'activité de l'utilisateur avec 168 dimensions, où je veux extraire des clusters en utilisant un apprentissage non supervisé. Il n'est pas évident pour moi d'utiliser une approche de modélisation de sujet dans l'allocation de Dirichlet latent (LDA) ou les modèles de mélange gaussiens (GMM), …

8 clustering gaussian-mixture unsupervised-learning topic-models

2

Asymétrie, kurtosis et combien de valeurs d'écarts-types par rapport à la moyenne

Comme cela est bien connu pour la distribution normale, 68% de la masse de probabilité se situe dans un écart-type de la moyenne, 95% dans deux écarts-types et 99,7% dans 3 écarts-types. Cependant, j'ai quelques distributions empiriques qui sont leptokurtiques et biaisées négativement. Dans de telles circonstances, existe-t-il une formule …

8 normal-distribution skewness kurtosis

1

Comment imputer une variable prédictive catégorielle manquante pour un modèle de forêt aléatoire?

J'ai un ensemble de données x, y que j'utilise pour construire une forêt aléatoire. Les données x sont un vecteur de valeurs qui inclut certaines NA. J'utilise donc rfImputepour gérer les données manquantes et créer une forêt aléatoire. Maintenant, j'ai une nouvelle observation invisible x (avec un NA) et je …

8 r random-forest missing-data

4

Un intervalle de confiance pour la variance serait-il plus étroit si nous connaissions la moyenne a priori?

Disons que nous connaissons la moyenne d'une distribution donnée. Cela affecte-t-il l'estimation par intervalle de la variance d'une variable aléatoire (qui est par ailleurs calculée à l'aide de la variance de l'échantillon)? Comme dans, pouvons-nous obtenir un intervalle plus petit pour le même niveau de confiance?

8 normal-distribution confidence-interval variance

1

Finesse de la grille et sur-ajustement lors du réglage en LASSO, crête, filet élastique

Je me demande la finesse optimale de la grille et quelle est la relation entre la finesse de la grille et le sur-ajustement dans les méthodes de régularisation telles que LASSO, régression de crête ou filet élastique. Supposons que je veuille adapter un modèle de régression utilisant LASSO à un …

8 lasso regularization ridge-regression overfitting elastic-net

2

Pourquoi certaines estimations de régression diffèrent-elles par un changement de signe, mais d'autres non, lorsque je change de niveau de référence?

Supposons que j'ai un résultat continu yet deux prédicteurs factoriels, chacun avec deux niveaux. L'un de mes prédicteurs catégoriques drug, peut avoir deux niveaux ("A" ou "B"), l'autre l'est smokeYes. Lorsque j'exécute un modèle de régression, je peux choisir la ligne de base ou le niveau de référence d' drugêtre …

8 regression anova multiple-regression contrasts

2

OLS en termes de moyens et de taille d'échantillon

Étant donné un modèle: y=β0+β1⋅ f+ uy=β0+β1⋅F+u y = \beta_0 + \beta_1 \cdot f + u Où est factice si femelle et sinon, y est hauteur en cm. La taille de l'échantillon est au total. Plus loin et . Calculez les estimations des paramètres.FFf= 1=1=1000nFe m a l e=nm a …

8 self-study least-squares