Statistiques et Big Data

Q & A pour les personnes intéressées par les statistiques, l'apprentissage automatique, l'analyse de données, l'exploration de données et la visualisation de données

1
Une convergence presque sûre n'implique pas une convergence complète
Nous disons que convergent complètement vers si pour chaque .X1,X2,…X1,X2,…X_1, X_2, \ldotsXXXϵ&gt;0ϵ&gt;0\epsilon>0 ∑∞n=1P(|Xn−X|&gt;ϵ)&lt;∞∑n=1∞P(|Xn−X|&gt;ϵ)&lt;∞\sum_{n=1}^\infty \text{P}\left(|X_n-X|>\epsilon\right) <\infty Avec le lemme de Borel Cantelli, il est simple de prouver qu'une convergence complète implique une convergence presque sûre. Je cherche un exemple où la convergence ne peut pas être prouvée avec Borel Cantelli. Il …
1
La formule du test bayésien A / B n'a aucun sens
J'utilise la formule de test ab bayésien afin de calculer les résultats du test AB en utilisant la méthodologie bayésienne. Pr ( pB&gt; pUNE) = ∑i = 0αB- 1B ( αUNE+ i , βB+ βUNE)( βB+ i ) B ( 1 + i , βB) B ( αUNE, βUNE)Pr(pB&gt;pUNE)=∑je=0αB-1B(αUNE+je,βB+βUNE)(βB+je)B(1+je,βB)B(αUNE,βUNE) \Pr(p_B …
10 r  bayesian  ab-test 
2
Implémentation de la validation croisée imbriquée
J'essaie de comprendre si ma compréhension de la validation croisée imbriquée est correcte, j'ai donc écrit cet exemple de jouet pour voir si j'ai raison: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import load_boston # set random state state = 1 …
3
Comment classer un ensemble de données déséquilibré par Convolutional Neural Networks (CNN)?
J'ai un ensemble de données déséquilibré dans une tâche de classification binaire, où le montant positif contre le montant négatif est de 0,3% contre 99,7%. L'écart entre les positifs et les négatifs est énorme. Lorsque je forme un CNN avec la structure utilisée dans le problème MNIST, le résultat du …
1
Suffisance ou insuffisance
Considérons un échantillon aléatoire où sont iid des variables aléatoires de où . Vérifiez si est une statistique suffisante pour .{X1,X2,X3}{X1,X2,X3}\{X_1,X_2,X_3\}XiXiX_iBernoulli(p)Bernoulli(p)Bernoulli(p)p∈(0,1)p∈(0,1)p\in(0,1)T(X)=X1+2X2+X3T(X)=X1+2X2+X3T(X)=X_1+2X_2+X_3ppp Premièrement, comment trouver la distribution de ? Ou devrait-il être décomposé en et cela suivra-t-il ? Je ne pense pas car notez que toutes les variables ne sont pas …
2
Déterminant de la matrice d'information de Fisher pour un modèle sur-paramétré
Considérons une variable aléatoire de Bernoulli avec le paramètre (probabilité de succès). La fonction de vraisemblance et les informations de Fisher (une matrice ) sont:θ 1 × 1X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align} Considérons maintenant une version "sur-paramétrisée" …
1
Modèles linéaires généralisés vs modèles Timseries pour la prévision
Quelles sont les différences dans l'utilisation de modèles linéaires généralisés, tels que la détermination automatique de pertinence (ARD) et la régression de crête, par rapport aux modèles de séries chronologiques comme Box-Jenkins (ARIMA) ou le lissage exponentiel pour les prévisions? Existe-t-il des règles générales sur le moment d’utiliser GLM et …
1
Est -
Dans le test d'hypothèse statistique, l'hypothèse nulle prend souvent la forme (au moins dans les livres que j'ai lus): H 0 : θ = θ 0 H 0 : θ ≤ θ 0 ou H 0 : θ 1 ≤ θ ≤ θ 2H0H0H_0H0:H0:θ=θ0θ≤θ0H0:θ=θ0H0:θ≤θ0 \begin{align*} H_0:&\theta=\theta_0\\ H_0:&\theta\le\theta_0 \end{align*} H0:θ1≤θ≤θ2H0:θ1≤θ≤θ2 H_0:\theta_1\le\theta\le\theta_2 …
3
Existe-t-il des équivalents normalisés de l'asymétrie et du kurtosis?
Quel serait l'équivalent normalisé de l'asymétrie qui aurait la même unité que les données? De même, quel serait l'équivalent normalisé de Kurtosis? Idéalement, ces fonctions devraient être linéaires par rapport aux données, ce qui signifie que si toutes les observations devaient être multipliées par un facteur n, l'asymétrie et le …
2
Comment dois-je modéliser les interactions entre les variables explicatives lorsque l'une d'entre elles peut avoir des termes quadratiques et cubiques?
J'espère sincèrement avoir formulé cette question de manière à ce qu'elle puisse être résolue définitivement - sinon, faites-le moi savoir et je vais réessayer! Je devrais également, je suppose, noter que j'utiliserai R pour ces analyses. J'ai plusieurs mesures plant performance (Ys)dont je soupçonne qu'elles ont été influencées par quatre …
2
Existe-t-il un moyen élégant / perspicace de comprendre cette identité de régression linéaire pour plusieurs ?
En régression linéaire, je suis tombé sur un résultat délicieux que si nous ajustons le modèle E[Y]=β1X1+β2X2+c,E[Y]=β1X1+β2X2+c,E[Y] = \beta_1 X_1 + \beta_2 X_2 + c, puis, si nous normalisons et données , et ,YYYX1X1X_1X2X2X_2 R2=Cor(Y,X1)β1+Cor(Y,X2)β2.R2=Cor(Y,X1)β1+Cor(Y,X2)β2.R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2. Cela me semble être une version à 2 …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.