Statistiques et Big Data

5

Pourquoi utiliser la théorie des valeurs extrêmes?

Je viens du génie civil, dans lequel nous utilisons la théorie des valeurs extrêmes , comme la distribution GEV pour prédire la valeur de certains événements, comme la plus grande vitesse du vent , c'est-à-dire la valeur à laquelle 98,5% de la vitesse du vent serait inférieure. Ma question est …

18 quantiles extreme-value

3

Pourquoi la statistique de l'écart pour les moyennes k suggère-t-elle un cluster, même s'il y en a évidemment deux?

J'utilise K-means pour regrouper mes données et je cherchais un moyen de suggérer un numéro de cluster "optimal". Les statistiques sur les écarts semblent être un moyen courant de trouver un bon numéro de cluster. Pour une raison quelconque, il renvoie 1 comme numéro de cluster optimal, mais quand je …

18 r machine-learning clustering k-means

1

Positionner les flèches sur un biplot PCA

Je cherche à implémenter un biplot pour l'analyse des composants principaux (PCA) en JavaScript. Ma question est, comment puis-je déterminer les coordonnées des flèches à partir de la sortie de la décomposition vectorielle singulière (SVD) de la matrice de données?U,V,DU,V,DU,V,D Voici un exemple de biplot produit par R: biplot(prcomp(iris[,1:4])) J'ai …

18 pca svd biplot

2

Valeur de p dans un test bilatéral avec distribution nulle asymétrique

Ma situation est la suivante: je veux, à travers une étude de Monte-Carlo, comparer les valeurs de de deux tests différents pour la signification statistique d'un paramètre estimé (null est "aucun effet - le paramètre est nul", et l' alternative implicite est " paramètre n'est pas nul "). Le test …

18 hypothesis-testing p-value

2

Distribution du maximum de deux variables normales corrélées

Disons que j'ai deux variables aléatoires normales standard et qui sont conjointement normales avec le coefficient de corrélation .X1X1X_1 rX2X2X_2rrr Quelle est la fonction de distribution de ?max(X1,X2)max(X1,X2)\max(X_1, X_2)

18 correlation normal-distribution extreme-value

1

Preuve de la formule LOOCV

D'après An Introduction to Statistical Learning de James et al., L'estimation de validation croisée avec oubli (LOOCV) est définie par CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i where MSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2. Without proof, equation (5.2) states that for a least-squares or polynomial regression (whether this applies to regression on just one variable is unknown …

18 regression self-study cross-validation least-squares

5

Qu'est-ce qu'un bon livre sur la philosophie derrière la pensée bayésienne?

Qu'est-ce qu'un bon livre sur la philosophie bayésienne, opposant les subjectivistes aux objectivistes, expliquant la vue de la probabilité comme état des connaissances dans les statistiques bayésiennes, etc.? Peut-être le livre de Savage? Au début, je pensais que Berger (1986) pouvait fonctionner, mais ce n'est pas ce que je recherche. …

18 bayesian references philosophical

1

Signification en langage clair des tests «dépendants» et «indépendants» dans la littérature des comparaisons multiples?

Dans la littérature sur le taux d'erreur au niveau de la famille (FWER) et sur le taux de fausses découvertes (FDR), des méthodes particulières de contrôle du FWER ou du FDR conviennent aux tests dépendants ou indépendants. Par exemple, dans l'article de 1979 "Une procédure de test multiple à rejet …

18 multiple-comparisons independence non-independent familywise-error false-discovery-rate

5

Détection des changements dans les séries temporelles (exemple R)

J'aimerais détecter des changements dans les données de séries chronologiques, qui ont généralement la même forme. Jusqu'à présent, j'ai travaillé avec le changepointpackage pour R et les fonctions cpt.mean(), cpt.var()et cpt.meanvar(). cpt.mean()avec la méthode PELT fonctionne bien lorsque les données restent généralement sur un seul niveau. Cependant, je voudrais également …

18 r time-series change-point structural-change

3

Sur le test exact de Fisher: Quel test aurait été approprié si la dame n'avait pas connu le nombre de tasses de lait en premier?

Dans la célèbre expérience de dégustation de thé par RA Fisher, la dame est informée du nombre de tasses de lait d'abord / de thé d'abord (4 pour chacune des 8 tasses). Cela respecte l'hypothèse totale marginale fixe du test exact de Fisher. J'imaginais faire ce test avec mon ami, …

18 hypothesis-testing statistical-significance fishers-exact conditioning

1

Utilisation du bootstrap sous H0 pour effectuer un test de la différence de deux moyennes: remplacement au sein des groupes ou au sein de l'échantillon groupé

Supposons que j'ai des données avec deux groupes indépendants: g1.lengths <- c (112.64, 97.10, 84.18, 106.96, 98.42, 101.66) g2.lengths <- c (84.44, 82.10, 83.26, 81.02, 81.86, 86.80, 85.84, 97.08, 79.64, 83.32, 91.04, 85.92, 73.52, 85.58, 97.70, 89.72, 88.92, 103.72, 105.02, 99.48, 89.50, 81.74) group = rep (c ("g1", "g2"), c …

18 r hypothesis-testing bootstrap small-sample permutation-test

2

Moyenne de l'échantillon bootstrap vs statistique de l'échantillon

Disons que j'ai un échantillon et l' échantillon de bootstrap de cet échantillon pour un stastitique (par exemple la moyenne). Comme nous le savons tous, cet échantillon bootstrap estime la distribution d'échantillonnage de l'estimateur de la statistique.χχ\chi Maintenant, la moyenne de cet échantillon bootstrap est-elle une meilleure estimation de la …

18 estimation bootstrap

2

Modèle de Markov caché vs modèle de transition de Markov vs modèle d'état-espace…?

Pour ma thèse de maîtrise, je travaille sur le développement d'un modèle statistique des transitions entre différents états, défini par le statut sérologique. Pour l'instant, je ne donnerai pas trop de détails dans ce contexte, car ma question est plus générale / théorique. Quoi qu'il en soit, mon intuition est …

18 machine-learning self-study hidden-markov-model

2

Pourquoi dans la définition de la normalité asymptotique?

Une séquence d'estimateurs pour un paramètre est asymptotiquement normale si . ( source ) On appelle alors la variance asymptotique de . Si cette variance est égale à la borne de Cramer-Rao , nous disons que l'estimateur / séquence est asymptotiquement efficace. θ √UnUnU_nθθ\thetan−−√(Un−θ)→N(0,v)n(Un−θ)→N(0,v)\sqrt{n}(U_n - \theta) \to N(0,v)U nvvvUnUnU_n Question: …

18 estimation asymptotics efficiency

1

Séparation aveugle de la source du mélange convexe?

Supposons que je sources indépendantes, X 1 , X 2 , . . . , X n et I observent m mélanges convexes: YnnnX1, X2, . . . , XnX1,X2,...,XnX_1, X_2, ..., X_nmmmOui1. . .Ouim= a11X1+ a12X2+ ⋯ +a1 nXn=am 1X1+ am 2X2+ ⋯ + am nXnOui1=une11X1+une12X2+⋯+une1nXn...Ouim=unem1X1+unem2X2+⋯+unemnXn\begin{align} Y_1 &= a_{11}X_1 …

18 pca ica