Statistiques et Big Data

4

Étant donné n r.v uniformément distribués, quel est le PDF pour un rv divisé par la somme de tous les n r.v?

Je m'intéresse au type de cas suivant: il y a 'n' variables aléatoires continues qui doivent s'additionner à 1. Quel serait alors le PDF pour une seule de ces variables? Donc, si , alors je suis intéressé par la distribution de , où et sont tous uniformément distribués. La moyenne, …

10 uniform

2

Package R pour combiner les valeurs de p en utilisant la méthode de Fisher ou Stouffer

Existe-t-il un package R (ou même une fonction R de base) qui implémente la méthode de Fisher ou Stouffer pour combiner les valeurs p? Le codage devrait être presque trivial, mais je préfère utiliser (et citer) un package. Exemple de code dans cette question: Méthode de Fisher pour peigner les …

10 r combining-p-values

3

Test G contre le test du chi carré de Pearson

Je teste l'indépendance dans une table de contingenceJe ne sais pas si le test G ou le test chi carré de Pearson est meilleur. La taille de l'échantillon est de l'ordre de centaines, mais le nombre de cellules est faible. Comme indiqué sur la page Wikipedia , l'approximation de la …

10 chi-squared p-value monte-carlo contingency-tables

1

Quelle est la variance de cet estimateur

Je veux estimer la moyenne d'une fonction f, c'est-à-dire où et sont des variables aléatoires indépendantes. J'ai des échantillons de f mais pas iid: il y a des échantillons iid pour et pour chaque Y i il y a n i échantillons de X : X i , 1 , …

10 variance unbiased-estimator estimators

1

Une ACP à grande échelle est-elle même possible?

La méthode classique de l'analyse en composantes principales (ACP) consiste à le faire sur une matrice de données d'entrée dont les colonnes ont une moyenne nulle (alors l'ACP peut "maximiser la variance"). Ceci peut être réalisé facilement en centrant les colonnes. Cependant, lorsque la matrice d'entrée est clairsemée, la matrice …

10 pca algorithms dimensionality-reduction large-data sparse

2

Fonction de coût d'entropie croisée dans un réseau de neurones

Je regarde la fonction de coût d'entropie croisée trouvée dans ce tutoriel : C= - 1n∑X[ ylna + ( 1 - y) ln( 1 - a ) ]C=−1n∑x[yln⁡a+(1−y)ln⁡(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] Que résumons-nous exactement? C'est, bien sûr, sur Xxx , mais yyy et uneaa ne changent pas …

10 neural-networks error-propagation

1

Valeur attendue en fonction des quantiles?

Je me demandais où il y avait une formule générale pour relier la valeur attendue d'une variable aléatoire continue en fonction des quantiles du même rv La valeur attendue de rv est définie comme: et les quantiles sont définis comme suit: pour .E ( X ) = ∫ x d …

10 expected-value quantiles quantile-regression

3

Pourquoi devrait-on faire une transformation WOE de prédicteurs catégoriels en régression logistique?

Quand la transformation du poids de la preuve (WOE) des variables catégorielles est-elle utile? L'exemple peut être vu dans la transformation WOE (Donc, pour une réponse , & un prédicteur catégorique avec catégories, & succès sur essais dans la ème catégorie de ce prédicteur, le WOE pour la ème catégorie …

10 logistic categorical-data regression-strategies

1

Trouvez l'unique MVUE

Cette question est tirée de l'introduction de Robert Hogg aux statistiques mathématiques, 6e version, problème 7.4.9, page 388. Laissez X1,...,XnX1,...,XnX_1,...,X_n soit iid avec pdf f(x;θ)=1/3θ,−θ<x<2θ,f(x;θ)=1/3θ,−θ<x<2θ,f(x;\theta)=1/3\theta,-\theta0 . (a) Trouvez la mle θ de θθ^θ^\hat{\theta}θθ\theta (b) est θ une statistique suffisante pour θ ? Pourquoi ?θ^θ^\hat{\theta}θθ\theta (c) est (n+1)θ^/n(n+1)θ^/n(n+1)\hat{\theta}/n la MVUE unique …

10 self-study maximum-likelihood order-statistics sufficient-statistics umvue

1

La modélisation avec des forêts aléatoires nécessite-t-elle une validation croisée?

Pour autant que je l'ai vu, les opinions ont tendance à différer à ce sujet. Les meilleures pratiques dicteraient certainement l'utilisation de la validation croisée (surtout si l'on compare les RF avec d'autres algorithmes sur le même ensemble de données). D'un autre côté, la source d'origine indique que le fait …

10 cross-validation random-forest overfitting out-of-sample

1

Gestion de l'autocorrélation élevée dans MCMC

Je construis un modèle bayésien hiérarchique assez complexe pour une méta-analyse utilisant R et JAGS. Pour simplifier un peu, les deux niveaux clés du modèle ont où est la ème observation de la (dans ce cas, les rendements des cultures GM vs non GM) dans l'étude , est l'effet pour …

10 autocorrelation multilevel-analysis mcmc jags

2

Que dire des modèles de données d'observation en l'absence d'instruments?

J'ai eu dans le passé un certain nombre de questions posées à mon sujet concernant des articles publiés dans un certain nombre de domaines où des régressions (et des modèles connexes, tels que des modèles de panel ou des GLM) sont utilisées sur des données d'observation (c'est-à-dire des données non …

10 regression references instrumental-variables observational-study

4

Comment s'appelle ce diagramme

Quelqu'un peut-il me dire quel est le nom de ce type de diagramme (le cas échéant)? Quelqu'un peut-il également suggérer des outils, aussi simples soient-ils, pour tracer un tel diagramme?

10 categorical-data proportion

1

Pourquoi la prévision des modèles ARMA est-elle effectuée par un filtre de Kalman

Quels sont les avantages d'exprimer un modèle ARMA en tant que modèle d'espace d'état et de faire des prévisions à l'aide d'un filtre de Kalman? Cette méthodologie est par exemple utilisée dans l'implémentation SARIMAX de modèles de statistiques python: https://github.com/statsmodels/statsmodels/tree/master/statsmodels/tsa/statespace

10 forecasting arma kalman-filter state-space-models statsmodels

1

Comprendre l'utilisation des logarithmes dans le logarithme TF-IDF

Je lisais: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Mais je n'arrive pas à comprendre exactement pourquoi la formule a été construite telle qu'elle est. Ce que je comprends: iDF devrait à un certain niveau mesurer la fréquence à laquelle un terme S apparaît dans chacun des documents, sa valeur diminuant à mesure que le terme …

10 machine-learning clustering mathematical-statistics text-mining natural-language