Statistiques et Big Data

1

K-means comme cas limite de l'algorithme EM pour les mélanges gaussiens avec covariances

Mon objectif est de voir que l'algorithme K-means est en fait un algorithme d'expectation-maximisation pour les mélanges gaussiens dans lequel toutes les composantes ont une covariance dans la limite comme .σ2Iσ2I\sigma^2 Ilimσ→0limσ→0\lim_{\sigma \to 0} Supposons que nous ayons un ensemble de données {x1,…,xN}{x1,…,xN}\{x_1, \dots ,x_N\} des observations de variable aléatoire …

8 self-study k-means expectation-maximization gaussian-mixture

2

Correspondance du score de propension avec un traitement variant dans le temps

La procédure d'appariement des scores de propension de base fonctionne avec des données transversales (c'est-à-dire collectées à un certain moment). La commande psmatch2 populaire utilise une variable fictive indiquant qu'une observation appartient au groupe de traitement ou de contrôle. Cependant, dans mon jeu de données, cette fonction d'indicateur varie dans …

8 stata panel-data propensity-scores

1

Intervalles de tolérance non paramétriques pour les variables discrètes

Supposons que plusieurs personnes évaluent à quel point elles ont aimé un film sur une échelle discrète de 1 à 10, et que vous souhaitez un intervalle [ l , u ] tel qu'avec (au moins) 95% de confiance, (au moins) 90 % de toutes les personnes qui voient le …

8 nonparametric tolerance-interval

2

Preuve du dernier théorème d'Angrist et Imbens 1994

Supposons que nous ayons un instrument binaire qui peut être utilisé pour estimer l'effet de la variable endogène sur le résultat . Supposons que l'instrument ait une première étape importante, qu'il soit assigné au hasard, qu'il satisfasse à la restriction d'exclusion et qu'il satisfasse à la monotonie comme indiqué dans …

8 mathematical-statistics econometrics proof instrumental-variables

2

Pourquoi

Les deux réponses dans ces fils, un et deux affirment queOuiYYdoit être transformé avant d' appliquer toute autre transformation aux prédicteurs. En effet, le chapitre Weisberg sur les transformations se concentre davantage sur DV que sur les prédicteurs, tout comme la page de manuel power carform () du package R …

8 regression data-transformation

1

Pourquoi la probabilité acceptable d'erreurs de type 1 et de type 2 est-elle généralement différente?

Cette question est posée par mon supérieur et je ne sais pas comment l'expliquer. Habituellement, le niveau de confiance accepté est de 0,95, ce qui signifie que la probabilité d'erreur de type 1 est de 5%. Mais la puissance généralement acceptée est de 0,8 (Cohen, 1988) ce qui signifie que …

8 effect-size power

1

Comment comparer les méthodes de prévision?

J'ai plusieurs données intermittentes. Sur la base de ces données, je voudrais comparer plusieurs méthodes de prévision (lissage exponentiel, moyenne mobile, Croston et Syntetos-Boylan), et décider si Croston ou Syntetos Boylan est meilleur que SES ou MA pour les données intermittentes ou non. La mesure que je voudrais comparer est …

8 forecasting method-comparison crostons-method intermittent-time-series

2

Qualité de l'ajustement pour le modèle non linéaire

Nous avons ajusté une fonction non linéaire aux données observées. La prochaine étape devrait être l'évaluation de la qualité de l'ajustement de cette fonction (comme pour les modèles linéaires).R2R2R^2 Quels sont les moyens habituels de mesurer cela? Modifier 1: Le montage a été réalisé comme suit: Effectuer une régression linéaire …

8 goodness-of-fit nonlinear

2

Quelle est la différence mathématique entre l'utilisation d'une approche non informative a priori et d'une approche fréquentiste?

Les priors non informatifs sont préférés dans les cas où les préjugés ne sont pas acceptables (c.-à-d. Salles d'audience, etc.) Cependant, il me semble qu'il serait tout simplement judicieux d'utiliser une approche fréquentiste à la place. Pourquoi l'approche bayésienne a-t-elle même un prior non informatif? Merci!

8 bayesian prior uninformative-prior

4

Faible

Je cherche des papiers qui parlent de "pourquoi bas R2R2R^2 la valeur est acceptable en recherche en sciences sociales ou en éducation ". Veuillez me diriger vers le bon journal si vous en connaissez un.

8 correlation references r-squared social-science

1

Utilisation de mots de sujet générés par LDA pour représenter un document

Je veux faire la classification des documents en représentant chaque document comme un ensemble de fonctionnalités. Je sais qu'il y a plusieurs façons: BOW, TFIDF, ... Je veux utiliser l'allocation de Dirichlet latente (LDA) pour extraire les mots-clés de rubrique de CHAQUE document UNIQUE. le document est représenté par ces …

8 feature-selection text-mining topic-models latent-dirichlet-alloc

1

Valeurs R étrangement grandes dans la méta régression (métafor)

J'utilise le package metafor dans R. J'ai ajusté un modèle d'effets aléatoires avec un prédicteur continu comme suit SIZE=rma(yi=Ds,sei=SE,data=VPPOOLed,mods=~SIZE) Ce qui donne la sortie: R^2 (amount of heterogeneity accounted for): 63.62% Test of Moderators (coefficient(s) 2): QM(df = 1) = 9.3255, p-val = 0.0023 Model Results: se zval pval ci.lb …

8 r meta-analysis meta-regression

2

Largeur de bac optimale pour un histogramme bidimensionnel

Il existe de nombreuses règles pour sélectionner une largeur de bac optimale dans un histogramme 1D (voir par exemple ) Je cherche une règle qui applique la sélection de largeurs optimales de bacs égaux sur des histogrammes bidimensionnels . Existe-t-il une telle règle? Peut-être qu'une des règles bien connues pour …

8 optimization histogram

1

Dérivation de la densité postérieure pour une vraisemblance log-normale et a priori de Jeffreys

La fonction de vraisemblance d'une distribution lognormale est: F( x ; μ , σ) ∝∏nje11σXjeexp( -( lnXje- μ)22σ2)F(X;μ,σ)∝∏je1n1σXjeexp⁡(-(ln⁡Xje-μ)22σ2)f(x; \mu, \sigma) \propto \prod_{i_1}^n \frac{1}{\sigma x_i} \exp \left ( - \frac{(\ln{x_i} - \mu)^2}{2 \sigma^2} \right ) et le Prior de Jeffreys est: p ( μ , σ) ∝1σ2p(μ,σ)∝1σ2p(\mu,\sigma) \propto \frac{1}{\sigma^2} donc la …

8 bayesian prior posterior conjugate-prior uninformative-prior

2

Analyse des données de rotation de la roue de hamster

Avant de poster cette question, j'avais parcouru d'autres questions sur cette pile, et cela va probablement être une promenade dans le parc pour tous ceux qui la liront! Mais la description de cette pile comprend l'analyse et la visualisation des données, donc j'espère que c'est au bon endroit! </preapology> J'utilise …

8 data-visualization dataset