Statistiques et Big Data

1

Distributions sur le simplex avec des composants corrélés

Je cherche une sorte de distribution sur le simplexe dans laquelle les composants sont corrélés de manière ordinale. Autrement dit, si est tiré de notre distribution sur le simplexe, je voudrais que soit positivement corrélé avec ses voisins et , disons . Un Dirichlet à la vanille ne peut clairement …

8 correlation dirichlet-distribution

3

Comment normaliser un tableau si l'écart-type est nul?

J'essaie de normaliser les colonnes de l'ensemble de données pour la régression linéaire. L'une des colonnes a l'écart type = 0. def standardize(X): return (X - mean(X)) / std(X) Donc, ce code ne fonctionne pas. Existe-t-il des astuces pour résoudre ce problème? J'ai essayé deux choses Jetez la colonne avec …

8 regression standardization

1

détection du plagiat sur test à choix multiples

Supposons qu'un surveillant soupçonne un élève de copier les réponses sur le papier d'un autre élève lors d'un examen à choix multiples. Elle vérifie plus tard leurs réponses et trouve des similitudes, mais d'un autre côté, il y a forcément des similitudes étant donné la nature de l'examen. Comment doit-elle …

8 correlation terminology

5

Estimation doublement robuste de la mise en œuvre des effets de causalité

Quelqu'un connaît-il une implémentation (autre que la macro SAS) de la méthode d'estimation doublement robuste trouvée dans: Funk, MJ, Westreich, D. et al (2011). Estimation doublement robuste des effets causaux. American Journal of Epidemiology, 173 (7): 761-767. [DOI] ?

8 regression

1

Comprendre le problème Behrens – Fisher

Cette section de cet article dit: Ronald Fisher en 1935 a introduit l'inférence fiduciale afin de l'appliquer à ce problème. Il a fait référence à un article antérieur de WV Behrens de 1929. Behrens et Fisher ont proposé de trouver la distribution de probabilité de où et sont les deux …

8 inference fiducial

1

Régularisation du collecteur à l'aide du graphe laplacien dans SVM

J'essaie d'implémenter la régularisation du manifold dans les machines à vecteurs de support (SVM) dans Matlab. Je suis les instructions du document de Belkin et al. (2006), il y a l'équation: f∗=argminf∈Hk∑li=1V(xi,yi,f)+γA∥f∥2A+γI∥f∥2If∗=argminf∈Hk∑i=1lV(xi,yi,f)+γA‖f‖A2+γI‖f‖I2f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2} où V est une fonction de perte et γAγA\gamma_A est …

8 machine-learning svm regularization

1

Quelles distributions sur [0,1] autres que la distribution bêta forment de beaux composés avec la distribution binomiale?

Pour quelles distributions x, autre que bêta, la distribution x-binomiale est-elle agréable? Les distributions bêta et binomiale sont réputées conjuguées mais je suis curieux de savoir si d'autres distributions non conjuguées donneront des pmfs composés relativement simples. Par gentil, je veux dire que le pmf est agréable à calculer sans …

8 beta-binomial

1

Intervalles de confiance lors de l'utilisation du théorème de Bayes

Je calcule des probabilités conditionnelles et des intervalles de confiance à 95% associés. Pour bon nombre de mes cas, j'ai un décompte simple des xsuccès des nessais (à partir d'un tableau de contingence), donc je peux utiliser un intervalle de confiance binomial, tel que celui fourni par binom.confint(x, n, method='exact')dans …

8 r bayesian confidence-interval conditional-probability hidden-markov-model segmentation hypothesis-testing statistical-significance multiple-comparisons multiple-regression r regression survey sample finite-population pca model-selection dataset partitioning clustering time-series least-squares regression standard-error causality r time-series outliers missing-data machine-learning svm hypothesis-testing discrete-data r data-visualization survey likert finance regression pca feature-selection stepwise-regression underdetermined svm natural-language

4

valeur p comme distance?

Les valeurs de p entre plusieurs tests par paire peuvent-elles être considérées comme une mesure de similitude / distance et une mise à l'échelle multidimensionnelle peut-elle être appliquée sur une matrice de paires de valeurs de p pour réduire la dimensionnalité? C'est une question douce, mais quel serait le plus …

8 multivariate-analysis p-value dimensionality-reduction

2

Processus de Dirichlet pour l'apprentissage supervisé?

Il semble que lorsque je jette un coup d'œil ici aux algorithmes d'apprentissage à la mode, des choses comme les réseaux de neurones, les arbres boostés, les machines à vecteurs de support, les forêts aléatoires et les amis sont promus pour les problèmes d'apprentissage supervisé. Les processus de Dirichlet et …

8 dirichlet-process

1

Comparaisons moyennes après imputation multiple

Je dois faire quelques comparaisons moyennes simples entre les groupes (tests F ANOVA de base) sur des données avec des valeurs manquantes. J'utilise le package de souris dans R pour l'imputation multiple, mais je ne peux regrouper les résultats que pour les coefficients du modèle linéaire, ou le .R2R2R^2 Quelqu'un …

8 r regression t-test f-test multiple-imputation

1

Comment générer un joli tableau récapitulatif?

Je veux que R affiche les données qu'il me donne de la summary()fonction dans un tableau afin que je puisse facilement les partager. Je suis actuellement en train de faire summary()dans la console, puis de prendre une capture d'écran, mais je préfère que cela soit généré comme un joli tableau, …

8 r dataset descriptive-statistics tables

3

OLS:

Supposons que sont des séries chronologiques avec , ( et est similaire à celle de , mais change lorsque le mannequin = 1). et , . Dans un contexte réel, il s'agira de rendements boursiers périodiques sur entreprises (mais vous pouvez ignorer cela). Il existe un mannequin, qui est égal …

8 time-series least-squares residuals bias

1

Modélisation d'une spline dans le temps - matrice de conception et étude des approches

Une variable de réponse y est une fonction non linéaire d'un certain nombre de variables prédictives X (dans mes données réelles, la réponse est distribuée de façon binomiale, mais ici j'utilise une valeur normalement distribuée pour plus de simplicité). Je peux modéliser les relations entre les prédicteurs et la réponse …

8 r ggplot2 splines gam

2

Comment la distribution gamma inverse est-elle liée à et ?

Étant donné que l'estimation postérieure de σ′2σ′2\sigma'^{2} d'une vraisemblance normale et d'un gamma inverse antérieur sur σ2σ2\sigma^2 est: σ′2∼IG(α+n2,β+∑ni=1(yi−μ)22)σ′2∼IG(α+n2,β+∑i=1n(yi−μ)22)\sigma'^{2}\sim\textrm{IG}\left(\alpha + \frac{n}{2}, \beta +\frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right) ce qui équivaut à σ′2∼IG(n2,nσ22)σ′2∼IG(n2,nσ22)\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{n\sigma^2}{2}\right) puisqu'un \ textrm {IG} faible (\ alpha, \ beta)IG(α,β)IG(α,β)\textrm{IG}(\alpha, \beta) antérieur sur σ2σ2\sigma^2 supprime αα\alpha et ββ\beta de l'équation 1: …

8 bayesian prior conjugate-prior