Statistiques et Big Data

2

Pouvez-vous expliquer le paradoxe de Simpson avec des équations, au lieu de tableaux de contingence?

Je n'ai probablement pas une compréhension claire du paradoxe de Simpson . Informellement, je sais que la moyenne de la réponse Y1, regroupée sur tous les niveaux possibles du facteur A, peut être supérieure à la moyenne de la réponse Y2 sur tous les niveaux de A, même si la …

14 mathematical-statistics simpsons-paradox

1

Une telle corrélation pondérée?

J'ai quelques données intéressantes sur les artistes musicaux les plus populaires diffusées divisées par emplacement en environ 200 districts du Congrès. Je veux voir s'il est possible d'interroger une personne sur ses préférences musicales et de déterminer si elle "écoute comme un démocrate" ou "écoute comme un républicain". (Naturellement, c'est …

14 correlation prediction pooling weighted-data

2

Hamiltonian monte carlo

Quelqu'un peut-il expliquer l'idée principale derrière les méthodes Hamiltoniennes Monte Carlo et dans quels cas elles donneront de meilleurs résultats que les méthodes Markov Chain Monte Carlo?

14 bayesian mcmc hmc

1

Jeffreys prior pour plusieurs paramètres

Dans certains cas, l'a priori de Jeffreys pour un modèle multidimensionnel complet est généralement considéré comme insuffisant, c'est par exemple le cas dans: (où ε ∼ N ( 0 , σ 2 ) , avec μ et σ inconnus) où le prieur suivant est préféré (au précédent de Jeffreys complet …

14 distributions bayesian estimation prior jeffreys-prior

2

Benchmarks de performance pour MCMC

Y a-t-il eu des études à grande échelle des méthodes MCMC qui comparent les performances de plusieurs algorithmes différents sur une suite de densités de test? Je pense à quelque chose d'équivalent à l'article de Rios et Sahinidis (2013), qui est une comparaison approfondie d'un grand nombre d'optimiseurs de boîte …

14 machine-learning bayesian references mcmc

4

Pourquoi

Remarque: SSTSSTSST = somme des carrés au total, SSESSESSE = somme des erreurs au carré et SSRSSRSSR = somme des carrés de régression. L'équation dans le titre est souvent écrite comme suit: ∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2 Question assez simple, mais je cherche une explication intuitive. Intuitivement, …

14 regression least-squares r-squared

1

Probabilité maximale restreinte avec un rang de colonne inférieur à la totalité de

Cette question traite de l'estimation du maximum de vraisemblance restreint (REML) dans une version particulière du modèle linéaire, à savoir: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), où X(α)X(α)X(\alpha) est une matrice ( n×pn×pn \times p ) paramétrée par α∈Rkα∈Rk\alpha \in \mathbb R^k , tout comme Σ(α)Σ(α)\Sigma(\alpha) …

14 mixed-model maximum-likelihood linear-model optimization reml

2

Comment lisser les données et forcer la monotonie

J'ai quelques données que je voudrais lisser pour que les points lissés diminuent de façon monotone. Mes données diminuent fortement puis commencent à se stabiliser. Voici un exemple utilisant R df <- data.frame(x=1:10, y=c(100,41,22,10,6,7,2,1,3,1)) ggplot(df, aes(x=x, y=y))+geom_line() Quelle bonne technique de lissage pourrais-je utiliser? De plus, ce serait bien si …

14 regression smoothing

2

Qu'est-ce que la minimisation d'énergie dans l'apprentissage automatique?

Je lisais sur l'optimisation d'un problème mal posé en vision par ordinateur et suis tombé sur l'explication ci-dessous à propos de l'optimisation sur Wikipedia. Ce que je ne comprends pas, c'est pourquoi appellent-ils cette optimisation " minimisation d'énergie " dans la vision par ordinateur? Un problème d'optimisation peut être représenté …

14 machine-learning optimization computer-vision

1

Devez-vous adhérer au principe de vraisemblance d'être bayésien?

Cette question découle de la question: quand (si jamais) une approche fréquentiste est-elle substantiellement meilleure qu'une approche bayésienne? Comme je l'ai signalé dans ma solution à cette question, à mon avis, si vous êtes un fréquentiste, vous n'avez pas à croire / adhérer au principe de vraisemblance, car souvent les …

14 bayesian likelihood likelihood-principle

3

Pour l'intuition, quels sont des exemples concrets de variables aléatoires non corrélées mais dépendantes?

Pour expliquer pourquoi non corrélé n'implique pas indépendant, il existe plusieurs exemples qui impliquent un tas de variables aléatoires, mais elles semblent toutes si abstraites: 1 2 3 4 . Cette réponse semble logique. Mon interprétation: Une variable aléatoire et son carré peuvent ne pas être corrélés (car apparemment, le …

14 correlation independence non-independent garch intuition

2

Régression vers la moyenne dans «Penser, vite et lentement»

Dans Thinking, Fast and Slow , Daniel Kahneman pose la question hypothétique suivante: (P. 186) Julie est actuellement senior dans une université d'État. Elle lisait couramment quand elle avait quatre ans. Quelle est sa moyenne pondérée cumulative (moyenne cumulative)? Son intention est d'illustrer comment nous ne tenons souvent pas compte …

14 standard-deviation regression-coefficients regression-to-the-mean

3

Pourquoi le nombre de variables uniformes continues sur (0,1) nécessaires pour que leur somme dépasse un a-t-il une moyenne

Résumons un flux de variables aléatoires, ; soit le nombre de termes dont nous avons besoin pour que le total dépasse un, c'est-à-dire que est le plus petit nombre tel queXiiid∼U(0,1)Xi∼iidU(0,1)X_i \overset{iid}\sim \mathcal{U}(0,1)YYYYYY X1+X2+⋯+XY>1.X1+X2+⋯+XY>1.X_1 + X_2 + \dots + X_Y > 1. Pourquoi la moyenne de égale à la constante …

14 probability self-study expected-value uniform

3

Références justifiant l'utilisation de mélanges gaussiens

Les modèles de mélange gaussiens (GMM) sont attrayants car ils sont simples à utiliser à la fois en analyse et en pratique, et sont capables de modéliser certaines distributions exotiques sans trop de complexité. Il y a quelques propriétés analytiques que nous devrions nous attendre à conserver qui ne sont …

14 probability normal-distribution references gaussian-mixture information-theory

2

Inférence statistique sous erreur de spécification

Le traitement classique de l'inférence statistique repose sur l'hypothèse qu'une statistique correctement spécifiée est utilisée. Autrement dit, la distribution P∗(Y)P∗(Y)\mathbb{P}^*(Y) qui a généré les données observées yyy fait partie du modèle statistique MM\mathcal{M} : P∗(Y)∈M={Pθ(Y):θ∈Θ}P∗(Y)∈M={Pθ(Y):θ∈Θ}\mathbb{P}^*(Y) \in \mathcal{M}=\{\mathbb{P}_\theta(Y) :\theta \in \Theta\} Cependant, nous ne pouvons pas dans la plupart des situations …

14 hypothesis-testing confidence-interval model frequentist misspecification