Statistiques et Big Data

1

Approximation de second ordre de la fonction de perte (livre d'apprentissage en profondeur, 7.33)

Dans le livre de Goodfellow (2016) sur l'apprentissage profond, il a parlé de l'équivalence de l'arrêt précoce de la régularisation L2 ( https://www.deeplearningbook.org/contents/regularization.html page 247). L'approximation quadratique de la fonction de coût jjj est donnée par: J^( θ ) = J( w∗) + 12( w - w∗)TH( w - w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) …

11 neural-networks deep-learning loss-functions derivative

3

Pourquoi les seuils utilisés pour les facteurs de Bayes et les valeurs de p sont-ils si différents?

J'essaie de comprendre le facteur Bayes (BF). Je crois qu'ils sont comme le rapport de vraisemblance de 2 hypothèses. Donc, si BF est 5, cela signifie que H1 est 5 fois plus probable que H0. Et une valeur de 3 à 10 indique des preuves modérées, tandis que> 10 indique …

11 hypothesis-testing bayesian p-value bayes-factors

2

Existe-t-il des exemples d'une variable normalement distribuée qui n'est * pas * en raison du théorème de la limite centrale?

La distribution normale ne semble pas intuitive jusqu'à ce que vous appreniez le CLT, ce qui explique pourquoi il est si répandu dans la vie réelle. Mais apparaît-elle jamais comme la distribution "naturelle" d'une certaine quantité?

11 normal-distribution central-limit-theorem

2

Les paramètres du maximum de vraisemblance s'écartent des distributions postérieures

J'ai une fonction de vraisemblance pour la probabilité de mes données étant donné certains paramètres du modèle , que je voudrais estimer. En supposant des a priori plats sur les paramètres, la probabilité est proportionnelle à la probabilité postérieure. J'utilise une méthode MCMC pour échantillonner cette probabilité.L (d| θ)L(ré|θ)\mathcal{L}(d | …

11 bayesian maximum-likelihood optimization inference mcmc

2

Pourquoi les modèles «erreur dans X» ne sont-ils pas plus largement utilisés?

Lorsque l' on calcule l'erreur - type d'un coefficient de régression, nous ne tenons pas compte du caractère aléatoire dans la matrice de conception XXX . Dans OLS par exemple, on calcule var(β^)var(β^)\text{var}(\hat{\beta}) en tant que var((XTX)−1XTY)=σ2(XTX)−1var((XTX)−1XTY)=σ2(XTX)−1\text{var}((X^TX)^{-1}X^TY) = \sigma^2(X^TX)^{-1} Si le XXX était considéré comme aléatoire, la loi de la …

11 regression probability variance inference

2

Comment les Bayésiens vérifient-ils leurs méthodes en utilisant des méthodes de simulation Monte Carlo?

Contexte : J'ai un doctorat en psychologie sociale, où les statistiques théoriques et les mathématiques étaient à peine couvertes dans mes cours quantitatifs. Au cours des études de premier cycle et des cycles supérieurs, on m'a enseigné (un peu comme beaucoup d'entre vous aussi dans les sciences sociales, probablement) à …

11 probability bayesian simulation monte-carlo frequentist

2

Existe-t-il des tests statistiques «ésotériques» à très faible puissance?

Contexte En informatique, en mathématiques et parfois dans d'autres domaines, les exemples «ésotériques» peuvent non seulement être divertissants, mais utiles pour illustrer certains concepts, par exemple: Bogosort et Slowsort sont des algorithmes de tri très inefficaces qui peuvent être utilisés pour comprendre les propriétés des algorithmes, en particulier par rapport …

11 hypothesis-testing teaching humor

3

Terminologie de la moyenne bayésienne de probabilité postérieure avec un a priori uniforme

Si p∼p∼p \sim Uniforme (0,1)(0,1)(0,1) et X∼X∼X \sim Bin (n,p)(n,p)(n, p) , alors la moyenne postérieure de ppp est donnée par X+1n+2X+1n+2\frac{X+1}{n+2} . Y a-t-il un nom commun pour cet estimateur? J'ai trouvé que cela résout de nombreux problèmes et j'aimerais pouvoir pointer les gens vers une référence, mais je …

11 bayesian terminology laplace-smoothing

2

Afficher l'équivalence entre le Norm régularisées régression et Norm Constrained régression en utilisant KKT

Selon les références Livre 1 , Livre 2 et papier . Il a été mentionné qu'il existe une équivalence entre la régression régularisée (Ridge, LASSO et Elastic Net) et leurs formules de contraintes. J'ai également examiné Cross Validated 1 et Cross Validated 2 , mais je ne vois pas de …

11 regression optimization lasso ridge-regression elastic-net

4

Inférence sans vraisemblance - qu'est-ce que cela signifie?

Récemment, j'ai pris conscience des méthodes «sans vraisemblance» utilisées dans la littérature. Cependant, je ne sais pas exactement ce que signifie qu'une méthode d'inférence ou d'optimisation est sans vraisemblance . Dans l'apprentissage automatique, l'objectif est généralement de maximiser la probabilité que certains paramètres correspondent à une fonction, par exemple les …

11 machine-learning deep-learning maximum-likelihood generative-models abc

2

Gibbs échantillonne-t-il une méthode MCMC?

D'après ce que je comprends, c'est (du moins, c'est ainsi que Wikipedia le définit ). Mais j'ai trouvé cette déclaration d'Efron * (je souligne): La chaîne de Markov Monte Carlo (MCMC) est la grande réussite des statistiques bayésiennes modernes. MCMC, et sa méthode sœur «échantillonnage de Gibbs», permettent le calcul …

11 mcmc gibbs

5

Les intervalles de confiance sont-ils utiles?

Dans les statistiques fréquentistes, un intervalle de confiance à 95% est une procédure produisant un intervalle qui, si elle était répétée un nombre infini de fois, contiendrait le vrai paramètre 95% du temps. Pourquoi est-ce utile? Les intervalles de confiance sont souvent mal compris. Ce n'est pas un intervalle dans …

11 hypothesis-testing bayesian mathematical-statistics confidence-interval frequentist

2

Une vraisemblance antérieure et exponentielle appropriée peut-elle conduire à une mauvaise postérieure?

11 bayesian prior posterior

5

Que signifie précisément emprunter des informations?

Je les parle souvent d'emprunt ou de partage d'informations dans les modèles hiérarchiques bayésiens. Je n'arrive pas à obtenir une réponse claire sur ce que cela signifie réellement et s'il est unique aux modèles hiérarchiques bayésiens. J'ai en quelque sorte compris l'idée: certains niveaux de votre hiérarchie partagent un paramètre …

11 machine-learning bayesian multilevel-analysis terminology hierarchical-bayesian

1

Création d'un ensemble de données déséquilibré

J'aimerais que mon modèle formé soit testé sur un ensemble de données déséquilibré. Existe-t-il des algorithmes disponibles pour générer des données synthétiques à partir d'un ensemble de données étiqueté équilibré (spam / non-spam)?

11 unbalanced-classes synthetic-data