Statistiques et Big Data

5

Comment le kurtosis d'une distribution est-il lié à la géométrie de la fonction de densité?

Le kurtosis consiste à mesurer le pic et la planéité d'une distribution. La fonction de densité de la distribution, si elle existe, peut être considérée comme une courbe et présente des caractéristiques géométriques (telles que la courbure, la convexité, ...) liées à sa forme. Je me demande donc si le …

12 kurtosis geometry

4

Hypothèses de distribution résiduelle de régression

Pourquoi est-il nécessaire de poser l'hypothèse distributionnelle sur les erreurs, c'est-à-dire ϵ i ∼ N ( 0 , σ 2 )yi=Xβ+ϵiyi=Xβ+ϵiy_i = X\beta + \epsilon_{i} , avec .ϵi∼N(0,σ2)ϵi∼N(0,σ2)\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2}) Pourquoi ne pas écrire y i ~ N ( X β , σ 2 )yi=Xβ+ϵiyi=Xβ+ϵiy_i = X\beta + \epsilon_{i} , …

12 regression normal-distribution residuals assumptions notation

1

Informations extraites de la matrice chapeau pour la régression logistique

Il est clair pour moi, et bien expliqué sur plusieurs sites, quelles informations les valeurs sur la diagonale de la matrice de chapeau donnent pour la régression linéaire. La matrice chapeau d'un modèle de régression logistique est moins claire pour moi. Est-ce identique aux informations que vous extrayez de la …

12 regression logistic

1

Modélisation lorsque la variable dépendante a un «seuil»

Toutes mes excuses à l'avance si l'une des terminologies que j'utilise est incorrecte. J'accueillerais toute correction. Si ce que je décris comme une «coupure» porte un nom différent, faites-le moi savoir et je pourrai mettre à jour la question. La situation qui m'intéresse est la suivante: vous avez des variables …

12 regression modeling survival censoring

3

Bayesian vs MLE, problème de surajustement

Dans le livre de Bishop's PRML, il dit que le sur-ajustement est un problème avec l'estimation de maximum de vraisemblance (MLE), et que le bayésien peut l'éviter. Mais je pense que le sur-ajustement est un problème plus lié à la sélection du modèle, pas à la méthode utilisée pour faire …

12 bayesian model-selection overfitting

1

Pourquoi le test F dans les modèles linéaires gaussiens est le plus puissant?

Pour un modèle linéaire gaussien où est supposé se trouver dans un espace vectoriel et a la distribution normale standard sur , la statistique du test pour où est un espace vectoriel, est une fonction un à un croissante de la statistique de déviance : Comment savoir que cette statistique …

12 hypothesis-testing normal-distribution linear-model power likelihood-ratio

2

Calculer l'intervalle de confiance pour la moyenne d'une distribution bêta

Considérons une distribution bêta pour un ensemble donné de notations dans [0,1]. Après avoir calculé la moyenne: μ = αα + βμ=αα+β \mu = \frac{\alpha}{\alpha+\beta} Existe-t-il un moyen de fournir un intervalle de confiance autour de cette moyenne?

12 mean beta-distribution

2

Le test

Je viens de lire dans un magazine scientifique (populaire) plutôt bien respecté (le PM allemand, 02/2013, p.36) sur une expérience intéressante (sans source, malheureusement). Cela a attiré mon attention parce que je doutais intuitivement de la signification du résultat, mais les informations fournies étaient suffisantes pour reproduire le test statistique. …

12 hypothesis-testing chi-squared experiment-design proportion biostatistics

2

Pourquoi le test d'indépendance utilise-t-il la distribution chi carré?

Le test d'ajustement de χ2χ2\chi^2 utilise la statistique suivante : χ20= ∑i = 1n( Oje- Eje)2Ejeχ02=∑i=1n(Oi−Ei)2Ei \chi_0^2=\sum_{i=1}^n\frac{(O_i-E_i)^2}{E_i} Dans le test, en admettant que les conditions sont remplies, on utilise ladistributionχ2χ2\chi^2-pour calculer la valeur de p qui étant donnée leHH0H0H_0 est vrai, on observerait une telle valeur dans un échantillon représentatif …

12 hypothesis-testing chi-squared

4

Test d'hypothèse pour la différence de médiane entre plus de deux échantillons

Question Les résultats des tests de trois groupes de personnes sont enregistrés en tant que vecteurs distincts dans R. set.seed(1) group1 <- rnorm(100, mean = 75, sd = 10) group2 <- rnorm(100, mean = 85, sd = 10) group3 <- rnorm(100, mean = 95, sd = 10) Je veux savoir …

12 r hypothesis-testing multiple-comparisons mean median

5

Algorithme récursif (en ligne) des moindres carrés régularisés

Quelqu'un peut-il m'orienter vers un algorithme en ligne (récursif) pour la régularisation de Tikhonov (moindres carrés régularisés)? Dans un cadre hors ligne, je calculerais β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY utilisant mon ensemble de données d'origine où λλλ est trouvé en utilisant la validation croisée n fois. Une nouvelle valeur yyy peut être prédite pour …

12 regression machine-learning least-squares regularization online

1

Ratio de probabilités vs ratio de PDF

J'utilise Bayes pour résoudre un problème de clustering. Après avoir fait quelques calculs, je me retrouve avec la nécessité d'obtenir le rapport de deux probabilités: P(A)/P(B)P(A)/P(B)P(A)/P(B) pouvoir obtenir . Ces probabilités sont obtenues par intégration de deux KDE multivariés 2D différents comme expliqué dans cette réponse :P(H|D)P(H|D)P(H|D) P(A)=∬x,y:f^(x,y)<f^(ra,sa)f^(x,y)dxdyP(A)=∬x,y:f^(x,y)<f^(ra,sa)f^(x,y)dxdyP(A) = \iint_{x, …

12 probability bayesian maximum-likelihood kernel-smoothing

3

Raison intuitive pour laquelle l'information de Fisher sur le binôme est inversement proportionnelle à

Cela me rend confus / époustouflant que le binôme a une variance proportionnelle à . De manière équivalente, les informations de Fisher sont proportionnelles à 1p ( 1 - p )p(1−p)p(1-p) . Quelle est la raison pour ça? Pourquoi l'information Fisher est-elle minimisée àp=0,5? Autrement dit, pourquoi l'inférence est-elle la …

12 variance binomial interpretation

10

Mots courants qui ont des significations statistiques particulières

Je ne suis pas statisticien mais mon travail de recherche porte sur des statistiques (analyse de données, lecture de littérature, etc.). Un commentaire sur l'une de mes questions publiée ici m'a rappelé que certains mots courants ont des significations ou des connotations particulièrement spécifiques pour ceux qui sont bien pratiqués …

12 terminology

2

MLE signifie-t-il toujours que nous connaissons le PDF sous-jacent de nos données, et EM signifie-t-il que nous ne le savons pas?

J'ai quelques questions conceptuelles simples que j'aimerais clarifier concernant MLE (Maximum Lik vraisemblable Estimation), et quel lien il a, le cas échéant, avec EM (Expectation Maximization). Si je comprends bien, si quelqu'un dit "Nous avons utilisé le MLE", cela signifie-t-il automatiquement qu'il a un modèle explicite du PDF de ses …

12 estimation maximum-likelihood expectation-maximization