Statistiques et Big Data

1

Nombre optimal de cases dans l'histogramme par la règle de Freedman – Diaconis: différence entre le taux théorique et le nombre réel

Wikipédia signale que selon la règle de Freedman et Diaconis, le nombre optimal de casiers dans un histogramme, devrait croître commekkk k ∼n1 / 3k∼n1/3k\sim n^{1/3} où est la taille de l'échantillon.nnn Cependant, si vous regardez la nclass.FDfonction dans R, qui implémente cette règle, au moins avec les données gaussiennes …

8 histogram rule-of-thumb

2

Quels sujets de statistiques fréquentistes devrais-je connaître avant d'apprendre les statistiques bayésiennes?

Je me demandais s'il y avait un sous-ensemble de sujets de statistiques fréquentistes que l'on devrait connaître avant de commencer à apprendre les statistiques bayésiennes. Une fois que j'ai lu qu'il semble que les deux tendances sont antagonistes l'une de l'autre; comme par exemple l'analyse fréquentiste est fortement basée sur …

8 bayesian frequentist

1

Quel est le minimum de sur toutes les distributions unimodales continues sur un intervalle borné ?

Toutes les distributions sur un intervalle borné satisfont:[ 0 , 1 ][0,1][0,1] σ2≤ μ ( 1 - μ )σ2≤μ(1−μ)\sigma^2 \le \mu (1-\mu) où est la moyenne et la variance.μμ\muσ2σ2\sigma^2 Supposons maintenant que la distribution soit unimodale, en ce sens qu'elle a au plus un maximum local. Quelle est la valeur …

8 variance

2

Un intervalle de prédiction doit-il contenir la moyenne?

J'ai un énorme problème avec un problème conceptuel que j'ai trouvé. Disons qu'une entreprise a une distribution très asymétrique. Quelque chose de similaire à une exponentielle ou log-normale, mais plus extrême. Imaginez maintenant que la distribution est si asymétrique que la moyenne de la distribution est supérieure au 99% de …

8 mean prediction-interval

1

Avantage des GLM dans les nœuds terminaux d'un arbre de régression?

Je joue donc avec l'idée d'écrire un algorithme qui développe et élague un arbre de régression à partir des données, puis, dans les nœuds terminaux de l'arbre, s'adapte à un GLM. J'ai essayé de lire l'idée, mais je n'arrive pas à trouver de nom cohérent pour la technique. Je l'ai …

8 regression generalized-linear-model cart

3

Arrêt précoce vs validation croisée

J'utilise actuellement l'arrêt précoce de mon travail pour éviter un ajustement excessif. Plus précisément, ceux pris sous forme d' arrêt anticipé, mais quand? . Je veux maintenant comparer avec d'autres algorithmes de classification où il semble que la validation croisée 10 fois soit largement utilisée. Cependant, je ne sais pas …

8 cross-validation overfitting

1

Comment calculer manuellement les dfbetas

Je suis en train de reproduire ce que la fonction dfbetas()fait dans R . dfbeta() n'est pas un problème ... Voici un ensemble de vecteurs: x <- c(0.512, 0.166, -0.142, -0.614, 12.72) y <- c(0.545, -0.02, -0.137, -0.751, 1.344) Si j'adapte deux modèles de régression comme suit: fit1 <- lm(y …

8 r regression regression-coefficients diagnostic

1

Tester si une distribution binomiale correspond aux données

J'ai un échantillon d'une distribution discrète en tant que telle: Type: 0 1 2 3 4 5 Occurrences: 88 12 52 43 21 5 Ma tâche consiste à tester si une distribution binomiale (n = 5, p) correspond ou non à ces données. Je comprends que je suis censé utiliser …

8 hypothesis-testing distributions chi-squared binomial

1

Choix entre différentes régressions robustes dans R

J'écris un programme pour évaluer les biens immobiliers et je ne comprends pas vraiment les différences entre certains modèles de régression robustes, c'est pourquoi je ne sais pas lequel choisir. J'ai essayé lmrob, ltsReget rlm. pour le même ensemble de données, les trois méthodes m'ont donné des valeurs différentes pour …

8 r regression p-value r-squared

4

Si

Une hypothèse pour l'analyse de régression est que et ne sont pas entrelacés. Cependant quand j'y pense Il me semble que cela a du sens.XXXOuiYY Voici un exemple. Si nous avons un test avec 3 sections (AB et C). La note globale du test est égale à la somme des …

8 regression correlation r-squared

1

Famille binomiale R avec lien d'identité

Je veux adapter un modèle linéaire de R avec family=binomial(link="identity"), cependant, la famille binomiale n'a pas de lien d'identité. Que devrais-je faire?

8 r generalized-linear-model binomial link-function

2

R lmerTest et tests de plusieurs effets aléatoires

Je suis curieux de savoir comment le package lmerTest dans R, en particulier la fonction "rand", gère les tests d'effets aléatoires. Prenons l'exemple du pdf lmerTest sur CRAN qui utilise l'ensemble de données "carottes" intégré: #import lme4 package and lmerTest package library(lmerTest) #lmer model with correlation between intercept and slopes …

8 lme4-nlme mixed-model likelihood-ratio

1

Limite supérieure sur où et

XXX est une variable aléatoire discrète qui peut prendre des valeurs de . Puisque est une fonction convexe, nous pouvons utiliser l'inégalité de Jensen pour dériver une borne inférieure : Est-il possible de dériver une borne supérieure ?(0,1)(0,1)(0,1)φ(x)=1/xφ(x)=1/x\varphi(x)=1/xE[11−X]≥11−E[X]=11−aE[11−X]≥11−E[X]=11−a E\left[\frac{1}{1-X}\right]\ge \frac{1}{1-E[X]}=\frac{1}{1-a}

8 probability expected-value bounds

2

Pourquoi y a-t-il un E dans le nom de l'algorithme EM?

Je comprends où l'étape E se produit dans l'algorithme (comme expliqué dans la section mathématique ci-dessous). Dans mon esprit, l'ingéniosité clé de l'algorithme est l'utilisation de l'inégalité de Jensen pour créer une limite inférieure à la vraisemblance logarithmique. En ce sens, prendre le Expectationest simplement fait pour reformuler la probabilité …

8 maximum-likelihood optimization expectation-maximization latent-variable kullback-leibler

1

Comment calculer une taille d'échantillon pour valider la correcte / inexactitude des enregistrements dans un tableau de données?

J'ai lu les réponses existantes sur CrossValidated (et ailleurs en ligne) et je ne trouve pas ce que je recherche, mais veuillez me signaler les sources existantes si je les ai manquées. Disons que j'ai un ensemble de données de N = 1000 enregistrements, dont chacun peut être échantillonné manuellement …

8 bayesian sampling sample-size hypergeometric