Statistiques et Big Data chi-squared

1

Comprendre le test du chi carré et la distribution du chi carré

J'essaie de comprendre la logique derrière le test du chi carré. Le test du carré est . est ensuite comparé à une distribution Chi-carré pour trouver une valeur p afin de rejeter ou non l'hypothèse nulle. : les observations proviennent de la distribution que nous avons utilisée pour créer nos …

13 probability distributions normal-distribution mathematical-statistics chi-squared

5

Comment effectuer l'imputation de valeurs dans un très grand nombre de points de données?

J'ai un très grand ensemble de données et il manque environ 5% de valeurs aléatoires. Ces variables sont corrélées entre elles. L'exemple de jeu de données R suivant n'est qu'un exemple de jouet avec des données corrélées factices. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

2

Le test

Je viens de lire dans un magazine scientifique (populaire) plutôt bien respecté (le PM allemand, 02/2013, p.36) sur une expérience intéressante (sans source, malheureusement). Cela a attiré mon attention parce que je doutais intuitivement de la signification du résultat, mais les informations fournies étaient suffisantes pour reproduire le test statistique. …

12 hypothesis-testing chi-squared experiment-design proportion biostatistics

2

Pourquoi le test d'indépendance utilise-t-il la distribution chi carré?

Le test d'ajustement de χ2χ2\chi^2 utilise la statistique suivante : χ20= ∑i = 1n( Oje- Eje)2Ejeχ02=∑i=1n(Oi−Ei)2Ei \chi_0^2=\sum_{i=1}^n\frac{(O_i-E_i)^2}{E_i} Dans le test, en admettant que les conditions sont remplies, on utilise ladistributionχ2χ2\chi^2-pour calculer la valeur de p qui étant donnée leHH0H0H_0 est vrai, on observerait une telle valeur dans un échantillon représentatif …

12 hypothesis-testing chi-squared

2

Ajustement de la valeur de p pour l'analyse séquentielle adaptative (pour le test du chi carré)?

Je souhaite savoir quelle littérature statistique est pertinente pour le problème suivant, et peut-être même une idée sur la façon de le résoudre. Imaginez le problème suivant: Nous avons 4 traitements possibles pour certaines maladies. Afin de vérifier quel traitement est le meilleur, nous effectuons un essai spécial. Dans l'essai, …

12 hypothesis-testing chi-squared p-value multiple-comparisons sequential-analysis

1

Test exact de Fisher et distribution hypergéométrique

Je voulais mieux comprendre le test exact du pêcheur, j'ai donc imaginé l'exemple de jouet suivant, où f et m correspond à l'homme et à la femme, et n et y correspond à la "consommation de soda" comme ceci: > soda_gender f m n 0 5 y 5 0 Évidemment, …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Que faites-vous si vos degrés de liberté dépassent la fin de vos tables?

Les degrés de liberté dans ma table F ne montent pas assez haut pour mon gros échantillon. Par exemple, si j'ai un F avec 5 et 6744 degrés de liberté, comment puis-je trouver la valeur critique de 5% pour une ANOVA? Et si je faisais un test du chi carré …

11 chi-squared degrees-of-freedom f-distribution tables

1

Pour quel type de sélection de fonctionnalités le test du chi carré peut-il être utilisé?

Ici, je demande ce que les autres font couramment pour utiliser le test du chi carré pour la sélection des fonctionnalités par rapport au résultat de l'apprentissage supervisé. Si je comprends bien, testent-ils l'indépendance entre chaque fonctionnalité et le résultat, et comparent-ils les valeurs de p entre les tests pour …

11 hypothesis-testing chi-squared feature-selection independence scikit-learn

1

Comment interpréter les couleurs résiduelles sur un tracé en mosaïque?

Il s'agit d'une mosaïque de l'ensemble de données de table de contingence HairEyeColordécrite ici . Comment interpréter les couleurs représentant les résidus? Quelle est la différence entre les résidus de Pearson élevés et positifs (indiqués en bleu) par rapport aux résidus faibles et négatifs indiqués en rouge?

11 data-visualization chi-squared residuals contingency-tables

1

Tester le modèle GLM à l'aide des déviations nulles et du modèle

J'ai construit un modèle glm en R et l'ai testé à l'aide d'un groupe de test et de formation, donc je suis convaincu qu'il fonctionne bien. Les résultats de R sont: Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -2.781e+00 1.677e-02 -165.789 < 2e-16 *** Coeff_A 1.663e-05 5.438e-06 3.059 0.00222 …

11 r generalized-linear-model chi-squared

2

subtilité de la valeur de p: supérieur-égal vs supérieur

En lisant le livre All of Statistics de Wassermann, je remarque une subtilité fine dans la définition des valeurs de p, que je ne peux pas comprendre. De manière informelle, le Wassermann définit la valeur de p comme [..] la probabilité (sous ) d'observer une valeur de la statistique de …

11 hypothesis-testing chi-squared p-value

1

Distribution du rapport des variables aléatoires chi carré dépendantes

Supposons que où sont indépendants.X=X1+X2+⋯+XnX=X1+X2+⋯+Xn X = X_1 + X_2+\cdots+ X_n Xi∼N(0,σ2)Xi∼N(0,σ2)X_i \sim N(0,\sigma^2) Ma question est, quelle distribution Z=X2X21+X22+⋯+X2nZ=X2X12+X22+⋯+Xn2 Z = \frac{X^2}{X_1^2 + X_2^2 + \cdots + X_n^2} suivre? Je sais d' ici que le rapport de deux variables aléatoires khi-deux exprimées en suit une distribution bêta. Je pense …

11 normal-distribution chi-squared beta-distribution ratio

2

Ordonner les statistiques (par exemple, au minimum) d'une collection infinie de variables khi-deux?

C'est ma première fois ici, alors faites-moi savoir si je peux clarifier ma question de quelque manière que ce soit (y compris le formatage, les balises, etc.). (Et j'espère pouvoir éditer plus tard!) J'ai essayé de trouver des références, et j'ai essayé de me résoudre en utilisant l'induction, mais j'ai …

11 distributions chi-squared exponential order-statistics minimum

2

Pourquoi le test de McNemar utilise-t-il le chi carré et non la distribution normale?

Je viens de remarquer comment le test de McNemar non exact utilise la distribution asymptotique du chi carré. Mais puisque le test exact (pour la table des deux cas) repose sur la distribution binomiale, comment se fait-il qu'il n'est pas courant de suggérer l'approximation normale de la distribution binomiale? Merci.

11 distributions binomial chi-squared normal-distribution

4

Plusieurs tests de chi carré

J'ai croisé des données classifiées dans un tableau 2 x 2 x 6. Appelons les dimensions response, Aet B. J'ai ajusté une régression logistique aux données avec le modèle response ~ A * B. Une analyse de la déviance de ce modèle indique que les termes et leur interaction sont …

11 categorical-data logistic multiple-comparisons chi-squared

Questions marquées «chi-squared»