Statistiques et Big Data

4

Pourquoi l'inclusion de latitude et de longitude dans un GAM explique-t-elle l'autocorrélation spatiale?

J'ai produit des modèles additifs généralisés pour la déforestation. Pour prendre en compte l'autocorrélation spatiale, j'ai inclus latitude et longitude en tant que terme d'interaction lissé (c'est-à-dire s (x, y)). Je me suis basé sur la lecture de nombreux articles dans lesquels les auteurs disaient "pour rendre compte de l'autocorrélation …

60 r modeling spatial autocorrelation gam

15

Pourquoi les statistiques paramétriques seraient-elles jamais préférées aux données non paramétriques?

Quelqu'un peut-il m'expliquer pourquoi quelqu'un choisirait-il une méthode statistique paramétrique plutôt qu'une méthode statistique non paramétrique pour le test d'hypothèses ou l'analyse de régression? Dans mon esprit, c'est comme opter pour le rafting et choisir une montre qui ne résiste pas à l'eau, car il se peut que vous ne …

60 regression hypothesis-testing mathematical-statistics estimation nonparametric

5

Pourquoi la collecte de données jusqu'à l'obtention d'un résultat significatif augmente-t-elle le taux d'erreur de type I?

Je me demandais exactement pourquoi la collecte de données jusqu'à l' obtention d' un résultat significatif (par exemple, ) (par exemple, p-piratage) augmente le taux d'erreur de type I?p<.05p<.05p \lt .05 J'apprécierais aussi beaucoup une Rdémonstration de ce phénomène.

60 r hypothesis-testing p-value simulation type-i-and-ii-errors

11

Que signifie orthogonal dans le contexte des statistiques?

Dans d'autres contextes, orthogonal signifie "à angle droit" ou "perpendiculaire". Que signifie orthogonal dans un contexte statistique? Merci pour toute clarification.

60 descriptive-statistics

9

Quels sont les inconvénients de l’utilisation du lasso pour la sélection variable pour la régression?

D'après ce que je sais, utiliser un lasso pour la sélection de variables résout le problème des entrées corrélées. De plus, étant donné qu’elle est équivalente à la régression par le plus petit angle, elle n’est pas lente en calcul. Cependant, beaucoup de personnes (par exemple des personnes que je …

60 regression feature-selection lasso

8

Comment puis-je m'assurer que les données de test ne fuient pas dans les données d'entraînement?

Supposons que quelqu'un construise un modèle prédictif, mais que quelqu'un ne connaisse pas nécessairement les principes appropriés des statistiques ou de l'apprentissage automatique. Peut-être aidons-nous cette personne dans son apprentissage, ou peut-être utilise-t-elle une sorte de progiciel dont l'utilisation requiert un minimum de connaissances. Maintenant, cette personne pourrait très bien …

60 machine-learning classification predictive-models cross-validation out-of-sample

9

Comment visualiser ce que fait ANOVA?

De quelle manière (moyens?) Existe-t-il pour expliquer visuellement ce qu'est l'ANOVA? Toute référence, lien (s) (packages R?) Sera la bienvenue.

60 data-visualization anova teaching

3

Expliquez la bande dessinée xkcd Jelly Bean: Qu'est-ce qui le rend drôle?

Je vois qu’une fois sur les vingt tests qu’ils ont effectués, , ils supposent à tort que lors de l’un des vingt tests, le résultat est significatif ( ).0,05 = 1 / vingtp < 0,05p<0.05p < 0.050,05 = une / vingt0.05=1/200.05 = 1/20 xkcd BD de fèves à la gelée …

60 hypothesis-testing statistical-significance confidence-interval p-value humor

2

Quelle est la différence entre le blanchiment ZCA et le blanchiment PCA?

Je suis confus quant au blanchiment ZCA et au blanchiment normal (obtenu en divisant les composants principaux par les racines carrées des valeurs propres de la PCA). Pour autant que je sache, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite}, où sont les vecteurs propres de la PCA.UU\mathbf U Quelles sont …

60 pca dimensionality-reduction image-processing

3

Pourquoi l’estimation de la crête devient-elle meilleure que celle des MCO en ajoutant une constante à la diagonale?

Je comprends que l’estimation de la régression de crête est la qui minimise la somme résiduelle du carré et une pénalité sur la taille deβββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Cependant, je ne comprends pas tout à fait la signification du fait que …

59 regression least-squares ridge-regression shrinkage

7

Optimisation lorsque la fonction de coût est lente à évaluer

La descente en gradient et de nombreuses autres méthodes sont utiles pour trouver des minima locaux dans les fonctions de coût. Ils peuvent être efficaces lorsque la fonction de coût peut être évaluée rapidement à chaque point, que ce soit numériquement ou analytiquement. J'ai ce qui me semble être une …

59 gradient-descent optimization bayesian-optimization

13

Si nous ne parvenons pas à rejeter l'hypothèse nulle dans une vaste étude, ne constitue-t-il pas une preuve du contraire?

Une limite fondamentale du test de signification des hypothèses nulles est qu’il ne permet pas à un chercheur de rassembler des preuves en faveur de la valeur nulle ( Source ) Je vois cette revendication répétée à plusieurs endroits, mais je ne peux pas la justifier. Si nous réalisons une …

59 hypothesis-testing

6

Où s'est passé le débat fréquentiste-bayésien?

Le monde des statistiques était divisé entre fréquentistes et bayésiens. Ces jours-ci, il semble que tout le monde fasse un peu des deux. Comment se peut-il? Si les différentes approches conviennent à différents problèmes, pourquoi les pères fondateurs de la statistique ne l'ont-ils pas vu? Ou bien, le débat a-t-il …

59 bayesian frequentist history philosophical

4

Explication intuitive de Fisher Information et Cramer-Rao liés

Je ne suis pas à l'aise avec les informations de Fisher, ce qu'elles mesurent et en quoi elles sont utiles. De plus, sa relation avec la borne Cramer-Rao ne m'est pas apparente. Quelqu'un peut-il s'il vous plaît donner une explication intuitive de ces concepts?

59 estimation intuition fisher-information

6

Qu'est-ce qu'un modèle "saturé"?

Que veut-on dire quand on dit qu'on a un modèle saturé?

59 modeling regression