Statistiques et Big Data

6

Random Forest - Comment gérer l'overfitting

J'ai une formation en informatique mais j'essaie de m'enseigner la science des données en résolvant des problèmes sur Internet. Je travaille sur ce problème depuis deux semaines (environ 900 lignes et 10 fonctionnalités). J'utilisais initialement la régression logistique, mais maintenant je suis passé aux forêts aléatoires. Lorsque j'exécute mon modèle …

41 random-forest overfitting

4

Régression logistique en R (rapport de cotes)

J'essaie d'entreprendre une analyse de régression logistique en format R. J'ai suivi des cours sur ce matériel avec STATA. Je trouve très difficile de reproduire la fonctionnalité dans R. Est-il mature dans ce domaine? Il semble y avoir peu de documentation ou de conseils disponibles. La production du rapport de …

41 r logistic odds-ratio

1

Comment le centrage des données supprime-t-il l'interception dans la régression et la PCA?

Je continue à lire sur les cas où nous centrons les données (par exemple, avec régularisation ou PCA) afin de supprimer l'interception (comme mentionné dans cette question ). Je sais que c'est simple, mais j'ai du mal à comprendre cela intuitivement. Quelqu'un pourrait-il fournir l'intuition ou une référence que je …

41 regression pca centering

3

Est-ce que l'indépendance statistique signifie l'absence de lien de causalité?

Deux variables aléatoires A et B sont statistiquement indépendantes. Cela signifie que dans le DAG du processus: et bien sûr . Mais cela signifie-t-il également qu'il n'y a pas de porte d'entrée de B à A?P ( A | B ) = P ( A )( A ⊥⊥ B)(A⊥⊥B)(A {\perp\!\!\!\perp} …

40 independence causality bayesian-network dag

4

Pourquoi la fonction sigmoïde au lieu de rien d'autre?

Pourquoi la fonction sigmoïde standard de facto, , est-elle si populaire dans les réseaux de neurones (non profonds) et la régression logistique?11 + e- x11+e−x\frac{1}{1+e^{-x}} Pourquoi n'utilisons-nous pas beaucoup d'autres fonctions pouvant être dérivées, avec un temps de calcul plus rapide ou une décroissance plus lente (de sorte qu'un gradient …

40 logistic neural-networks least-squares

6

Quand utiliser des simulations?

C'est donc une question très simple et stupide. Cependant, lorsque j'étais à l'école, je n'accordais que très peu d'attention à la notion de simulation en classe, ce qui me laissait un peu terrifié à l'idée de ce processus. Pouvez-vous expliquer le processus de simulation en termes simples? (pourrait être pour …

40 simulation

5

Avertissement dans R - L’approximation du chi carré peut être incorrecte

J'ai des données montrant les résultats de l'examen d'entrée des pompiers. Je teste l'hypothèse selon laquelle les résultats des examens et l'appartenance ethnique ne sont pas mutuellement indépendants. Pour tester cela, j’ai effectué un test du chi-carré de Pearson dans R. Les résultats montrent ce à quoi j’attendais, mais il …

40 r categorical-data chi-squared small-sample error-message

4

Rappel et précision dans la classification

J'ai lu des définitions de rappel et de précision, bien que ce soit chaque fois dans le contexte de la recherche d'informations. Je me demandais si quelqu'un pourrait expliquer cela un peu plus dans un contexte de classification et peut-être illustrer quelques exemples. Disons par exemple que j'ai un classificateur …

40 machine-learning metric

3

Comment présenter les résultats d'un lasso utilisant glmnet?

J'aimerais trouver des prédicteurs pour une variable dépendante continue sur un ensemble de 30 variables indépendantes. J'utilise la régression de Lasso telle qu'implémentée dans le paquet glmnet de R. Voici du code factice: # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) x2=matrix(y+rnorm(100*10),100,10) x=cbind(x1,x2) …

40 r multiple-regression lasso glmnet communication

2

Comment lire les graphiques de distance de Cook?

Est-ce que quelqu'un sait comment déterminer si les points 7, 16 et 29 sont des points d'influence ou non? J'ai lu quelque part que parce que la distance de Cook est inférieure à 1, ils ne le sont pas. Ai-je raison?

40 r regression residuals diagnostic cooks-distance

3

Quelles sont les différences entre les modèles de Markov cachés et les réseaux de neurones?

Je ne fais que me mouiller dans les statistiques alors je suis désolé si cette question n’a pas de sens. J'ai utilisé des modèles de Markov pour prédire les états cachés (casinos injustes, lancers de dés, etc.) et des réseaux de neurones pour étudier les clics d'utilisateurs sur un moteur …

40 data-mining algorithms neural-networks markov-process

1

Comment déterminer les composants principaux significatifs en utilisant l’amorçage ou l’approche de Monte Carlo?

Je suis intéressé par la détermination du nombre de régularités significatives issues d'une analyse en composantes principales (ACP) ou d'une fonction empirique orthogonale (EOF). Je suis particulièrement intéressé par l'application de cette méthode aux données climatiques. Le champ de données est une matrice MxN, M étant la dimension temporelle (par …

40 r pca bootstrap monte-carlo

15

Quelles sont les meilleures pratiques à suivre lors de la préparation des parcelles?

Je fais habituellement mes propres choix idiosyncratiques lors de la préparation des parcelles. Cependant, je me demande s'il existe des meilleures pratiques pour générer des parcelles. Remarque: le commentaire de Rob sur la réponse à cette question est très pertinent ici.

40 data-visualization references

3

Considérons la somme de

Je m'interroge sur celui-ci depuis un moment. Je trouve cela un peu étrange de voir comment cela se produit brusquement. Fondamentalement, pourquoi n'avons-nous besoin que de trois uniformes que comme il le fait? Et pourquoi le lissage a-t-il lieu si rapidement?ZnZnZ_n Z2Z2Z_2 : Z3Z3Z_3 : (images volées sans vergogne sur …

40 normal-distribution mathematical-statistics uniform central-limit-theorem

13

Le problème de Monty Hall - où notre intuition nous manque-t-elle?

De Wikipedia: Supposons que vous soyez dans un jeu télévisé et que vous ayez le choix entre trois portes: derrière une porte se trouve une voiture; derrière les autres, des chèvres. Vous choisissez une porte, dites n ° 1, et l'hôte, qui sait ce qu'il y a derrière les portes, …

40 probability intuition puzzle