Statistiques et Big Data

4

Quelle est la manière la plus appropriée de créer un ensemble d'exclusion: supprimer certains sujets ou supprimer certaines observations de chaque sujet?

J'ai un ensemble de données avec 26 fonctionnalités et 31000 lignes. C'est l'ensemble de données de 38 sujets. C'est pour un système biométrique. Je veux donc pouvoir identifier les sujets. Afin d'avoir un ensemble de tests, je sais que je dois supprimer certaines valeurs. Alors, que vaut-il mieux faire et …

11 machine-learning cross-validation out-of-sample

4

La somme des variables aléatoires lognormales indépendantes semble lognormale?

J'essaie de comprendre pourquoi la somme de deux (ou plus) variables aléatoires lognormales se rapproche d'une distribution lognormale lorsque vous augmentez le nombre d'observations. J'ai regardé en ligne et je n'ai trouvé aucun résultat à ce sujet. De toute évidence, si et sont des variables lognormales indépendantes, alors par les …

11 distributions lognormal convolution sum

3

Quels sont les avantages d'un générateur exponentiel aléatoire utilisant la méthode d'Ahrens et Dieter (1972) plutôt que par transformée inverse?

Ma question est inspirée du générateur exponentiel de nombres aléatoires intégré de R , la fonction rexp(). Lorsque vous essayez de générer des nombres aléatoires distribués de façon exponentielle, de nombreux manuels recommandent la méthode de transformation inverse, comme indiqué dans cette page Wikipedia . Je suis conscient qu'il existe …

11 r simulation random-generation exponential inverse-cdf

1

Sélection du modèle Mclust

Le package R mclustutilise BIC comme critère de sélection de modèle de cluster. D'après ma compréhension, un modèle avec le BIC le plus bas devrait être sélectionné par rapport aux autres modèles (si vous ne vous souciez que du BIC). Cependant, lorsque les valeurs BIC sont toutes négatives, la Mclustfonction …

11 r clustering gaussian-mixture bic model-based-clustering

2

Preuve du théorème central limite n'utilisant pas de fonctions caractéristiques

Existe-t-il une preuve que le CLT n'utilise pas de fonctions caractéristiques, une méthode plus simple? Peut-être les méthodes de Tikhomirov ou de Stein? Quelque chose de autonome que vous pouvez expliquer à un étudiant universitaire (première année de mathématiques ou de physique) et qui prend moins d'une page?

11 mathematical-statistics central-limit-theorem characteristic-function

2

Est-ce mal d'utiliser l'ANOVA au lieu d'un test t pour comparer deux moyennes?

J'ai une répartition des salaires et je veux comparer la différence de moyenne pour les hommes et les femmes. Je sais qu'il y a le test T étudiant pour comparer deux moyennes mais après avoir suggéré l'ANOVA, j'ai reçu des critiques disant que l'ANOVA est pour comparer plus de deux …

11 hypothesis-testing anova t-test

3

Dois-je utiliser un décalage pour mon Poisson GLM?

Je mène des recherches pour examiner les différences de densité et de richesse en espèces de poissons lorsque j'utilise deux méthodes de recensement visuel sous-marin différentes. Mes données étaient à l'origine des données de comptage, mais elles sont généralement modifiées en densité de poisson, mais j'ai toujours décidé d'utiliser un …

11 r generalized-linear-model poisson-distribution offset

2

Apprentissage incrémental pour les modèles de classification en R

Supposons que j'ai un classificateur (il pourrait s'agir de n'importe quel classificateur standard comme l'arbre de décision, la forêt aléatoire, la régression logistique, etc.) pour la détection de fraude en utilisant le code ci-dessous library(randomForest) rfFit = randomForest(Y ~ ., data = myData, ntree = 400) # A very basic …

11 classification supervised-learning

2

La régression linéaire multiple en 3 dimensions est-elle un plan de meilleur ajustement ou une ligne de meilleur ajustement?

Notre prof ne se lance pas dans les mathématiques ou même la représentation géométrique de la régression linéaire multiple et cela m'a légèrement confus. D'une part, il est toujours appelé régression linéaire multiple , même dans des dimensions plus élevées. D'un autre côté, si nous avons par exemple et que …

11 multiple-regression high-dimensional

2

Différence dans les différences avec les données de panel de niveau individuel

Quelle est la bonne façon de spécifier un modèle de différence de différence avec des données de panneau de niveau individuel? Voici la configuration: Supposons que j'ai des données de panel au niveau individuel intégrées dans les villes pendant plusieurs années et le traitement varie au niveau de la ville-année. …

11 econometrics panel-data fixed-effects-model difference-in-difference

1

Comment interpréter les résultats du modèle TBATS et les diagnostics du modèle

J'ai une demi-heure de données sur la demande, qui est une série chronologique multi-saisonnière. J'ai utilisé tbatsdans le forecastpackage en R, et obtenu des résultats comme celui-ci: TBATS(1, {5,4}, 0.838, {<48,6>, <336,6>, <17520,5>}) Cela signifie-t-il que la série ne doit pas nécessairement utiliser la transformation de Box-Cox et que le …

11 r time-series diagnostic multiple-seasonalities tbats

2

techniques d'apprentissage automatique pour les données longitudinales

Je me demandais s'il y avait des techniques d'apprentissage automatique (non supervisées) pour modéliser des données longitudinales? J'ai toujours utilisé des modèles d'effets mixtes (principalement non linéaires) mais je me demandais s'il y avait d'autres façons de le faire (en utilisant l'apprentissage automatique). Par apprentissage automatique, je veux dire forêt …

11 machine-learning mixed-model

1

Quand dois-je arrêter de chercher un modèle?

Je recherche un modèle entre les cours de l'énergie et la météo. J'ai le prix du MWatt acheté entre les pays d'Europe, et beaucoup de valeurs sur la météo (fichiers Grib). Chaque heure sur une période de 5 ans (2011-2015). Prix / jour C'est par jour pendant un an. J'ai …

11 time-series forecasting predictive-models modeling large-data

4

Bons exemples / livres / ressources pour en savoir plus sur l'apprentissage automatique appliqué (pas seulement ML lui-même)

J'ai déjà suivi un cours de ML, mais maintenant que je travaille avec des projets liés au ML dans mon travail, j'ai beaucoup de mal à l'appliquer. Je suis sûr que les trucs que je fais ont déjà fait l'objet de recherches / traités, mais je ne trouve pas de …

11 machine-learning references train application

2

Les réseaux résiduels sont-ils liés à l'augmentation du gradient?

Récemment, nous avons vu l'émergence du réseau neuronal résiduel, dans lequel, chaque couche se compose d'un module de calcul et d'une connexion de raccourci qui préserve l'entrée de la couche telle que la sortie de la ième couche présente: Le réseau permet d'extraire les caractéristiques résiduelles et permet une profondeur …

11 machine-learning neural-networks deep-learning gradient-descent residual-networks