Statistiques et Big Data

4

Comment puis-je adapter un modèle à plusieurs niveaux pour les résultats de poissons trop dispersés?

Je veux adapter un GLMM à plusieurs niveaux avec une distribution de Poisson (avec sur-dispersion) en utilisant R. En ce moment j'utilise lme4 mais j'ai remarqué que récemment la quasipoissonfamille a été supprimée. J'ai vu ailleurs que vous pouvez modéliser une surdispersion additive pour les distributions binomiales en ajoutant une …

32 r mixed-model poisson-distribution lme4-nlme overdispersion

4

Comment effectuer des tests t à deux échantillons dans R en saisissant des statistiques d'échantillon plutôt que des données brutes?

Disons que nous avons les statistiques ci-dessous gender mean sd n f 1.666667 0.5773503 3 m 4.500000 0.5773503 4 Comment effectuez-vous un test t à deux échantillons (pour voir s'il y a une différence significative entre les moyennes des hommes et des femmes dans certaines variables) en utilisant des statistiques …

32 r t-test

6

Pourquoi l'entropie est-elle maximisée lorsque la distribution de probabilité est uniforme?

Je sais que l'entropie est la mesure du caractère aléatoire d'un processus / variable et elle peut être définie comme suit. pour une variable aléatoire X∈X∈X \in set AAA : - H(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) . Dans le livre sur l'entropie et la théorie de l'information de …

32 uniform entropy maximum-entropy

4

Comment calculer un niveau de confiance pour une distribution de Poisson?

Je voudrais savoir à quel point je peux avoir confiance en mon . Quelqu'un connaît-il un moyen de fixer des niveaux de confiance supérieurs et inférieurs pour une distribution de Poisson?λλ\lambda Observations ( ) = 88nnn Échantillon moyen ( ) = 47,18182λλ\lambda à quoi ressemblerait la confiance de 95%?

32 poisson-distribution confidence-interval

1

Architectures CNN pour la régression?

J'ai travaillé sur un problème de régression où l'entrée est une image et l'étiquette est une valeur continue entre 80 et 350. Les images sont de certains produits chimiques après qu'une réaction ait lieu. La couleur qui apparaît indique la concentration d'un autre produit chimique qui reste, et c'est ce …

32 regression machine-learning neural-networks conv-neural-network tensorflow

5

Comprendre les unités LSTM et les cellules

J'étudie les LSTM depuis un certain temps. Je comprends à un haut niveau comment tout fonctionne. Cependant, en les implémentant à l'aide de Tensorflow, j'ai remarqué que BasicLSTMCell nécessite un certain nombre d'unités (c'est-à-dire num_units) un paramètre. D'après cette explication très approfondie des LSTM, j'ai compris qu'une seule unité LSTM …

32 neural-networks terminology lstm rnn tensorflow

9

Dériver l'équation de Bellman dans l'apprentissage par renforcement

Je vois l'équation suivante dans " In Reinforcement Learning. An Introduction ", mais ne suivez pas tout à fait l'étape que j'ai mise en évidence en bleu ci-dessous. Comment cette étape est-elle exactement dérivée?

32 expected-value reinforcement-learning

2

Effectuer un test statistique après avoir visualisé des données - dragage de données?

Je proposerai cette question au moyen d'un exemple. Supposons que j'ai un ensemble de données, comme l'ensemble de données sur les prix des logements de Boston, dans lequel j'ai des variables continues et catégoriques. Ici, nous avons une variable "qualité", de 1 à 10, et le prix de vente. Je …

31 hypothesis-testing data-visualization p-value dataset inference

4

Le résultat d'un examen est-il un binôme?

Voici une simple question de statistiques qui m'a été posée. Je ne suis pas vraiment sûr de le comprendre. X = le nombre de points acquis dans un examen (choix multiple et une bonne réponse est un point). Le binôme X est-il distribué? La réponse du professeur a été: Oui, …

31 self-study binomial

1

Conséquences de l'inégalité de corrélation gaussienne pour le calcul des intervalles de confiance conjoints

Selon cet article très intéressant du magazine Quanta: "Une preuve longuement recherchée, trouvée et presque perdue" , - il a été prouvé que, étant donné un vecteur ayant une variable multiple Distribution gaussienne, et compte tenu des intervalles centrés autour des moyennes des composantes correspondantes de , puisx =( x1, …

31 normal-distribution confidence-interval multivariate-normal

2

Régression logistique: Scikit Learn vs Statsmodels

J'essaie de comprendre pourquoi la sortie de la régression logistique de ces deux bibliothèques donne des résultats différents. J'utilise l'ensemble de données du didacticiel UCLA idre , la prévision admitbasée sur gre, gpaet rank. rankest traité comme une variable catégorielle, il est donc d'abord converti en variable fictive avec rank_1drop. …

31 regression logistic python scikit-learn statsmodels

6

La parcimonie devrait-elle vraiment rester l'étalon-or?

Juste une pensée: Les modèles parcimonieux ont toujours été la référence par défaut dans la sélection des modèles, mais dans quelle mesure cette approche est-elle dépassée? Je suis curieux de savoir à quel point notre tendance à la parcimonie est une relique d'une époque d'abaci et de règles de diapositives …

31 predictive-models model-selection model

5

Que disent les intervalles de confiance sur la précision (le cas échéant)?

Morey et al (2015) soutiennent que les intervalles de confiance sont trompeurs et qu'il existe de multiples biais liés à leur compréhension. Entre autres, ils décrivent l'erreur de précision comme suit: L'erreur de précision La largeur d'un intervalle de confiance indique la précision de nos connaissances sur le paramètre. Des …

31 bayesian confidence-interval frequentist precision

4

Les valeurs de p plus petites sont-elles plus convaincantes?

J'ai lu des informations sur les valeurs de , les taux d'erreur de type 1, les niveaux de signification, les calculs de puissance, la taille des effets et le débat Fisher vs Neyman-Pearson. Cela m'a laissé un peu dépassé. Je m'excuse pour le mur de texte, mais j'ai estimé qu'il …

31 hypothesis-testing statistical-significance confidence-interval p-value effect-size

3

Regroupement d'une longue liste de chaînes (mots) en groupes de similarité

J'ai le problème suivant à portée de main: j'ai une très longue liste de mots, éventuellement des noms, des noms de famille, etc. J'ai besoin de regrouper cette liste de mots, de sorte que des mots similaires, par exemple des mots avec une distance d'édition similaire (Levenshtein) apparaissent dans même …

31 clustering k-means pattern-recognition