Statistiques et Big Data

4

Comment créer une matrice de covariance arbitraire

Par exemple, dans R, la MASS::mvrnorm()fonction est utile pour générer des données pour illustrer diverses choses dans les statistiques. Il prend un Sigmaargument obligatoire qui est une matrice symétrique spécifiant la matrice de covariance des variables. Comment créer une matrice symétrique n × nn×nn\times n avec des entrées arbitraires?

21 r random-generation covariance-matrix

2

Pourquoi la fonction softmax est-elle utilisée pour calculer les probabilités alors que nous pouvons diviser chaque valeur par la somme du vecteur?

L'application de la fonction softmax sur un vecteur produira des "probabilités" et des valeurs comprises entre et . 000111 Mais nous pouvons également diviser chaque valeur par la somme du vecteur et cela produira des probabilités et des valeurs comprises entre et .000111 J'ai lu la réponse ici mais il …

20 machine-learning neural-networks softmax

2

Quelle est la différence entre l'initialiseur de mise à l'échelle de variance et l'initialiseur xavier?

Dans l'implémentation de ResNet par Tensorflow , je trouve qu'ils utilisent l'initialiseur de mise à l'échelle de la variance, je trouve également que l'initialiseur xavier est populaire. Je n'ai pas trop d'expérience à ce sujet, ce qui est mieux en pratique?

20 machine-learning neural-networks deep-learning conv-neural-network tensorflow

5

Quelle est la signification intuitive d'avoir une relation linéaire entre les journaux de deux variables?

J'ai deux variables qui ne montrent pas beaucoup de corrélation lorsqu'elles sont tracées l'une contre l'autre telles quelles, mais une relation linéaire très claire lorsque je trace les journaux de chaque variable contre l'autre. Je me retrouverais donc avec un modèle du type: log(Y)=alog(X)+blog⁡(Y)=alog⁡(X)+b\log(Y) = a \log(X) + b , …

20 regression correlation log

1

lme () et lmer () donnant des résultats contradictoires

J'ai travaillé avec certaines données qui ont des problèmes avec les mesures répétées. Ce faisant, j'ai remarqué un comportement très différent entre lme()et en lmer()utilisant mes données de test et je veux savoir pourquoi. Le faux ensemble de données que j'ai créé contient des mesures de taille et de poids …

20 r mixed-model lme4-nlme

2

FPR (taux de faux positifs) vs FDR (taux de fausses découvertes)

La citation suivante provient du célèbre document de recherche Signification statistique pour les études à l'échelle du génome de Storey et Tibshirani (2003): Par exemple, un taux de faux positifs de 5% signifie qu'en moyenne 5% des caractéristiques vraiment nulles de l'étude seront qualifiées de significatives. Un FDR (False Discovery …

20 hypothesis-testing false-discovery-rate type-i-and-ii-errors confusion-matrix false-positive-rate

3

Trouver un moyen de simuler des nombres aléatoires pour cette distribution

J'essaie d'écrire un programme en R qui simule des nombres pseudo aléatoires à partir d'une distribution avec la fonction de distribution cumulative: F(x)=1−exp(−ax−bp+1xp+1),x≥0F(x)=1−exp⁡(−ax−bp+1xp+1),x≥0F(x)= 1-\exp \left(-ax-\frac{b}{p+1}x^{p+1}\right), \quad x \geq 0 oùa,b>0,p∈(0,1)a,b>0,p∈(0,1)a,b>0, p \in (0,1) J'ai essayé l'échantillonnage par transformée inverse mais l'inverse ne semble pas résoluble analytiquement. Je serais heureux si …

20 r random-generation

9

Sur-ajustement et sous-ajustement

J'ai fait des recherches sur le sur-ajustement et le sous-ajustement, et j'ai compris ce qu'ils sont exactement, mais je ne trouve pas les raisons. Quelles sont les principales raisons du sur-ajustement et du sous-ajustement? Pourquoi sommes-nous confrontés à ces deux problèmes dans la formation d'un modèle?

20 machine-learning dataset overfitting

1

Régression pour des variables indépendantes catégorielles et une variable dépendante continue

Je viens de réaliser que j'ai toujours travaillé un problème de régression où les variables indépendantes étaient toujours numériques. Puis-je utiliser la régression linéaire dans le cas où toutes les variables indépendantes sont catégoriques?

20 regression categorical-data

4

Exemple d'une distribution discrète non négative où la moyenne (ou un autre moment) n'existe pas?

Je faisais du travail dans scipy et une conversation a eu lieu avec un membre du groupe de base scipy pour savoir si une variable aléatoire discrète non négative peut avoir un moment indéfini. Je pense qu'il a raison mais n'a pas de preuve à portée de main. Quelqu'un peut-il …

20 mathematical-statistics expected-value

4

La probabilité quotidienne n'est-elle qu'un moyen de faire face à l'inconnu (sans parler de physique quantique ici)?

Il semble que dans la probabilité de tous les jours (pas la physique quantique), les probabilités ne sont vraiment qu'un substitut à une inconnue. Prenez un lancer de pièce par exemple. Nous disons que c'est "aléatoire", un changement de tête de 50% et une chance de queue de 50%. Cependant, …

20 probability philosophical

3

Comprendre le paramètre input_shape dans LSTM avec Keras

J'essaie d'utiliser l'exemple décrit dans la documentation Keras nommée "LSTM empilé pour la classification de séquence" (voir le code ci-dessous) et input_shapeje ne peux pas comprendre le paramètre dans le contexte de mes données. J'ai en entrée une matrice de séquences de 25 caractères possibles encodés en nombres entiers pour …

20 lstm keras shape dimensions

5

Un exemple où le principe de vraisemblance * compte vraiment *?

Existe-t-il un exemple où deux tests défendables différents avec des probabilités proportionnelles conduiraient à des inférences nettement différentes (et également défendables), par exemple, où les valeurs de p sont de l'ordre de grandeur très éloignées, mais le pouvoir des alternatives est similaire? Tous les exemples que je vois sont très …

20 mathematical-statistics likelihood philosophical likelihood-principle

1

Pourquoi LASSO ne trouve-t-il pas ma paire de prédicteurs parfaite à haute dimensionnalité?

J'exécute une petite expérience avec la régression LASSO dans R pour tester s'il est capable de trouver une paire de prédicteurs parfaite. La paire est définie comme ceci: f1 + f2 = résultat Le résultat ici est un vecteur prédéterminé appelé «âge». F1 et f2 sont créés en prenant la …

20 r regression feature-selection lasso high-dimensional

1

Des réseaux bayésiens aux réseaux neuronaux: comment transposer une régression multivariée en un réseau multi-sorties

J'ai affaire à un modèle linéaire hiérarchique bayésien , ici le réseau qui le décrit. YYY représente les ventes quotidiennes d'un produit dans un supermarché (observé). XXX est une matrice connue de régresseurs, y compris les prix, les promotions, le jour de la semaine, la météo, les vacances. 1SSS est …

20 regression bayesian neural-networks generalized-linear-model bayesian-network