Statistiques et Big Data

3

lorsque

Je sais que pour la variable continue .P[ X= x ] = 0P[X=x]=0P[X=x]=0 Mais je ne peux pas visualiser que si , il y a un nombre infini de x possibles . Et aussi pourquoi leurs probabilités deviennent-elles infiniment petites?P[ X= x ] = 0P[X=x]=0P[X=x]=0Xxx

13 probability self-study references continuous-data

2

Qu'est-ce que le retrait?

Le mot rétrécissement est souvent utilisé dans certains cercles. Mais ce qui est rétrécissement, il ne semble pas y avoir de définition claire. Si j'ai une série chronologique (ou toute collection d'observations d'un processus), quelles sont les différentes façons de mesurer un certain type de rétrécissement empirique sur la série? …

13 estimation predictive-models shrinkage

3

La taille de l'échantillon est nécessaire pour estimer la probabilité de «succès» dans l'essai Bernoulli

Supposons qu'un jeu propose un événement qui, à la fin, donne une récompense ou ne donne rien. Le mécanisme exact pour déterminer si la récompense est donnée est inconnu, mais je suppose qu'un générateur de nombres aléatoires est utilisé, et si le résultat est supérieur à une valeur codée en …

13 logistic mathematical-statistics sample-size power-analysis bernoulli-distribution

1

Connexions entre (d-prime) et AUC (Area Under the ROC Curve); hypothèses sous-jacentes

Dans l'apprentissage automatique, nous pouvons utiliser l' aire sous la courbe ROC (souvent abrégée AUC ou AUROC) pour résumer la capacité d'un système à discriminer entre deux catégories. Dans la théorie de la détection du signal, le (indice de sensibilité) est souvent utilisé dans un but similaire. Les deux sont …

13 machine-learning roc auc signal-detection d-prime

2

Intuition pour des moments sur la moyenne d'une distribution?

Quelqu'un peut-il fournir une intuition sur la raison pour laquelle les moments supérieurs d'une distribution de probabilité pXpXp_X , comme les troisième et quatrième moments, correspondent respectivement à l'asymétrie et au kurtosis? Plus précisément, pourquoi l'écart par rapport à la moyenne élevée au troisième ou au quatrième pouvoir se traduit-il …

13 mathematical-statistics skewness moments intuition kurtosis

6

Comment caractériser un changement brusque?

Cette question est peut-être trop basique. Pour une tendance temporelle d'une donnée, je voudrais découvrir le point où se produit un changement "brutal". Par exemple, dans la première figure ci-dessous, je voudrais découvrir le point de changement en utilisant une méthode statistique. Et je voudrais appliquer une telle méthode dans …

13 time-series trend change-point

1

Diagrammes pour illustrer les résultats du modèle linéaire à effets mixtes

J'ai analysé certaines données à l'aide de la modélisation linéaire à effets mixtes dans R. Je prévois de faire une affiche avec les résultats et je me demandais simplement si quelqu'un expérimenté avec les modèles à effets mixtes pourrait suggérer les tracés à utiliser pour illustrer les résultats de la …

13 r data-visualization mixed-model

2

Comprendre la création de variables factices (manuelles ou automatisées) dans GLM

Si une variable de facteur (par exemple, le sexe avec les niveaux M et F) est utilisée dans la formule glm, des variables fictives sont créées et peuvent être trouvées dans le résumé du modèle glm avec leurs coefficients associés (par exemple, genderM) Si, au lieu de compter sur R …

13 r generalized-linear-model categorical-data categorical-encoding

3

Taille relative des valeurs de p à différentes tailles d'échantillon

Comment la taille relative de la valeur ap change-t-elle à différentes tailles d'échantillon? Comme si vous obteniez à pour une corrélation, puis à vous obtenez la même valeur p de 0,20, quelle serait la taille relative de la valeur p pour le deuxième test, par rapport à la valeur p …

13 p-value sample-size

2

Comment effectuer une validation croisée pour PCA afin de déterminer le nombre de composants principaux?

J'essaie d'écrire ma propre fonction pour l'analyse des composants principaux, PCA (bien sûr, il y a déjà beaucoup écrit mais je suis juste intéressé à implémenter des choses par moi-même). Le principal problème que j'ai rencontré est l'étape de validation croisée et le calcul de la somme prédite des carrés …

13 pca cross-validation matlab

1

Conversion des bêtas normalisés en variables d'origine

Je me rends compte que c'est probablement une question très simple, mais après avoir cherché, je ne trouve pas la réponse que je cherche. J'ai un problème où j'ai besoin de normaliser les variables exécutez la (régression de crête) pour calculer les estimations de crête des bêtas. J'ai ensuite besoin …

13 regression standard-error standardization predictor centering

1

Choix d'une taille de mini-lot appropriée pour la descente de gradient stochastique (SGD)

Existe-t-il une littérature qui examine le choix de la taille du mini-lot lors de la descente de gradient stochastique? D'après mon expérience, cela semble être un choix empirique, généralement trouvé via la validation croisée ou en utilisant différentes règles empiriques. Est-ce une bonne idée d'augmenter lentement la taille du mini-lot …

13 machine-learning gradient-descent hyperparameter deep-learning

2

Comment estimer la fonction de risque de base dans le modèle de Cox avec R

J'ai besoin d'estimer la fonction de risque de base dans un modèle de Cox dépendant du tempsλ0(t)λ0(t)\lambda_0(t) λ(t)=λ0(t)exp(Z(t)′β)λ(t)=λ0(t)exp⁡(Z(t)′β)\lambda(t) = \lambda_0(t) \exp(Z(t)'\beta) Pendant que je suivais le cours de survie, je me souviens que la dérivée directe de la fonction de risque cumulatif ( ) ne serait pas un bon estimateur …

13 r survival cox-model

4

Processus gaussiens: comment utiliser GPML pour une sortie multidimensionnelle

Existe-t-il un moyen d'effectuer une régression de processus gaussienne sur une sortie multidimensionnelle (éventuellement corrélée) à l'aide de GPML ? Dans le script de démonstration, je ne pouvais trouver qu'un exemple 1D. Une question similaire sur le CV qui aborde le cas de l'entrée multidimensionnelle. J'ai parcouru leur livre pour …

13 regression machine-learning matlab gaussian-process nonparametric-bayes

3

Recommandations de livres pour les débutants sur les distributions de probabilité

J'étudie l'apprentissage automatique et chaque livre que j'ouvre je tombe sur la distribution chi carré, la fonction gamma, la distribution t, la gaussienne, etc. Chaque livre que j'ai ouvert jusqu'à présent ne définit que les distributions: elles n'expliquent pas et ne donnent pas l'intuition sur la provenance des formules spécifiques …

13 probability distributions mathematical-statistics references