Statistiques et Big Data

1

L'amplification du gradient est-elle appropriée pour les données avec de faibles taux d'événements comme 1%?

J'essaie d'augmenter le gradient sur un ensemble de données avec un taux d'événements d'environ 1% en utilisant Enterprise Miner, mais il ne parvient à produire aucune sortie. Ma question est, puisqu'il s'agit d'une approche basée sur un arbre de décision, est-il même juste d'utiliser l'augmentation de gradient avec un événement …

14 boosting unbalanced-classes rare-events gradient

2

Initialisation du poids CNN Xavier

Dans certains tutoriels, j'ai trouvé qu'il était indiqué que l'initialisation du poids "Xavier" (article: Comprendre la difficulté de former des réseaux neuronaux profonds à action directe ) est un moyen efficace d'initialiser les poids des réseaux neuronaux. Pour les couches entièrement connectées, il y avait une règle générale dans ces …

14 normal-distribution variance neural-networks conv-neural-network

3

Comment dériver l'interprétation probabiliste de l'AUC?

Pourquoi l'aire sous la courbe ROC a-t-elle une probabilité qu'un classificateur classe une instance "positive" choisie au hasard (à partir des prédictions récupérées) plus élevée qu'une instance "positive" choisie au hasard (à partir de la classe positive d'origine)? Comment prouver mathématiquement cette affirmation en utilisant l'intégrale, en donnant les CDF …

14 probability roc auc

2

Jensen Shannon Divergence contre Kullback-Leibler Divergence?

Je sais que KL Divergence n'est pas symétrique et ne peut pas être strictement considéré comme une métrique. Si oui, pourquoi est-il utilisé lorsque JS Divergence satisfait les propriétés requises pour une métrique? Y a-t-il des scénarios où la divergence KL peut être utilisée mais pas la divergence JS ou …

14 probability distributions kullback-leibler metric

3

Exemple de fonctionnement de l'astuce log-sum-exp à Naive Bayes

J'ai lu à propos de l'astuce log-sum-exp à de nombreux endroits (par exemple ici et ici ) mais je n'ai jamais vu un exemple de la façon dont il est appliqué spécifiquement au classifieur Naive Bayes (par exemple avec des fonctionnalités discrètes et deux classes) Comment éviterait-on exactement le problème …

14 naive-bayes underflow

2

Qu'est-ce qu'une classe SVM et comment fonctionne-t-elle?

J'utilisais une classe SVM , implémentée dans scikit-learn, pour mon travail de recherche. Mais je n'ai pas une bonne compréhension de cela. Quelqu'un peut-il donner une explication simple et bonne d' une classe SVM ?

14 machine-learning svm data-mining novelty-detection

6

Estimation MLE vs MAP, quand utiliser laquelle?

MLE = Estimation du maximum de vraisemblance MAP = Maximum a posteriori Le MLE est intuitif / naïf en ce qu'il ne commence qu'avec la probabilité d'observation compte tenu du paramètre (c'est-à-dire la fonction de vraisemblance) et essaie de trouver le paramètre le plus conforme à l'observation . Mais il …

14 machine-learning bayesian estimation maximum-likelihood inference

2

Surdispersion dans la régression logistique

J'essaie de comprendre le concept de surdispersion dans la régression logistique. J'ai lu que la surdispersion se produit lorsque la variance observée d'une variable de réponse est supérieure à celle attendue de la distribution binomiale. Mais si une variable binomiale ne peut avoir que deux valeurs (1/0), comment peut-elle avoir …

14 logistic variance binomial mean overdispersion

2

Validation croisée et optimisation des paramètres

J'ai une question sur l'optimisation des paramètres lorsque j'utilise la validation croisée 10 fois. Je veux demander si les paramètres doivent être fixés ou non lors de la formation du modèle de chaque pli, c'est-à-dire (1) sélectionner un ensemble de paramètres optimisés pour la précision moyenne de chaque pli. ou …

14 cross-validation optimization parameterization

1

Pourquoi l'erreur «l'ajustement estimé« a »est NA» est-elle générée à partir du package de démarrage R lors du calcul des intervalles de confiance à l'aide de la méthode bca?

J'ai un vecteur de nombres que j'ai téléchargé ici (... / code / MyData.Rdata) en utilisant dput. Je voudrais obtenir le bca ci donc j'ai écrit ce code: my.mean <- function(dat, idx){ return (mean(dat[idx], na.rm = TRUE)) } boot.out<-boot(data=my.data, statistic = my.mean, R=1000) Mais quand je lance ce qui suit, …

14 r bootstrap

3

Estimation efficace du point de vue informatique du mode multivarié

Version courte: Quelle est la méthode la plus efficace sur le plan informatique pour estimer le mode d'un ensemble de données multidimensionnelles, échantillonné à partir d'une distribution continue? Version longue: j'ai un ensemble de données dont j'ai besoin pour estimer le mode. Le mode ne coïncide pas avec la moyenne …

14 estimation multivariate-analysis continuous-data mode

2

Estimation d'une probabilité de survie dans R

Sur la base d'un échantillon de temps de survie, je voudrais estimer la probabilité de survivre au temps , pour certains spécifiques , à l'aide de l'estimateur de Kaplan-Meier. Est-il possible de le faire en ? S'il vous plaît, notez que est pas nécessairement un temps d'événement.nnnttttttRttt

14 r kaplan-meier

1

Les intervalles de confiance unilatéraux peuvent-ils couvrir 95%

Je me demandais étant donné une hypothèse unilatérale (unilatérale) avec un niveau alpha de .05, peut-on parler d' intervalles de confiance à 95% ? Par exemple, pouvons-nous construire séparément des intervalles de confiance " unilatéraux" et "bilatéraux" pour un test Z ou t unilatéral? quelle serait l ' «interprétation» de …

14 hypothesis-testing confidence-interval

2

Comment obtenir un intervalle de confiance pour un centile?

J'ai un tas de valeurs de données brutes qui sont des montants en dollars et je veux trouver un intervalle de confiance pour un centile de ces données. Existe-t-il une formule pour un tel intervalle de confiance?

14 confidence-interval quantiles tolerance-interval

2

Comment la couche d'intégration est formée dans la couche d'intégration Keras

Comment la couche d'intégration est-elle formée dans la couche d'intégration Keras? (par exemple, utiliser le backend tensorflow, ce qui signifie qu'il est similaire à word2vec, glove ou fasttext) Supposons que nous n'utilisions pas une intégration préentraînée.

14 deep-learning keras word-embeddings