Statistiques et Big Data

1

Naive Bayes gagne-t-il en popularité? Pourquoi?

Il s'agit du résultat des tendances Google obtenu pour la phrase "Naive Bayes" de janvier 2004 à avril 2017 ( lien ). Selon ce chiffre, le rapport de recherche de "Naive Bayes" en avril 2017 est supérieur d'environ 25% au maximum de toute la période. Cela signifie-t-il que cette méthode …

9 naive-bayes trend

6

Utiliser la valeur de p pour calculer la probabilité que l'hypothèse soit vraie; que faut-il d'autre?

Question: Un malentendu courant des valeurs de p est qu'elles représentent la probabilité que l'hypothèse nulle soit vraie. Je sais que ce n'est pas correct et je sais que les valeurs de p ne représentent que la probabilité de trouver un échantillon aussi extrême que cela, étant donné que l'hypothèse …

9 hypothesis-testing bayesian p-value frequentist

2

Décomposition de la variance biaisée: terme pour l'erreur de prévision quadratique attendue moins l'erreur irréductible

Hastie et al. "Les éléments de l'apprentissage statistique" (2009) considèrent un processus de génération de données avec E ( ε ) = 0 et Var ( ε ) = σ 2 ε .Oui=f(X) + εY=f(X)+ε Y = f(X) + \varepsilon E (ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var ( ε ) = σ2εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} Ils présentent la …

9 variance forecasting prediction terminology bias

3

PCA trop lent lorsque les deux n, p sont grands: Alternatives?

Configuration du problème J'ai des points de données (images) de grande dimension (4096), que j'essaie de visualiser en 2D. À cette fin, j'utilise t-sne d'une manière similaire à l' exemple de code suivant de Karpathy . La documentation de scikit-learn recommande d'utiliser PCA pour réduire d'abord la dimension des données: …

9 pca dimensionality-reduction high-dimensional java tsne

1

Quelle est la signification pratique de l'alpha dans un GLM avec une famille gamma?

J'ajuste plusieurs modèles du formulaire .. glm(DV ~ I(1/IV), family = Gamma(link = "log") .. et cherche des moyens de comparer les modèles obtenus pour différentes variables. Je me demande si la valeur alpha est d'une utilité pratique? Pour les trois graphiques ci-dessous, les valeurs alpha sont 17,85, 9,03 et …

9 generalized-linear-model gamma-distribution

1

Comment des pourcentages ne totalisant pas cent peuvent-ils être possibles?

Je lisais cet article sur l'aquaponie et certaines statistiques n'avaient aucun sens en ce qui concerne les pourcentages répertoriés. Quelle méthode permettrait à ces pourcentages d'exister? Les animaux aquatiques les plus élevés en pourcentage étaient le tilapia (69%), les poissons d'ornement (43%), le poisson-chat (25%), les autres animaux aquatiques (18%), …

9 percentage

1

Erreurs normalement distribuées et théorème central limite

Dans l'économétrie d'introduction de Wooldridge, il y a une citation: L'argument justifiant la distribution normale des erreurs fonctionne généralement comme ceci: parce que est la somme de nombreux facteurs non observés différents affectant , nous pouvons invoquer le théorème de la limite centrale pour conclure que a une distribution normale …

9 self-study linear-model econometrics normality-assumption central-limit-theorem

3

Différence entre MLE et Baum Welch sur le raccord HMM

Dans cette question populaire , une réponse très positive fait que MLE et Baum Welch sont séparés dans le montage HMM. Pour les problèmes de formation, nous pouvons utiliser les 3 algorithmes suivants: MLE (estimation de vraisemblance maximale), formation Viterbi (NE PAS confondre avec le décodage Viterbi), Baum Welch = …

9 hidden-markov-model expectation-maximization

4

Comment interpréter une courbe de survie du modèle de risque de Cox?

Comment interprétez-vous une courbe de survie à partir du modèle de risque proportionnel cox? Dans cet exemple de jouet, supposons que nous ayons un modèle de risque proportionnel cox sur agevariable dans les kidneydonnées et générons la courbe de survie. library(survival) fit <- coxph(Surv(time, status)~age, data=kidney) plot(conf.int="none", survfit(fit)) grid() Par …

9 r survival cox-model likelihood machine-learning deep-learning generative-models machine-learning reinforcement-learning q-learning regression multicollinearity convergence beta-distribution bernoulli-distribution machine-learning self-study pattern-recognition neural-networks stochastic-processes linear

1

Qu'est-ce que la formule de distribution normale CDF inverse

Quelqu'un sait-il quelle est la fonction de distribution cumulative inverse de la distribution normale? A-t-il une expression de forme fermée? Je n'ai trouvé aucune bonne réponse en utilisant Google.

9 normal-distribution inverse-cdf

2

Inférence statistique sous spécification erronée du modèle

J'ai une question méthodologique générale. Il a peut-être été répondu auparavant, mais je ne parviens pas à localiser le fil correspondant. J'apprécierai les indications de doublons possibles. ( Voici une excellente, mais sans réponse. C'est également similaire dans l'esprit, même avec une réponse, mais cette dernière est trop spécifique de …

9 modeling inference misspecification

1

Probabilité qu'un processus de Poisson indépendant en dépasse un autre

J'ai déjà posé cette question d'une autre manière sur d'autres échanges de piles, donc désolé pour le republication quelque peu. J'ai posé des questions à mon professeur et à quelques doctorants, sans réponse définitive. Je vais d'abord énoncer le problème, puis ma solution potentielle et le problème avec ma solution, …

9 poisson-distribution poisson-process

4

La formation d'un réseau de neurones pour la régression prédit toujours la moyenne

Je forme un réseau neuronal convolutionnel simple pour la régression, où la tâche consiste à prédire l'emplacement (x, y) d'une boîte dans une image, par exemple: La sortie du réseau a deux nœuds, un pour x et un pour y. Le reste du réseau est un réseau neuronal convolutif standard. …

9 machine-learning neural-networks optimization deep-learning loss-functions

1

Comment mettre en évidence des patchs bruyants dans une série chronologique?

J'ai beaucoup de données chronologiques - niveaux d'eau et vitesses en fonction du temps. C'est la sortie d'une simulation de modèle hydraulique. Dans le cadre du processus d'examen pour confirmer que le modèle fonctionne comme prévu, je dois tracer chaque série chronologique pour m'assurer qu'il n'y a pas de "vacillement" …

9 time-series data-visualization change-point

1

Pourquoi est-il rarement indiqué dans les articles quel type de sommes de carrés est utilisé dans les résultats Anova?

Suite à ma courte expérience en statistique, il semble que le type de sommes de carrés (type I, II, III, IV ...) utilisé pour obtenir les résultats ANOVA pourrait faire une différence dramatique dans les résultats des tests (notamment des modèles avec interactions et manquants) Les données). Cependant, je n'ai …

9 regression anova manova reporting sums-of-squares