Statistiques et Big Data information-theory

3

J'ai du mal à construire une intuition sur l'entropie conjointe. = incertitude dans la distribution conjointe ; = incertitude dans ; = incertitude dans .H(X,Y)H(X,Y)H(X,Y)p(x,y)p(x,y)p(x,y)H(X)H(X)H(X)px(x)px(x)p_x(x)H(Y)H(Y)H(Y)py(y)py(y)p_y(y) Si H (X) est élevé, alors la distribution est plus incertaine et si vous connaissez le résultat d'une telle distribution, alors vous avez plus d'informations! …

9 information-theory mutual-information

1

Comment comparer les événements observés aux événements attendus?

Supposons que j'ai un échantillon de fréquences de 4 événements possibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 et j'ai les probabilités attendues que mes événements se produisent: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Avec la somme des fréquences …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

1

Consigner les probabilités en référence au classificateur softmax

Dans ce https://cs231n.github.io/neural-networks-case-study/ pourquoi mentionne-t-il "le classificateur Softmax interprète chaque élément de ff comme détenant les probabilités de log (non normalisées) des trois classes." Je comprends pourquoi il n'est pas normalisé mais pas pourquoi il s'agit d'un journal? Que signifie une probabilité logarithmique? Pourquoi ne pas simplement dire des probabilités …

9 machine-learning neural-networks information-theory softmax

2

Y a-t-il des circonstances dans lesquelles BIC est utile et AIC ne l'est pas?

Dans l'entrée Wikipedia pour le critère d'information Akaike , nous lisons sous Comparaison avec BIC (critère d'information bayésien) que ... AIC / AICc a des avantages théoriques sur BIC ... AIC / AICc est dérivé des principes de l'information; BIC n'est pas ... BIC a un a priori de 1 …

8 model-selection aic prior information-theory bic

2

Divergence de Jensen-Shannon pour les distributions normales bivariées

Étant donné deux distributions normales bivariées P≡N(μp,Σp)P≡N(μp,Σp)P \equiv \mathcal{N}(\mu_p, \Sigma_p) et Q≡N(μq,Σq)Q≡N(μq,Σq)Q \equiv \mathcal{N}(\mu_q, \Sigma_q), J'essaie de calculer la divergence Jensen-Shannon entre eux, définie (pour le cas discret) comme: JSD(P∥Q)=12(KLD(P∥M)+KLD(Q∥M))JSD(P‖Q)=12(KLD(P‖M)+KLD(Q‖M))JSD(P\|Q) = \frac{1}{2} (KLD(P\|M)+ KLD(Q\|M)) où est la divergence Kullback-Leibler, et j'ai trouvé le moyen de calculer en termes de paramètres …

8 normal-distribution distance-functions information-theory

Questions marquées «information-theory»