Questions marquées «information-theory»

Branche de mathématiques / statistiques utilisée pour déterminer la capacité de transport d'informations d'un canal, qu'il soit utilisé pour la communication ou défini dans un sens abstrait. L'entropie est l'une des mesures par lesquelles les théoriciens de l'information peuvent quantifier l'incertitude impliquée dans la prédiction d'une variable aléatoire.

2
L'information mutuelle comme probabilité
Pourrait l'information mutuelle sur l'entropie conjointe: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 être défini comme: "La probabilité de transmettre une information de X à Y"? Je suis désolé d'être si naïf, mais je n'ai jamais étudié la théorie de l'information, et j'essaie juste de comprendre certains concepts de cela.
2
Quelles sont les bonnes mesures pour évaluer la qualité d'un ajustement PCA, afin de sélectionner le nombre de composants?
Quelle est une bonne mesure pour évaluer la qualité de l'analyse en composantes principales (ACP)? J'ai effectué cet algorithme sur un ensemble de données. Mon objectif était de réduire le nombre de fonctionnalités (l'information était très redondante). Je sais que le pourcentage de variance conservé est un bon indicateur de …
1
Comment calculer les informations mutuelles?
Je suis un peu confus. Quelqu'un peut-il m'expliquer comment calculer des informations mutuelles entre deux termes en se basant sur une matrice terme-document avec une occurrence de terme binaire comme poids? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111réocument21010réocument31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & …
2
Test d'hypothèse et distance de variation totale par rapport à la divergence de Kullback-Leibler
Dans ma recherche, je suis tombé sur le problème général suivant: j'ai deux distributions et sur le même domaine, et un grand nombre (mais fini) d'échantillons de ces distributions. Les échantillons sont distribués de manière indépendante et identique à partir de l'une de ces deux distributions (bien que les distributions …
3
Les hyperplans classent de manière optimale les données lorsque les entrées sont indépendantes conditionnellement - Pourquoi?
Dans l'article intitulé Deep Learning and the Information Bottleneck Principle, les auteurs déclarent dans la section II A) ce qui suit: Les neurones simples ne classent que les entrées séparables linéairement, car ils ne peuvent implémenter que des hyperplans dans leur espace d'entrée . Les hyperplans peuvent classer de manière …
2
Comment le journal (p (x, y)) normalise-t-il les informations mutuelles point par point?
J'essaie de comprendre la forme normalisée d'informations mutuelles ponctuelles. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Pourquoi la probabilité log-jointe normalise-t-elle les informations mutuelles ponctuelles entre [-1, 1]? L'information mutuelle point par point est: pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p (x, y) est borné par [0, 1] donc log (p (x, y)) est borné par (, …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.