Questions marquées «mutual-information»

l'information mutuelle est un concept issu de la théorie de l'information. Il s'agit d'une mesure de la dépendance conjointe entre deux variables aléatoires, qui n'est pas, comme le coefficient de corrélation habituel, limitée aux variables scalaires.

3
L'algorithme MIC pour détecter les corrélations non linéaires peut-il être expliqué intuitivement?
Plus récemment, j'ai lu deux articles. Le premier concerne l'historique de la corrélation et le second concerne la nouvelle méthode appelée coefficient d'information maximal (MIC). J'ai besoin de votre aide pour comprendre la méthode MIC pour estimer les corrélations non linéaires entre les variables. De plus, les instructions pour son …
2
Limiter les informations mutuelles en fonction des informations mutuelles ponctuelles
Supposons que j'ai deux ensembles XXX et YYY et une distribution de probabilité conjointe sur ces ensembles p(x,y)p(x,y)p(x,y) . Soit p(x)p(x)p(x) et p(y)p(y)p(y) les distributions marginales sur XXX et YYY respectivement. Les informations mutuelles entre XXX et YYY sont définies comme suit: I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) c'est-à-dire qu'il s'agit de …
1
Quelle est l'intuition derrière les échantillons échangeables sous l'hypothèse nulle?
Les tests de permutation (également appelés test de randomisation, test de re-randomisation ou test exact) sont très utiles et s'avèrent utiles lorsque l'hypothèse de distribution normale requise par exemple t-testn'est pas remplie et lorsque la transformation des valeurs par classement des un test non paramétrique comme Mann-Whitney-U-testcela entraînerait la perte …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
1
Corrélation de distance versus information mutuelle
Je travaille avec l'information mutuelle depuis un certain temps. Mais j'ai trouvé une mesure très récente dans le "monde de corrélation" qui peut également être utilisée pour mesurer l'indépendance de distribution, la soi-disant "corrélation de distance" (également appelée corrélation brownienne): http://en.wikipedia.org/wiki/Brownian_covariance . J'ai vérifié les papiers où cette mesure est …
2
L'information mutuelle comme probabilité
Pourrait l'information mutuelle sur l'entropie conjointe: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 être défini comme: "La probabilité de transmettre une information de X à Y"? Je suis désolé d'être si naïf, mais je n'ai jamais étudié la théorie de l'information, et j'essaie juste de comprendre certains concepts de cela.
1
Quels sont les avantages et les inconvénients de l'application d'informations mutuelles ponctuelles sur une matrice de cooccurrence de mots avant la SVD?
Une façon de générer des incorporations de mots est la suivante ( miroir ): Obtenez un corpus, par exemple: "J'aime voler. J'aime la PNL. J'aime le deep learning." Construisez le mot matrice de cooccurrence à partir de lui: Effectuez SVD sur XXX et conservez les kkk premières colonnes de U. …
1
Pourquoi les statisticiens n'utilisent-ils pas l'information mutuelle comme mesure d'association?
J'ai vu quelques discussions de non-statisticiens où ils semblent réinventer des mesures de corrélation en utilisant des informations mutuelles plutôt que de régression (ou des tests statistiques équivalents / étroitement liés). Je suppose qu'il y a une bonne raison pour laquelle les statisticiens n'adoptent pas cette approche. D'après mon profane, …
1
Comment calculer les informations mutuelles?
Je suis un peu confus. Quelqu'un peut-il m'expliquer comment calculer des informations mutuelles entre deux termes en se basant sur une matrice terme-document avec une occurrence de terme binaire comme poids? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111réocument21010réocument31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.