Questions marquées «information-theory»

Branche de mathématiques / statistiques utilisée pour déterminer la capacité de transport d'informations d'un canal, qu'il soit utilisé pour la communication ou défini dans un sens abstrait. L'entropie est l'une des mesures par lesquelles les théoriciens de l'information peuvent quantifier l'incertitude impliquée dans la prédiction d'une variable aléatoire.

3
Définition et origine de «l'entropie croisée»
Sans citer de sources, Wikipedia définit l'entropie croisée des distributions discrètes et Q commePPPQQQ H×( P; Q )= - ∑Xp ( x )Journalq( x ) .H×(P;Q)=-∑Xp(X)Journal⁡q(X).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Qui a été le premier à commencer à utiliser cette quantité? Et qui a inventé ce …
4
Concept d'ensemble typique
Je pensais que le concept d'ensemble typique était assez intuitif: une séquence de longueur nnn appartiendrait à l'ensemble typique si la probabilité de sortie de la séquence était élevée. Donc, toute séquence qui serait probable serait dans . (J'évite la définition formelle liée à l'entropie parce que j'essaie de la …
1
Qualitativement ce qui est entropie croisée
Cette question donne une définition quantitative de l'entropie croisée, en termes de formule. Je cherche une définition plus théorique, wikipedia dit: En théorie de l'information, l'entropie croisée entre deux distributions de probabilité mesure le nombre moyen de bits nécessaires pour identifier un événement à partir d'un ensemble de possibilités, si …
1
Comment interpréter l'entropie différentielle?
J'ai récemment lu cet article sur l'entropie d'une distribution de probabilité discrète. Il décrit une belle façon de penser à l'entropie comme les bits numériques attendus (au moins lors de l'utilisation de log2log2\log_2 dans votre définition d'entropie) nécessaires pour coder un message lorsque votre codage est optimal, compte tenu de …
2
Résultats sur les estimations de Monte Carlo produites par échantillonnage d'importance
J'ai travaillé sur l'échantillonnage d'importance assez étroitement au cours de la dernière année et j'ai quelques questions ouvertes que j'espérais obtenir de l'aide. D'après mon expérience pratique des schémas d'échantillonnage d'importance, ils peuvent occasionnellement produire des estimations fantastiques à faible variance et à faible biais. Plus fréquemment, cependant, ils ont …
1
Entropie différentielle
L'entropie différentielle du RV gaussien est . Cela dépend de , qui est l'écart-type.log2(σ2πe−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Si nous normalisons la variable aléatoire pour qu'elle ait une variance unitaire, son entropie différentielle diminue. Pour moi, cela est contre-intuitif car la complexité de Kolmogorov de la constante de normalisation devrait être très …
2
Différentes définitions AIC
À partir de Wikipedia, il existe une définition du critère d'information d'Akaike (AIC) comme , où est le nombre de paramètres et est la log-vraisemblance du modèle.k log LAIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkklogLlog⁡L\log L Cependant, notre économétrie note dans une université bien respectée que . Ici est …
1
Différences entre PROC Mixed et lme / lmer en R - degrés de liberté
Remarque: cette question est une rediffusion, car ma question précédente a dû être supprimée pour des raisons juridiques. En comparant PROC MIXED de SAS avec la fonction lmedu nlmepackage dans R, je suis tombé sur des différences assez confuses. Plus précisément, les degrés de liberté dans les différents tests diffèrent …
12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.