Questions marquées «entropy»

Une quantité mathématique conçue pour mesurer la quantité de caractère aléatoire d'une variable aléatoire.

1
Quelle est l'intuition derrière les échantillons échangeables sous l'hypothèse nulle?
Les tests de permutation (également appelés test de randomisation, test de re-randomisation ou test exact) sont très utiles et s'avèrent utiles lorsque l'hypothèse de distribution normale requise par exemple t-testn'est pas remplie et lorsque la transformation des valeurs par classement des un test non paramétrique comme Mann-Whitney-U-testcela entraînerait la perte …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
3
Définition et origine de «l'entropie croisée»
Sans citer de sources, Wikipedia définit l'entropie croisée des distributions discrètes et Q commePPPQQQ H×( P; Q )= - ∑Xp ( x )Journalq( x ) .H×(P;Q)=-∑Xp(X)Journal⁡q(X).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Qui a été le premier à commencer à utiliser cette quantité? Et qui a inventé ce …
4
Concept d'ensemble typique
Je pensais que le concept d'ensemble typique était assez intuitif: une séquence de longueur nnn appartiendrait à l'ensemble typique si la probabilité de sortie de la séquence était élevée. Donc, toute séquence qui serait probable serait dans . (J'évite la définition formelle liée à l'entropie parce que j'essaie de la …
1
Qualitativement ce qui est entropie croisée
Cette question donne une définition quantitative de l'entropie croisée, en termes de formule. Je cherche une définition plus théorique, wikipedia dit: En théorie de l'information, l'entropie croisée entre deux distributions de probabilité mesure le nombre moyen de bits nécessaires pour identifier un événement à partir d'un ensemble de possibilités, si …
1
Comment interpréter l'entropie différentielle?
J'ai récemment lu cet article sur l'entropie d'une distribution de probabilité discrète. Il décrit une belle façon de penser à l'entropie comme les bits numériques attendus (au moins lors de l'utilisation de log2log2\log_2 dans votre définition d'entropie) nécessaires pour coder un message lorsque votre codage est optimal, compte tenu de …
1
Dériver la négentropie. Être coincé
Donc, cette question est quelque peu impliquée, mais j'ai soigneusement essayé de la rendre aussi simple que possible. Objectif: Bref, il y a une dérivation de la néguentropie qui n'implique pas de cumulants d'ordre supérieur, et j'essaie de comprendre comment elle a été dérivée. Contexte: (je comprends tout cela) J'étudie …
1
Entropie différentielle
L'entropie différentielle du RV gaussien est . Cela dépend de , qui est l'écart-type.log2(σ2πe−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Si nous normalisons la variable aléatoire pour qu'elle ait une variance unitaire, son entropie différentielle diminue. Pour moi, cela est contre-intuitif car la complexité de Kolmogorov de la constante de normalisation devrait être très …
5
Comment effectuer l'imputation de valeurs dans un très grand nombre de points de données?
J'ai un très grand ensemble de données et il manque environ 5% de valeurs aléatoires. Ces variables sont corrélées entre elles. L'exemple de jeu de données R suivant n'est qu'un exemple de jouet avec des données corrélées factices. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = …
12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.