Questions marquées «kullback-leibler»

Une mesure asymétrique de la distance (ou de la dissemblance) entre les distributions de probabilité. Il pourrait être interprété comme la valeur attendue du rapport de vraisemblance logarithmique dans l'hypothèse alternative.

2
Divergence de Kullback – Leibler entre deux distributions gamma
Choisir de paramétrer la distribution gamma par le pdf La divergence de Kullback-Leibler entre et est donnée par [1] commeΓ(b,c)Γ(b,c)\Gamma(b,c)g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p) KLG a( bq, cq; bp, cp)= ( cq- 1 ) Ψ ( cq) - journalbq- cq- journalΓ ( cq)+logΓ ( cp)+ cpJournalbp- ( cp- 1 ) ( Ψ …
3
Calculer la divergence Kullback-Leibler en pratique?
J'utilise KL Divergence comme mesure de dissimilarité entre 2 P et Q .p.m.f.p.m.f.p.m.f. PPPQQQ =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Si alors nous pouvons facilement calculer que P ( X i ) l n ( Q ( X i ) ) = 0 …
4
Des questions sur la divergence KL?
Je compare deux distributions avec une divergence KL qui me renvoie un nombre non standardisé qui, selon ce que j'ai lu sur cette mesure, est la quantité d'informations nécessaires pour transformer une hypothèse en l'autre. J'ai deux questions: a) Existe-t-il un moyen de quantifier une divergence KL afin qu'elle ait …
1
Distribution de probabilité spéciale
Si p(x)p(x)p(x) est une distribution de probabilité avec des valeurs non nulles sur [0,+∞)[0,+∞)[0,+\infty) , pour quel (s) type (s) de p(x)p(x)p(x) existe-t-il une constante c>0c>0c\gt 0 telle que ∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2pour tout0<ϵ<10<ϵ<10\lt\epsilon\lt 1? L'inégalité ci-dessus est en fait une divergence de Kullback-Leibler entre la distribution p(x)p(x)p(x) et …
3
Est-il possible d'appliquer une divergence KL entre distribution discrète et distribution continue?
Je ne suis pas mathématicien. J'ai recherché sur Internet KL Divergence. Ce que j'ai appris, c'est que la divergence KL mesure les informations perdues lorsque nous approchons la distribution d'un modèle par rapport à la distribution d'entrée. Je les ai vues entre deux distributions continues ou discrètes. Peut-on le faire …
1
Interprétation de la dérivée de Radon-Nikodym entre les mesures de probabilité?
J'ai vu à certains moments l'utilisation de la dérivée Radon-Nikodym d'une mesure de probabilité par rapport à une autre, notamment dans la divergence Kullback-Leibler, où elle est la dérivée de la mesure de probabilité d'un modèle pour un paramètre arbitraire par rapport au paramètre réel :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Où ce …
1
R / mgcv: Pourquoi les produits tenseurs te () et ti () produisent-ils des surfaces différentes?
Le mgcvpackage pour Ra deux fonctions pour ajuster les interactions des produits tensoriels: te()et ti(). Je comprends la division de base du travail entre les deux (ajustement d'une interaction non linéaire vs décomposition de cette interaction en effets principaux et interaction). Ce que je ne comprends pas, c'est pourquoi te(x1, …
11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 
2
Test d'hypothèse et distance de variation totale par rapport à la divergence de Kullback-Leibler
Dans ma recherche, je suis tombé sur le problème général suivant: j'ai deux distributions et sur le même domaine, et un grand nombre (mais fini) d'échantillons de ces distributions. Les échantillons sont distribués de manière indépendante et identique à partir de l'une de ces deux distributions (bien que les distributions …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.