Questions marquées «expectation-maximization»

Un algorithme d'optimisation souvent utilisé pour l'estimation du maximum de vraisemblance en présence de données manquantes.

2
Pourquoi l'algorithme de maximisation des attentes est-il garanti de converger vers un optimum local?
J'ai lu quelques explications sur l'algorithme EM (par exemple de Bishop's Pattern Recognition and Machine Learning et de Roger and Gerolami First Course on Machine Learning). La dérivation de EM est ok, je le comprends. Je comprends également pourquoi l'algorithme couvre quelque chose: à chaque étape, nous améliorons le résultat …
4
Estimation du maximum de vraisemblance EM pour la distribution de Weibull
Remarque: Je poste une question d'un ancien élève qui ne peut pas publier seul pour des raisons techniques. Étant donné un échantillon iid d'une distribution de Weibull avec pdf y a-t-il une représentation de variable manquante utile et donc un algorithme EM (expectation-maximization) associé qui pourrait être utilisé pour trouver …
4
Comment projeter un nouveau vecteur sur l'espace PCA?
Après avoir effectué l'analyse des composants principaux (PCA), je souhaite projeter un nouveau vecteur sur l'espace PCA (c'est-à-dire trouver ses coordonnées dans le système de coordonnées PCA). J'ai calculé PCA en langage R en utilisant prcomp. Maintenant, je devrais pouvoir multiplier mon vecteur par la matrice de rotation PCA. Les …
21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 
5
Motivation de l'algorithme de maximisation des attentes
Dans l'approche de l'algorithme EM, nous utilisons l'inégalité de Jensen pour arriver àlogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlog⁡p(x|θ)≥∫log⁡p(z,x|θ)p(z|x,θ(k))dz−∫log⁡p(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz et définir par \ theta ^ {(k + 1)} = \ arg \ max _ {\ theta} \ int \ log p (z, x | …
2
Algorithme EM implémenté manuellement
Je veux implémenter l'algorithme EM manuellement, puis le comparer aux résultats normalmixEMdu mixtoolspackage. Bien sûr, je serais heureux si les deux aboutissaient aux mêmes résultats. La référence principale est Geoffrey McLachlan (2000), Finite Mixture Models . J'ai une densité de mélange de deux gaussiens, sous forme générale, la log-vraisemblance est …
2
Pourquoi l'optimisation d'un mélange de gaussien directement est-elle difficile à calculer?
Considérez la probabilité logarithmique d'un mélange de gaussiens: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} Je me demandais pourquoi il était difficile de calculer directement cette équation? Je cherchais soit une claire intuition solide sur pourquoi il devrait être évident que c'est difficile, soit peut-être une explication plus …
1
Formation d'un champ aléatoire de Markov de base pour classer les pixels d'une image
J'essaie d'apprendre à utiliser les champs aléatoires de Markov pour segmenter des régions dans une image. Je ne comprends pas certains des paramètres du MRF ni pourquoi la maximisation des attentes que j'effectue ne parvient pas parfois à converger vers une solution. En partant du théorème de Bayes, j'ai p(x|y)=p(y|x)p(x)/p(y)p(x|y)=p(y|x)p(x)/p(y)p(x|y) …
1
EM, y a-t-il une explication intuitive?
La procédure EM apparaît, pour les non-initiés, comme une magie plus ou moins noire. Estimer les paramètres d'un HMM (par exemple) à l'aide de données supervisées. Décodez ensuite les données non marquées, en utilisant le sens avant-arrière pour «compter» les événements comme si les données étaient plus ou moins marquées. …
2
Pourquoi la maximisation des attentes est importante pour les modèles de mélange?
De nombreuses publications mettent l'accent sur la méthode de maximisation des attentes sur les modèles de mélange (mélange de gaussien, modèle de Markov caché, etc.). Pourquoi l'EM est important? EM est juste un moyen d'optimisation et n'est pas largement utilisé comme méthode basée sur un gradient (gradient décent ou méthode …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.