Statistiques et Big Data maximum-likelihood

1

Quand est-il préférable d'utiliser l'estimation du maximum de vraisemblance au lieu des moindres carrés ordinaires? Quelles sont les forces et les limites de chacune? J'essaie de rassembler des connaissances pratiques sur où les utiliser dans des situations courantes.

13 regression maximum-likelihood least-squares

1

Estimation des paramètres LogLikelihood pour le filtre de Kalman gaussien linéaire

J'ai écrit du code qui peut effectuer le filtrage de Kalman (en utilisant un certain nombre de filtres de type Kalman différents [Information Filter et al.]) Pour l'analyse linéaire de l'espace d'état gaussien pour un vecteur d'état à n dimensions. Les filtres fonctionnent très bien et j'obtiens une belle sortie. …

13 maximum-likelihood algorithms kalman-filter likelihood

1

AIC / BIC: combien de paramètres compte une permutation?

Disons que j'ai un problème de sélection de modèle et j'essaie d'utiliser AIC ou BIC pour évaluer les modèles. C'est simple pour les modèles qui ont un certain nombre kkk de paramètres à valeur réelle. Cependant, que se passe-t-il si l'un de nos modèles (par exemple, le modèle Mallows ) …

13 modeling maximum-likelihood aic fitting bic

1

Calcul de la probabilité de RMSE

J'ai un modèle pour prédire une trajectoire (x en fonction du temps) avec plusieurs paramètres. Pour le moment, je calcule l'erreur quadratique moyenne (RMSE) entre la trajectoire prédite et la trajectoire enregistrée expérimentalement. Actuellement, je minimise cette différence (le RMSE) en utilisant simplex (fminsearch dans matlab). Bien que cette méthode …

13 maximum-likelihood curve-fitting

2

Hesse de vraisemblance de profil utilisée pour l'estimation d'erreur standard

Cette question est motivée par celle-ci . J'ai recherché deux sources et c'est ce que j'ai trouvé. A. van der Vaart, Statistiques asymptotiques: Il est rarement possible de calculer explicitement une vraisemblance de profil, mais son évaluation numérique est souvent réalisable. Ensuite, la vraisemblance du profil peut servir à réduire …

13 estimation maximum-likelihood likelihood asymptotics profile-likelihood

1

L'estimation MLE est-elle asymptotiquement normale et efficace même si le modèle n'est pas vrai?

Prémisse: cela peut être une question stupide. Je ne connais que les déclarations sur les propriétés asymptotiques MLE, mais je n'ai jamais étudié les preuves. Si je le faisais, je ne poserais peut-être pas ces questions, ou je réaliserais peut-être que ces questions n'ont pas de sens ... alors s'il …

13 maximum-likelihood model asymptotics

1

Pouvez-vous donner une explication simple et intuitive de la méthode IRLS pour trouver le MLE d'un GLM?

Contexte: J'essaie de suivre l'examen de Princeton de l'estimation MLE pour GLM . Je comprends les bases de l' estimation MLE: likelihood, score, observée et attendue Fisher informationet la Fisher scoringtechnique. Et je sais comment justifier une régression linéaire simple avec une estimation MLE . La question: Je ne comprends …

13 regression generalized-linear-model maximum-likelihood link-function irls

1

Recherche d'une compréhension théorique de la régression logistique Firth

J'essaie de comprendre la régression logistique de Firth (méthode de gestion de la séparation parfaite / complète ou quasi-complète dans la régression logistique) afin de pouvoir l'expliquer aux autres en termes simplifiés. Quelqu'un a-t-il une explication factice de la modification que l'estimation de Firth apporte au MLE? J'ai lu, du …

13 logistic maximum-likelihood separation

3

Quelle est la méthode des moments et comment est-elle différente de MLE?

En général, il semble que la méthode des moments correspond simplement à la moyenne observée de l'échantillon ou à la variance des moments théoriques pour obtenir des estimations de paramètres. C'est souvent la même chose que MLE pour les familles exponentielles, je suppose. Cependant, il est difficile de trouver une …

13 maximum-likelihood method-of-moments

3

Estimateur du maximum de vraisemblance de la distribution conjointe, compte tenu uniquement des comptes marginaux

Soit une distribution conjointe de deux variables catégorielles , avec . Supposons que échantillons ont été tirés de cette distribution, mais nous ne recevons que les comptes marginaux, à savoir pour :px,ypx,yp_{x,y}X,YX,YX,Yx,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\}nnnj=1,…,Kj=1,…,Kj=1,\ldots,K Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j),Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j), S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)}, Quel est l'estimateur du maximum de vraisemblance pour , étant donné …

12 categorical-data maximum-likelihood joint-distribution marginal maximum-entropy

1

Calculer log-vraisemblance «à la main» pour la régression généralisée des moindres carrés non linéaires (nlme)

J'essaie de calculer la log-vraisemblance pour une régression des moindres carrés non linéaires généralisée pour la fonction optimisée par le dans le package R , en utilisant la matrice de covariance de variance générée par les distances sur un arbre phylogénétique en supposant un mouvement brownien (à partir du package). …

12 r maximum-likelihood least-squares nonlinear-regression mixed-model

1

Ratio de probabilités vs ratio de PDF

J'utilise Bayes pour résoudre un problème de clustering. Après avoir fait quelques calculs, je me retrouve avec la nécessité d'obtenir le rapport de deux probabilités: P(A)/P(B)P(A)/P(B)P(A)/P(B) pouvoir obtenir . Ces probabilités sont obtenues par intégration de deux KDE multivariés 2D différents comme expliqué dans cette réponse :P(H|D)P(H|D)P(H|D) P(A)=∬x,y:f^(x,y)<f^(ra,sa)f^(x,y)dxdyP(A)=∬x,y:f^(x,y)<f^(ra,sa)f^(x,y)dxdyP(A) = \iint_{x, …

12 probability bayesian maximum-likelihood kernel-smoothing

2

MLE signifie-t-il toujours que nous connaissons le PDF sous-jacent de nos données, et EM signifie-t-il que nous ne le savons pas?

J'ai quelques questions conceptuelles simples que j'aimerais clarifier concernant MLE (Maximum Lik vraisemblable Estimation), et quel lien il a, le cas échéant, avec EM (Expectation Maximization). Si je comprends bien, si quelqu'un dit "Nous avons utilisé le MLE", cela signifie-t-il automatiquement qu'il a un modèle explicite du PDF de ses …

12 estimation maximum-likelihood expectation-maximization

2

Intégration de l'estimateur de densité de noyau en 2D

Je viens de cette question au cas où quelqu'un voudrait suivre la piste. Fondamentalement, j'ai un ensemble de données composé de objets où chaque objet a un nombre donné de valeurs mesurées qui lui sont attachées (deux dans ce cas):NΩΩ\OmegaNNN Ω=o1[x1,y1],o2[x2,y2],...,oN[xN,yN]Ω=o1[x1,y1],o2[x2,y2],...,oN[xN,yN]\Omega = o_1[x_1, y_1], o_2[x_2, y_2], ..., o_N[x_N, y_N] J'ai …

12 probability maximum-likelihood kernel-smoothing numerical-integration

6

Si vous utilisez une estimation ponctuelle qui maximise

Si quelqu'un a dit "Cette méthode utilise le MLE l'estimation ponctuelle pour le paramètre qui maximise , donc c'est fréquentiste; et en plus ce n'est pas bayésien."P ( x | θ )P(x|θ)\mathrm{P}(x|\theta) accepteriez-vous? Mise à jour sur le fond : j'ai récemment lu un article qui prétend être fréquentiste. Je …

12 bayesian maximum-likelihood likelihood frequentist philosophical

Questions marquées «maximum-likelihood»