Statistiques et Big Data maximum-likelihood

2

Comment savoir quelle méthode d'estimation de paramètres choisir?

Il existe de nombreuses méthodes d'estimation des paramètres. MLE, UMVUE, MoM, décision-théorique, et d'autres semblent tous avoir un cas assez logique pour expliquer pourquoi ils sont utiles pour l'estimation des paramètres. Une méthode est-elle meilleure que les autres, ou s'agit-il simplement de savoir comment définir l'estimateur «le mieux adapté» (semblable …

12 estimation mathematical-statistics maximum-likelihood method-of-moments umvue

1

Quelles sont les conditions de régularité du test du rapport de vraisemblance

Quelqu'un pourrait-il me dire quelles sont les conditions de régularité pour la distribution asymptotique du test du rapport de vraisemblance? Partout où je regarde, il est écrit «sous les conditions de régularité» ou «sous les régularités probabilistes». Quelles sont exactement les conditions? Que les première et deuxième dérivées log-vraisemblance existent …

12 maximum-likelihood likelihood-ratio asymptotics

1

Test exact de Fisher et distribution hypergéométrique

Je voulais mieux comprendre le test exact du pêcheur, j'ai donc imaginé l'exemple de jouet suivant, où f et m correspond à l'homme et à la femme, et n et y correspond à la "consommation de soda" comme ceci: > soda_gender f m n 0 5 y 5 0 Évidemment, …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

4

Comparaison de l'estimation du maximum de vraisemblance (MLE) et du théorème de Bayes

Dans le théorème bayésien, , et dans le livre que je lis, est appelé le vraisemblance , mais je suppose que c'est juste la probabilité conditionnelle de étant donné , non?p(y|x)=p(x|y)p(y)p(x)p(y|x)=p(x|y)p(y)p(x)p(y|x) = \frac{p(x|y)p(y)}{p(x)}p(x|y)p(x|y)p(x|y)xxxyyy L' estimation du maximum de vraisemblance tente de maximiser , non? Si oui, je suis très confus, …

12 bayesian maximum-likelihood

4

Quelle doit être la taille d'un échantillon pour une technique et des paramètres d'estimation donnés?

Existe-t-il une règle empirique ou même un moyen quelconque de déterminer la taille d'un échantillon afin d'estimer un modèle avec un nombre donné de paramètres? Ainsi, par exemple, si je veux estimer une régression des moindres carrés avec 5 paramètres, quelle devrait être la taille de l'échantillon? Quelle est la …

12 sample-size estimation least-squares maximum-likelihood

4

Quelle est la signification du lien entre MLE et entropie croisée dans l'apprentissage profond?

Je comprends que, étant donné un ensemble de observations indépendantes l' estimateur du maximum de vraisemblance (ou, de manière équivalente, le MAP avec a priori plat / uniforme) qui identifie les paramètres \ mathbf {θ} qui produisent la distribution du modèle p_ {modèle} \ gauche (\, \ cdot \,; \ …

12 maximum-likelihood deep-learning cross-entropy

1

Comment comprendre que le MLE de la variance est biaisé dans une distribution gaussienne?

Je lis PRML et je ne comprends pas l'image. Pourriez-vous s'il vous plaît donner quelques conseils pour comprendre l'image et pourquoi le MLE de la variance dans une distribution gaussienne est biaisé? formule 1.55: formule 1.56 σ 2 M L E =1μMLE=1N∑n=1NxnμMLE=1N∑n=1Nxn \mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n σ2MLE=1N∑n=1N(xn−μMLE)2σMLE2=1N∑n=1N(xn−μMLE)2 \sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2

12 machine-learning self-study maximum-likelihood

1

Estimateur du maximum de vraisemblance - intervalle de confiance

Comment puis-je construire un intervalle de confiance asymptotique pour un paramètre réel, à partir du MLE pour ce paramètre?

12 confidence-interval mathematical-statistics maximum-likelihood inference

1

MLE pour la distribution triangulaire?

Est-il possible d'appliquer la procédure MLE habituelle à la distribution triangulaire? - J'essaie mais je semble être bloqué à un moment ou à un autre dans les mathématiques par la façon dont la distribution est définie. J'essaie d'utiliser le fait que je connais le nombre d'échantillons au-dessus et au-dessous de …

12 distributions mathematical-statistics maximum-likelihood triangular-distribution

1

Relation entre la matrice de Hesse et la matrice de covariance

Pendant que j'étudie l'estimation du maximum de vraisemblance, pour faire l'inférence dans l'estimation du maximum de vraisemblance, nous devons connaître la variance. Pour connaître la variance, j'ai besoin de connaître la limite inférieure de Rram de Cramer, qui ressemble à une matrice de Hesse avec une deuxième dérivation sur la …

12 machine-learning mathematical-statistics maximum-likelihood data-mining

2

Les paramètres du maximum de vraisemblance s'écartent des distributions postérieures

J'ai une fonction de vraisemblance pour la probabilité de mes données étant donné certains paramètres du modèle , que je voudrais estimer. En supposant des a priori plats sur les paramètres, la probabilité est proportionnelle à la probabilité postérieure. J'utilise une méthode MCMC pour échantillonner cette probabilité.L (d| θ)L(ré|θ)\mathcal{L}(d | …

11 bayesian maximum-likelihood optimization inference mcmc

4

Inférence sans vraisemblance - qu'est-ce que cela signifie?

Récemment, j'ai pris conscience des méthodes «sans vraisemblance» utilisées dans la littérature. Cependant, je ne sais pas exactement ce que signifie qu'une méthode d'inférence ou d'optimisation est sans vraisemblance . Dans l'apprentissage automatique, l'objectif est généralement de maximiser la probabilité que certains paramètres correspondent à une fonction, par exemple les …

11 machine-learning deep-learning maximum-likelihood generative-models abc

4

Pourquoi les méthodes de régression par moindres carrés et probabilité maximale ne sont-elles pas équivalentes alors que les erreurs ne sont pas normalement distribuées?

Le titre dit tout. Je comprends que les moindres carrés et le maximum de vraisemblance donneront le même résultat pour les coefficients de régression si les erreurs du modèle sont normalement distribuées. Mais que se passe-t-il si les erreurs ne sont pas normalement distribuées? Pourquoi les deux méthodes ne sont-elles …

11 regression normal-distribution maximum-likelihood least-squares error

2

Pourquoi le maximum de vraisemblance restreint donne-t-il une meilleure estimation (non biaisée) de la variance?

Je lis le document de théorie de Doug Bates sur le package lme4 de R pour mieux comprendre les moindres détails des modèles mixtes, et suis tombé sur un résultat intrigant que j'aimerais mieux comprendre, à propos de l'utilisation du maximum de vraisemblance restreint (REML) pour estimer la variance . …

11 maximum-likelihood mixed-model unbiased-estimator hierarchical-bayesian reml

1

Interprétation géométrique de l'estimation du maximum de vraisemblance

Je lisais le livre The Identification Problem in Econometrics de Franklin M. Fisher, et j'étais confus par la partie qu'il démontrait l'identification en visualisant la fonction de vraisemblance. Le problème pourrait être simplifié comme suit: Pour une régression , où u ∼ i . i . d . N ( …

11 mathematical-statistics maximum-likelihood geometry

Questions marquées «maximum-likelihood»