Estimateur du maximum de vraisemblance du paramètre de localisation de la distribution de Cauchy

J'ai atteint jusqu'à

$$\frac{d\ln L}{d\mu}=\sum_{i=1}^n \frac{2(x_i-u)}{1+(x_i-u)^2}$$

Où est le paramètre d'emplacement. Et est la fonction de vraisemblance. Je ne sais pas comment procéder. Veuillez aider.$u$$L$

Ok, disons que le pdf du cauchy est:

$f(x;\theta)=\frac{1}{\pi}\frac{1}{1+(x-\theta)^2}$ ici $\theta$ est médiane, pas moyenne puisque pour Cauchy la moyenne n'est pas définie.

$$L(\theta;x)=\frac{1}{\pi}\frac{1}{1+(x_1-\theta)^2}\frac{1}{\pi}\frac{1}{1+(x_2-\theta)^2}\cdots\frac{1}{\pi}\frac{1}{1+(x_n-\theta)^2}\\=\frac{1}{\pi^n} \frac{1}{\prod[1+(x_i-\theta)^2]}$$

$$\ell(\theta;x)=-n\log\pi-\sum_{i=1}^n\log[1+(x_i-\theta)^2]$$

$$\frac{d\ell(\theta;x)}{d\theta}=\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}$$

C'est exactement ce que tu as, sauf ici $\theta$est médian, pas méchant. Je suppose$u$ est médiane dans votre formule.

Prochaine étape, afin de trouver mle, nous devons définir $\frac{d\ell(\theta;x)}{d\theta} = \sum_{i=1}^n \frac{2(x_i-\theta)}{1+(x_i-\theta)^2}=0$

Maintenant $\theta$ est votre variable, et $x_is$ sont des valeurs connues, vous devez résoudre l'équation $\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}=0$

c'est à dire pour résoudre $\frac{2(x_1-\theta)}{1+(x_1-\theta)^2}+\frac{2(x_2-\theta)}{1+(x_2-\theta)^2}+\cdots+\frac{2(x_n-\theta)}{1+(x_n-\theta)^2}=0$. Il semble que résoudre cette équation sera très difficile. Par conséquent, nous avons besoin de la méthode de Newton-Raphson.

Je pense que beaucoup de livres de calcul parlent de la méthode

La formule de la méthode de Newton-Raphson peut s'écrire

$$\hat{\theta^1}=\hat{\theta^0}-\frac{\ell'(\hat{\theta^0})}{\ell''(\hat{\theta^0})} \tag 1$$

$\hat{\theta^0}$ est votre première estimation de $\theta$

$\ell'$ est la première dérivée de la fonction de vraisemblance logarithmique.

$\ell''$ est la dérivée seconde de la fonction log de vraisemblance.

De $\hat{\theta^0}$ Tu peux recevoir $\hat{\theta^1}$ alors tu mets $\hat{\theta^1}$ à $(1)$ alors vous obtenez $\hat{\theta^2}$ et le mettre à $(1)$ obtenir $\hat{\theta^3}$... continuez ces itérations jusqu'à ce qu'il n'y ait pas de grands changements entre $\hat{\theta^n}$ et $\hat{\theta^{n-1}}$

Les éléments suivants sont la fonction R que j'ai écrite pour obtenir mle pour la distribution de Cauchy.

mlecauchy=function(x,toler=.001){      #x is a vector here
startvalue=median(x)
n=length(x);
thetahatcurr=startvalue;
# Compute first deriviative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
# Continue Newton’s method until the first derivative
# of the likelihood is within toler of 0.001
while(abs(firstderivll)>toler){
# Compute second derivative of log likelihood
 secondderivll=2*sum(((x-thetahatcurr)^2-1)/(1+(x-thetahatcurr)^2)^2);
# Newton’s method update of estimate of theta
thetahatnew=thetahatcurr-firstderivll/secondderivll;
thetahatcurr=thetahatnew;
# Compute first derivative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
}
list(thetahat=thetahatcurr);
}

Supposons maintenant que vos données soient $x_1=1.94,x_2=0.59,x_3=-5.98,x_4=-0.08,x_5-0.77$

x<-c(-1.94,0.59,-5.98,-0.08,-0.77)
mlecauchy(x,0.0001)

Résultat:

#$thetahat
#[1] -0.5343968

Nous pouvons également utiliser la fonction build R pour obtenir mle.

optimize(function(theta) -sum(dcauchy(x, location=theta, log=TRUE)),  c(-100,100)) 

#we use negative sign here

Résultats:

#$minimum
#[1] -0.5343902

Le résultat est presque le même que les codes faits maison.

---

Ok, comme vous en avez besoin, laissez-nous le faire à la main.

Nous obtenons d'abord une estimation initiale sera la médiane des données $-5.98, -1.94, -0.77, -0.08, 0.59$

La médiane est $-0.77$

Ensuite, nous savons déjà que $l'(\theta)=\frac{dl(\theta;x)}{d\theta}=\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}$

et

$$l''(\theta)=\frac{dl^2(\theta;x)}{d(\theta}=\frac{d(\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2})}{d\theta}=2\sum_{i=1}^n\frac{(x_i-\theta)^2-1}{[1+(x_i-\theta)^2]^2}$$

Maintenant, nous branchons le $\hat{\theta^0}$ c'est-à-dire médiane à $l'(\theta)$ et $l''(\theta)$

c'est à dire remplacer $\theta$ avec $\hat{\theta^0}$ ie médiane ie $-0.77$

$$\begin{align} \ell'(\theta) = {} & \sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2} \\[10pt] = {} &\frac{2[-5.98-(-0.77)]}{1+[(-5.98-(-0.77)^2]} + \frac{2[-1.94-(-0.77)]}{1+[(-1.94-(-0.77)^2]} + \frac{2[-0.77-(-0.77)]}{1+[(-0.77-(-0.77)^2]} \\[6pt] & {} +\frac{2[-0.08-(-0.77)]}{1+[(-0.08-(-0.77)^2]} +\frac{2[0.59-(-0.77)]}{1+[(0.59-(-0.77)^2]}\\[10pt] = {} & \text{??} \end{align}$$

Plug in suivant $x_1$ à $x_5$ et $-0.77$ obtenir $\ell''(\theta)$ alors vous pouvez obtenir $\hat{\theta^1}$

Ok, je dois m'arrêter ici, c'est trop gênant de calculer ces valeurs à la main.