MLE nécessite-t-il des données iid? Ou simplement des paramètres indépendants?

L'estimation des paramètres à l'aide de l'estimation du maximum de vraisemblance (MLE) implique l'évaluation de la fonction de vraisemblance, qui met en correspondance la probabilité que l'échantillon (X) se produise avec les valeurs (x) sur l'espace des paramètres (θ) étant donné une famille de distribution (P (X = x | θ ) sur les valeurs possibles de θ (note: ai-je raison?). Tous les exemples que j'ai vus impliquent de calculer P (X = x | θ) en prenant le produit de F (X) où F est la distribution avec le local la valeur de θ et X est l'échantillon (un vecteur).

Puisque nous multiplions simplement les données, cela signifie-t-il que les données sont indépendantes? Par exemple, ne pourrions-nous pas utiliser MLE pour ajuster les données de séries chronologiques? Ou les paramètres doivent-ils simplement être indépendants?

La fonction de vraisemblance est définie comme la probabilité d'un événement $E$ (ensemble de données ${\bf x}$ ) en fonction des paramètres du modèle $\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

Par conséquent, il n'y a aucune hypothèse d'indépendance des observations. Dans l'approche classique, il n'y a pas de définition de l' indépendance des paramètres car ce ne sont pas des variables aléatoires; certains concepts connexes pourraient être l' identifiabilité , l' orthogonalité des paramètres et l'indépendance des estimateurs du maximum de vraisemblance (qui sont des variables aléatoires).

Quelques exemples,

(1). Affaire discrète . est un échantillon d'observations discrètes (indépendant) avec P ( observation  x j ; θ ) > 0 , alors${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

En particulier, si , avec N connu, nous avons que$x_j\sim \text{Binomial}(N,\theta)$$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

(2). Approximation continue . Soit soit un échantillon à partir d' une variable aléatoire continue X , avec une distribution F et de la densité f , avec une erreur de mesure ε , ceci est, on observe les ensembles ( x j - ε , x j + ϵ ) . alors${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

Lorsque est petit, cela peut être approximé (en utilisant le théorème de la valeur moyenne) par$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

Pour un exemple avec le cas normal, jetez un œil à ceci .

(3). Modèle dépendant et Markov . Supposons que est un ensemble d'observations éventuellement dépendantes et laisser f est la densité conjointe de x , puis${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

Si en plus la propriété Markov est satisfaite, alors

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

Jetez également un œil à cela .

(+1) Très bonne question.

Petite chose, MLE signifie estimation de vraisemblance maximale (non multiple), ce qui signifie que vous maximisez simplement la probabilité. Cela ne spécifie pas que la probabilité doit être produite par l'échantillonnage IID.

Si la dépendance de l'échantillonnage peut être écrite dans le modèle statistique, il vous suffit d'écrire la probabilité en conséquence et de la maximiser comme d'habitude.

Le seul cas qui mérite d'être mentionné lorsque vous ne supposez pas de dépendance est celui de l'échantillonnage gaussien multivarié (dans l'analyse des séries temporelles par exemple). La dépendance entre deux variables gaussiennes peut être modélisée par leur terme de covariance, que vous incorporez dans la vraisemblance.

$2$

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

where $z$ is

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

This is not the product of the individual likelihoods. Still, you would maximize this with parameters $(\mu, \sigma, \rho)$ to get their MLE.

Of course, Gaussian ARMA models possess a likelihood, as their covariance function can be derived explicitly. This is basically an extension of gui11ame's answer to more than 2 observations. Minimal googling produces papers like this one where the likelihood is given in the general form.

Another, to an extent, more intriguing, class of examples is given by multilevel random effect models. If you have data of the form

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ where indices $j$ are nested in $i$ (think of students $j$ in classrooms $i$, say, for a classic application of multilevel models), then, assuming $\epsilon_{ij} \perp u_i$, the likelihood is $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ and is a sum over the likelihood contributions defined at the level of clusters, not individual observations. (Of course, in the Gaussian case, you can push the integrals around to produce an analytic ANOVA-like solution. However, if you have say a logit model for your response $y_{ij}$, then there is no way out of numerical integration.)