Quelle est l'approximation normale de la distribution multinomiale?

S'il existe plusieurs approximations possibles, je recherche la plus élémentaire.

Vous pouvez l'approcher avec la distribution normale multivariée de la même manière que la distribution binomiale est approximée par la distribution normale univariée. Consultez les éléments de la théorie de la distribution et de la distribution multinomiale pages 15-16-17.

Soit le vecteur de vos probabilités. Alors le vecteur moyen de la distribution normale multivariée est . La matrice de covariance est une matrice symétrique . Les éléments diagonaux sont en fait la variance des ; c'est-à-dire , . L'élément hors diagonale dans la ième ligne et la jième colonne est , où n'est pas égal à .$P=(p_1,...,p_k)$$np=(np_1,np_2,...,np_k)$$k \times k$$X_i$$np_i(1-p_i)$$i=1,2...,k$$\text{Cov}(X_i,X_j)=-np_ip_j$$i$$j$

La densité donnée dans cette réponse est dégénérée, et j'ai donc utilisé ce qui suit pour calculer la densité qui résulte de l'approximation normale:

Il y a un théorème qui dit étant donné une variable aléatoire , pour un vecteur à dimensions avec et , cela;$X = [X_1, \ldots, X_m]^T \sim \text{Multinom}(n, p)$$m$$p$$\sum_i p_i = 1$$\sum_i X_i = n$

$$X \xrightarrow{d} \sqrt{n} \, \text{diag}(u) \, Q \begin{bmatrix} Z_1 \\ \vdots \\ Z_{m-1} \\ 0 \end{bmatrix} + \begin{bmatrix} n p_1 \\ \vdots \\ n p_m \end{bmatrix},$$

pour grand , donné;$n$

• un vecteur avec ;$u$$u_i = \sqrt{p_i}$
• variables aléatoires pour et;$Z_i \sim N(0,1)$$i = 1, \ldots, m-1$
• une matrice orthogonale avec la dernière colonne .$Q$$u$

Autrement dit, avec un certain réarrangement, nous pouvons établir une distribution normale multivariée dimensionnelle pour les premiers composants de (qui sont les seuls composants intéressants parce que est la somme des autres).$m-1$$m-1$$X$$X_m$

Une valeur appropriée de la matrice est avec - c'est-à-dire une transformation particulière du Householder.$Q$$I - 2 v v^T$$v_i = (\delta_{im} - u_i) / \sqrt{2(1 - u_m)}$

Si nous limitons le côté gauche aux premières lignes et restreignons à ses premières lignes et colonnes (notons respectivement et ) alors:$m-1$$Q$$m-1$$m-1$$\hat{X}$$\hat{Q}$

$$\hat{X} \xrightarrow{d} \sqrt{n} \text{diag}(\hat{u}) \hat{Q} \begin{bmatrix} Z_1 \\ \vdots \\ Z_{m-1} \end{bmatrix} + \begin{bmatrix} n p_1 \\ \vdots \\ n p_{m-1} \end{bmatrix} \sim \mathcal{N} \left( \mu, n \Sigma \right),$$

pour grand , où;$n$

• $\hat{u}$ désigne les premiers termes de ;$m-1$$u$
• la moyenne est , et;$\mu = [ n p_1, \ldots, n p_{m-1}]^T$
• la matrice de covariance avec .$n \Sigma = n A A^T$$A = \text{diag}( \hat{u} ) \hat{Q}$

Le côté droit de cette équation finale est la densité non dégénérée utilisée dans le calcul.

Comme prévu, lorsque vous branchez tout, vous obtenez la matrice de covariance suivante:

$$(n\Sigma)_{ij} = n \sqrt{p_i p_j} (\delta_{ij} - \sqrt{p_i p_j})$$

pour , qui est exactement la matrice de covariance dans la réponse originale limitée à ses premières lignes et colonnes.$i,j = 1, \ldots, m-1$$m-1$$m-1$

Cette entrée de blog était mon point de départ.