Formule de probabilité pour une distribution bernoulli multivariée

13

J'ai besoin d'une formule pour la probabilité d'un événement dans une distribution de Bernoulli à n variables $X\in\{0,1\}^n$ avec des probabilités $P(X_i=1)=p_i$ pour un seul élément et pour des paires d'éléments $P(X_i=1 \wedge X_j=1)=p_{ij}$ . Je pourrais vous donner de manière équivalente moyenne et covariance de $X$ .

J'ai déjà appris qu'il existe de nombreuses distributions $\{0,1\}^n$ ayant les propriétés tout comme il existe de nombreuses distributions ayant une moyenne et une covariance données. Je recherche une canonique sur $\{0,1\}^n$ , tout comme la gaussienne est une distribution canonique pour $R^n$ et une moyenne et une covariance données.

multivariate-analysis discrete-data

— mpiktas
source

11

La variable aléatoire prenant des valeurs dans est une variable aléatoire discrète. Sa distribution est entièrement décrite par les probabilités avec . Les probabilités et vous donnez sont des sommes de pour certains indices . $\{0,1\}^n$ $p_{\mathbf{i}}=P(X=\mathbf{i})$ $\mathbf{i}\in\{0,1\}^n$ $p_{i}$ $p_{ij}$ $p_{\mathbf{i}}$ $\mathbf{i}$

Il semble maintenant que vous souhaitiez décrire en utilisant uniquement et . Ce n'est pas possible sans supposer certaines propriétés sur . Pour voir que essayer de tirer fonction caractéristique de . Si nous prenons nous obtenons $p_{\mathbf{i}}$ $p_i$ $p_{ij}$ $p_{\mathbf{i}}$ $X$ $n=3$

Il n'est pas possible de réorganiser cette expression pour que

\begin{aligned} E e^{i (t_{1} X_{1} + t_{2} X_{2} + t_{3} X_{3})} & = p_{000} + p_{100} e^{i t_{1}} + p_{010} e^{i t_{2}} + p_{001} e^{i t_{3}} \\ + p_{110} e^{i (t_{1} + t_{2})} + p_{101} e^{i (t_{1} + t_{3})} + p_{011} e^{i (t_{2} + t_{3})} + p_{111} e^{i (t_{1} + t_{2} + t_{3})} \end{aligned}

$\begin{align} Ee^{i(t_1X_1+t_2X_2+t_3X_3)}&=p_{000}+p_{100}e^{it_1}+p_{010}e^{it_2}+p_{001}e^{it_3}\\\\ &+p_{110}e^{i(t_1+t_2)}+p_{101}e^{i(t_1+t_3)}+p_{011}e^{i(t_2+t_3)}+p_{111}e^{i(t_1+t_2+t_3)} \end{align}$

p_{i}

$p_{\mathbf{i}}$ dissapear. For the gaussian random variable the characteristic function depends only on mean and covariance parameters. Characteristic functions uniquely define distributions, so this is why Gaussian can be described uniquely by using only mean and covariance. As we see for random variable

X

$X$ this is not the case.

— mpiktas
source

10

See the following paper:

J. L. Teugels, Some representations of the multivariate Bernoulli and binomial distributions, Journal of Multivariate Analysis, vol. 32, no. 2, Feb. 1990, 256–268.

Here is the abstract:

Des versions multivariées mais vectorisées pour les distributions de Bernoulli et binomiales sont établies en utilisant le concept de produit Kronecker du calcul matriciel. La distribution de Bernoulli multivariée implique un modèle paramétré, qui fournit une alternative au modèle log-linéaire traditionnel pour les variables binaires.

— Hamed
source

2

Merci d'avoir partagé cela, Hamed. Bienvenue sur notre site!

— whuber

1

I don't know what the resulting distribution is called, or if it even has a name, but it strikes me the obvious way to set this up is to think of the model you'd use to model a 2×2×2×…×2 table using a log-linear (Poisson regression) model. As you know the 1st-order interactions only, it's then natural to assume that all higher-order interactions are zero.

Using the questioner's notation, this gives the model:

P (X_{1} = x_{1}, X_{2} = x_{2}, \dots, X_{n} = x_{n}) = \prod_{i} [p_{i}^{x_{i}} (1 - p_{i})^{1 - x_{i}} \prod_{j < i} {(\frac{p_{i j}}{p_{i} p_{j}})}^{x_{i} x_{j}}]

$P(X_1=x_1, X_2=x_2,\ldots,X_n=x_n) = \prod_i \left[ p_i^{x_i}(1-p_i)^{1-x_i} \prod_{j<i} \left(\frac{p_{ij}}{p_i p_j}\right)^{x_i x_j} \right]$

— onestop
source

This formula has notational problems: there are

p

$p$ 's on the left and the right. The right side makes no reference at all to the subscript

i

$\mathbf{i}$ . Furthermore, still interpreting the

p_{i}

$p_i$ as probabilities (as in the original question), the rhs clearly is positive whereas the lhs cannot be positive.

— whuber

@whuber Quite right! I stick by the model I set out in the first para, but my equation was screwed up in several ways... Goes to show I haven't actually used log-linear modelling of contingency tables since my MSc, and I haven't got the notes or books to hand. I believe I've fixed it now though. Let me know if you agree! Apols for the delay. Some days my brain just doesn't do algebra.

— onestop

1

I don't think this works. Assume

p_{i} = 1 / n

$p_i=1/n$ and

p_{i j} = 0 \forall i \neq j

$p_{ij}=0 \forall i \ne j$ . This is a valid combination of probabilities, realized when

I

$I$ is a uniform random variable

\in {1, . . ., n}

$\in\{1,...,n\}$ and

X_{I} = 1

$X_I=1$ and all

X_{j} = 0 \forall j \neq I

$X_j=0 \forall j\ne I$ . Still the formula above would be 0 for all events. Still thanks for helping!