Distribution des produits scalaires de deux vecteurs unitaires aléatoires en dimensions

Si et sont deux vecteurs unitaires aléatoires indépendants dans (uniformément répartis sur une sphère unitaire), quelle est la distribution de leur produit scalaire (produit scalaire) ? $\mathbf{x}$ $\mathbf{y}$ $\mathbb{R}^D$ $\mathbf x \cdot \mathbf y$

Je suppose que lorsque croît rapidement, la distribution (?) Devient normale avec une moyenne nulle et une variance décroissante dans les dimensions supérieures mais existe-t-il une formule explicite pour ? $D$

lim_{D \to \infty} σ^{2} (D) \to 0,

$\lim_{D\to\infty}\sigma^2(D) \to 0,$

σ^{2} (D)

$\sigma^2(D)$

Mise à jour

J'ai fait quelques simulations rapides. Tout d'abord, en générant 10000 paires de vecteurs unitaires aléatoires pour $D=1000$ il est facile de voir que la distribution de leurs produits scalaires est parfaitement gaussienne (en fait, elle est déjà assez gaussienne pour $D=100$ ), voir la sous-intrigue à gauche. Deuxièmement, pour chaque $D$ allant de 1 à 10 000 (avec des pas croissants), j'ai généré 1 000 paires et calculé la variance. Terrain Log-Log est indiqué à droite, et il est clair que la formule est très bien approchée par $1/D$ . Notez que pour $D=1$ et $D=2$ cette formule donne même des résultats exacts (mais je ne suis pas sûr de ce qui se passera plus tard).

produits scalaires entre vecteurs unitaires aléatoires

mathematical-statistics linear-algebra beta-distribution

— amibe dit réintégrer Monica
source

@KarlOskar: merci, ce lien est très pertinent, et rend en fait ma question presque en double, mais pas tout à fait. Il existe donc une formule explicite pour qui est une fonction de distribution cumulative des produits scalaires. On peut prendre un dérivé pour obtenir le PDF puis étudier la limite . Cependant, la formule est donnée en termes de fonctions bêta et de fonctions bêta incomplètes, donc les calculs sont susceptibles d'être désagréables.

P {(x, y) > ϵ}

$P\{(\mathbf{x}, \mathbf{y})>\epsilon\}$

D \to \infty

$D\to \infty$

— amibe dit Réintégrer Monica le

@KarlOskar: de la distribution uniforme sur une sphère unitaire dans . Pour générer un vecteur aléatoire à partir de cette distribution, on peut générer un vecteur aléatoire à partir d'un gaussien avec une variance unitaire, puis le normaliser.

R^{D}

$\mathbb{R}^D$

— amoeba dit Reinstate Monica

Réponses:

Parce que ( comme cela est bien connu ) une distribution uniforme sur la sphère unitaire est obtenue en normalisant une distribution normale à variables et le produit scalaire des vecteurs normalisés est leur coefficient de corrélation, les réponses aux trois les questions sont: $S^{D-1}$ $D$ $t$

$u= (t+1)/2$ a une distribution bêta . $((D-1)/2,(D-1)/2)$
La variance de est égale à (comme spéculé dans la question). $t$ $1/D$
La distribution standardisée de rapproche de la normalité à un taux de $t$ $O\left(\frac{1}{D}\right).$

Méthode

La distribution exacte du produit scalaire des vecteurs unitaires est facilement obtenue géométriquement, car c'est la composante du deuxième vecteur dans la direction du premier. Puisque le deuxième vecteur est indépendant du premier et est uniformément distribué sur la sphère unitaire, sa composante dans la première direction est distribuée de la même manière que n'importe quelle coordonnée de la sphère. (Notez que la distribution du premier vecteur n'a pas d'importance.)

Trouver la densité

Laissant cette coordonnée être la dernière, la densité à est donc proportionnelle à la surface située à une hauteur comprise entre et sur la sphère unitaire. Cette proportion se produit dans une ceinture de hauteur et de rayon qui est essentiellement un tronc conique construit à partir d'un de rayon de hauteur et de pente . D'où la probabilité est proportionnelle à $t \in [-1,1]$ $t$ $t+dt$ $dt$ $\sqrt{1-t^2},$ $S^{D-2}$ $\sqrt{1-t^2},$ $dt$ $1/\sqrt{1-t^2}$

\frac{{(\sqrt{1 - t^{2}})}^{D - 2}}{\sqrt{1 - t^{2}}} d t = (1 - t^{2})^{(D - 3) / 2} d t .

$\frac{\left(\sqrt{1 - t^2}\right)^{D-2}}{\sqrt{1 - t^2}}\,dt = (1 - t^2)^{(D-3)/2} dt.$

Soit implique . La substitution de ce qui précède donne l'élément de probabilité jusqu'à une constante de normalisation: $u=(t+1)/2 \in [0,1]$ $t = 2u-1$

f_{D} (u) d u \propto (1 - (2 u - 1)^{2})^{(D - 3) / 2} d (2 u - 1) = 2^{D - 2} (u - u^{2})^{(D - 3) / 2} d u .

$f_D(u)du \; \propto \; (1 - (2u-1)^2)^{(D-3)/2} d(2u-1) = 2^{D-2}(u-u^2)^{(D-3)/2}du.$

Il est immédiat que a une distribution Beta , car (par définition) sa densité est également proportionnelle à $u=(t+1)/2$ $((D-1)/2, (D-1)/2)$

u^{(ré - 1) / 2 - 1} {(1 - u)}^{(ré - 1) / 2 - 1} = (u - u^{2})^{(ré - 3) / 2} \propto F_{ré} (u) .

$u^{(D-1)/2-1}\left(1-u\right)^{(D-1)/2-1} = (u-u^2)^{(D-3)/2} \; \propto \; f_D(u).$

Déterminer le comportement limitatif

Des informations sur le comportement limitatif en découlent facilement à l'aide de techniques élémentaires: peut être intégré pour obtenir la constante de proportionnalité ; peut être intégré (en utilisant les propriétés des fonctions bêta, par exemple) pour obtenir des moments, montrant que la variance est et se réduit à (d'où, selon le théorème de Tchebychev, la probabilité se concentre près de ); et la distribution limite est alors trouvée en considérant les valeurs de la densité de la distribution standardisée, proportionnelle à pour les petites valeurs de $f_D$ $\frac{\Gamma \left(\frac{n}{2}\right)}{\sqrt{\pi } \Gamma \left(\frac{D-1}{2}\right)}$ $t^k f_D(t)$ $1/D$ $0$ $t=0$ $f_D(t/\sqrt{D}),$ $t$ :

\begin{aligned} \log (f_{D} (t / \sqrt{D})) & = C (D) + \frac{D - 3}{2} \log (1 - \frac{t^{2}}{D}) \\ = C (D) - (1 / 2 + \frac{3}{2 ré}) t^{2} + O (\frac{t^{4}}{ré}) \\ \to C - \frac{1}{2} t^{2} \end{aligned}

$\eqalign{ \log(f_D(t/\sqrt{D})) &= C(D) + \frac{D-3}{2}\log\left(1 - \frac{t^2}{D}\right) \\ &=C(D) -\left(1/2 + \frac{3}{2D}\right)t^2 + O\left(\frac{t^4}{D}\right) \\ &\to C -\frac{1}{2}t^2 }$

où les représentent des constantes (log) d'intégration. De toute évidence, la vitesse à laquelle cela se rapproche de la normalité (pour laquelle la densité logarithmique est égale à ) est $C$ $-\frac{1}{2}t^2$ $O\left(\frac{1}{D}\right).$

Ce graphique montre les densités du produit scalaire pour , normalisées en fonction de la variance unitaire, et leur densité limite. Les valeurs à augmentent avec (du bleu au rouge, à l'or, puis au vert pour la densité normale standard). La densité pour serait impossible à distinguer de la densité normale à cette résolution. $D=4, 6, 10$ $0$ $D$ $D=1000$

— whuber
source

(+1) Merci beaucoup, @whuber, c'est une excellente réponse! Remerciements particuliers pour avoir mentionné le mot "tronc". Il se trouve que j'ai accepté une autre réponse quelques minutes avant que vous ne publiiez la vôtre, et je ne voudrais pas la désaccepter maintenant; J'espère que tu as compris. Dommage qu'il ne soit pas possible d'accepter les deux! Soit dit en passant, notez une preuve très simple de l' expression pour la variance de cette réponse: on peut la voir directement sans déconner avec les fonctions bêta! La variance du produit scalaire est égale à la variance de n'importe quelle coordonnée de sphère (comme vous l'avez écrit), et une somme de tous les devrait être , QED

1 / D

$1/D$

D

$D$

1

$1$

— amibe dit Reinstate Monica

C'est une belle observation sur les écarts.

— whuber

@amoeba, l'activité récente a également attiré mon attention ici, et autant que j'apprécie que vous ayez accepté ma réponse, celle-ci est beaucoup plus complète. Cela ne me dérangerait pas du tout si vous changiez.

— ekvall

@ Student001: c'est un commentaire juste et généreux. J'ai changé la réponse acceptée. J'ai également trouvé un Q et un A à voter pour compenser cela :)

— Amoeba dit Reinstate Monica

@mat La distribution de est celle de . Cela en fait une distribution bêta qui a été mise à l'échelle et décalée de l'intervalle dans l'intervalle .

t

$t$

2 U - 1

$2U-1$

[0, 1]

$[0,1]$

[- 1, 1]

$[-1,1]$

— whuber

Trouvons la distribution, puis la variance suit les résultats standard. Considérez le produit vectoriel et écrivez-le sur sa forme cosinus, c'est-à-dire que nous avons où est l'angle entre et . Dans la dernière étape, je l'ai utilisé pour tous les événements etConsidérons maintenant le terme . Il est clair que puisque est choisi uniformément par rapport à la surface de la sphère, peu importe ce que

P (x^{'} y \leq t) = P (| x | | y | \cos θ \leq t) = P (\cos θ \leq t) = E P (\cos θ \leq t ∣ y),

$P(x'y\leq t)=P(|x||y|\cos\theta\leq t)=P(\cos\theta\leq t)=\mathbb{E}P(\cos\theta\leq t\mid y),$

θ

$\theta$

x

$x$

y

$y$

A

$A$

B

$B$

E P (UNE ∣ B) : = E [E [χ_{UNE} ∣ B]] = E χ_{UNE} = P (UNE) .

$\mathbb EP(A\mid B):=\mathbb{E}[\mathbb{E}[\chi_A\mid B]]=\mathbb{E}\chi_A=P(A).$

P (\cos θ \leq t ∣ y)

$P(\cos\theta\leq t\mid y)$

x

$x$

y

$y$ est en fait, seul l'angle entre et compte. Ainsi, le terme à l'intérieur de l'attente est en fait constant en fonction de et nous pouvons wlog supposer queEnsuite, nous obtenons quemais comme est la première coordonnée d'un vecteur gaussien normalisé dans nous avons que est gaussien avec la variance en invoquant le résultat asymptotique de cet article .

x

$x$

y

$y$

y

$y$

y = [1, 0, 0, \dots]^{'} .

$y=[1,0,0,\dots ]'.$

P (X^{'} y \leq t) = P (X_{1} \leq t) .

$P(x'y\leq t)=P\left( x_1\leq t\right).$

x_{1}

$x_1$

R^{n},

$\mathbb{R}^n,$

x^{'} y

$x'y$

1 / n

$1/n$

Pour un résultat explicite de la variance, utilisez le fait que le produit scalaire est égal à zéro par indépendance et, comme indiqué ci-dessus, distribué comme la première coordonnée de . D'après ces résultats, trouver revient à trouver . Maintenant, notez que par construction et ainsi nous pouvons écrire où la dernière égalité découle de ce que les coordonnées de sont distribuées de manière identique. En rassemblant les choses, nous avons constaté que $x$ $\text{Var}(x'y)$ $\mathbb{E}x_1^2$ $x'x=1$

1 = E x^{'} x = E \sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} E x_{i}^{2} = n E x_{1}^{2},

$1=\mathbb{E}x'x=\mathbb{E}\sum_{i=1}^nx_i^2=\sum_{i=1}^n\mathbb{E}x_i^2=n\mathbb{E}x_1^2,$

x

$x$

Var (x^{'} y) = E x_{1}^{2} = 1 / n

$\text{Var}(x'y)=\mathbb{E}x_1^2=1/n$

— ekvall
source

Merci, mais je suis confus: quel est exactement "le résultat souhaité" et comment découle-t-il de la dernière équation? La distribution de probabilité finale devrait dépendre .

D

$D$

— amibe dit Réintégrer Monica le

En fait, la façon dont le résultat résulte de votre dernière équation est exactement ce qui est discuté sur le fil math.SE que vous avez trouvé. Cela implique des distributions bêta, etc., et le comportement limitant est (pour moi) loin d'être évident. Je suppose qu'il devrait y avoir un moyen plus simple directe de voir que .

σ^{2} (D) \approx 1 / D

$\sigma^2(D) \approx 1/D$

— amibe dit Réintégrer Monica le

Cela dépend de la dimension puisque , où est le vecteur gaussien généré. Je mettrai à jour la réponse plus tard dans la journée ou demain.

x_{1} = z_{1} | z |^{- 1}

$x_1=z_1 |z|^{-1}$

z

$z$

— ekvall

Wow, super, votre dernier lien fournit la limite de cette expression impliquant des fonctions bêta inverses (que j'avais peur de calculer) dans la troisième équation de la page 1. Donc, pour terminer le raisonnement: si la sphère a un rayon , alors est (asymptotiquement) distribué comme . Ce qui signifie que pour la sphère de la variance de rayon unitaire est fois plus faible, à savoir . Cependant, j'ai toujours une préoccupation: j'ai vérifié de 1 à 4, et semble donner une variance exacte , même si les distributions pour D = 1 ou D = 2 sont très loin de la normale. Il devrait y avoir une raison plus profonde derrière cela.

\sqrt{D}

$\sqrt{D}$

x_{1}

$x_1$

N (0, 1)

$\mathcal{N}(0,1)$

D

$D$

1 / D

$1/D$

D

$D$

1 / D

$1/D$

— amoeba dit Reinstate Monica

@amoeba Oui, mis à jour avec une preuve de cela.

— ekvall

Pour répondre à la première partie de votre question, notez . Définir Le produit des éléments de et notés ici comme seront distribués selon la distribution conjointe de et . puis depuis , $Z = \langle X,Y \rangle = \sum X_i Y_i$

F_{Z_{je}} (z_{je}) = \int_{- \infty}^{\infty} F_{Z_{1}, \dots, Z_{ré}} (z_{1}, \dots, z_{ré}) ré z_{je}

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D}(z_1,\ldots,z_D) \: d z_i$

i^{t h}

$i^{th}$

X

$X$

Y

$Y$

Z_{i}

$Z_i$

X_{i}

$X_i$

Y_{i}

$Y_i$

F_{Z_{je}} (z_{je}) = \int_{- \infty}^{\infty} F_{X_{je}, {Oui}_{je}} (X, \frac{z_{je}}{X}) \frac{1}{| X |} ré X

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{X_i,Y_i}(x,\frac{z_i}{x})\frac{1}{|x|}dx$

Z = \sum Z_{i}

$Z = \sum Z_i$

F_{Z} (z) = \int_{- \infty}^{\infty} \dots \int_{- \infty}^{\infty} F_{Z_{1}, \dots, Z_{ré}} (z_{1}, \dots, z_{ré}) δ (z - \sum z_{je}) ré z_{1} \dots ré z_{ré}

$f_Z(z) = \int_{-\infty}^\infty \ldots \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D} (z_1,\ldots,z_d) \: \delta(z - \sum z_i)\: dz_1\ldots d z_d$

Pour la deuxième partie, je pense que si vous voulez dire quelque chose d'intéressant sur le comportement asymptotique de vous devez au moins assumer l'indépendance de et , puis appliquer un CLT. $\sigma$ $X$ $Y$

Par exemple, si vous vouliez supposer que les sont iid avec et vous pourriez disons que et . $\{Z_1,\ldots,Z_D\}$ $\mathbb{E}[Z_i] = \mu$ $\mathbb{V}[Z_i] = \sigma^2$ $\sigma^2(D) = \frac{\sigma^2}{D}$ $\lim_{D\to\infty} \sigma^2(D) = 0$

— à M
source

Merci, mais je suis confus au sujet de la deuxième partie. et sont bien sûr censés être indépendants, j'ajouterai ceci à la question. Vous dites que , et cela semble raisonnable, mais quel est le comportement asymptotique de ? Je pense que l'expression que je cherche ne devrait dépendre que . Par ailleurs en 2D si je ne me trompe pas, je me demande si cela reste vrai dans les dimensions supérieures ...

X

$X$

Y

$Y$

σ^{2} (D) = V a r (z_{i}) / D

$\sigma^2(D) = \mathrm{Var}(z_i)/D$

V a r (z_{i})

$\mathrm{Var}(z_i)$

D

$D$

V a r (z_{i}) = 1 / 2

$\mathrm{Var}(z_i)=1/2$

— amibe dit Reinstate Monica

Est-il vraiment possible que le soit indépendant étant donné l'exigence que et soient de longueur unitaire?

z_{i}

$z_i$

X

$X$

Y

$Y$

— ekvall

@ Tom: Soit dit en passant, je suis erronée: en 2D est 1, il est qui est égal à 1/2. J'ai mis à jour ma question avec quelques résultats de simulation. Il semble que la bonne formule est .

V a r (z_{i})

$\mathrm{Var}(z_i)$

V a r (z)

$\mathrm{Var}(z)$

1 / D

$1/D$

— Amoeba dit Reinstate Monica