Valeur attendue d'une variable aléatoire gaussienne transformée avec une fonction logistique

10

La fonction logistique et l'écart type sont généralement notés . J'utiliserai et pour l'écart-type. $\sigma$ $\sigma(x) = 1/(1+\exp(-x))$ $s$

J'ai un neurone logistique avec une entrée aléatoire dont la moyenne et écart - type je sais. J'espère que la différence par rapport à la moyenne peut être bien approchée par du bruit gaussien. Donc, avec un léger abus de notation, supposons qu'il produit . Quelle est la valeur attendue de ? L'écart type peut être grand ou petit par rapport à ou . Une bonne approximation sous forme fermée pour la valeur attendue serait presque aussi bonne qu'une solution sous forme fermée. $\mu$ $s$ $\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$ $\sigma(N(\mu,s^2))$ $s$ $\mu$ $1$

Je ne pense pas qu'une solution de formulaire fermé existe. Cela peut être considéré comme une convolution, et la fonction caractéristique de la densité logistique est connue ( ), mais je ne sais pas combien cela aide. La calculatrice symbolique inverse n'a pas pu reconnaître la densité à de la convolution de la densité de la distribution logistique et une distribution normale standard, ce qui suggère mais ne prouve pas qu'il n'y a pas d'intégrale élémentaire simple. Preuve plus circonstancielle: Dans certains articles sur l'ajout de bruit d'entrée gaussien aux réseaux de neurones avec des neurones logistiques, les articles ne donnaient pas non plus d'expressions de forme fermée. $\pi t ~\text{csch} ~\pi t$ $0$

Cette question s'est posée en essayant de comprendre l'erreur dans l'approximation du champ moyen dans les machines Boltzman.

— Douglas Zare
source

5

Voici ce que j'ai fini par utiliser:

Écrivez où . Nous pouvons utiliser une extension de la série Taylor. $\sigma(N(\mu,s^2)) = \sigma(\mu + X)$ $X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Il y a des problèmes de convergence. La fonction logistique a un pôle où , donc à , impair. La divergence n'est pas la même chose que le préfixe étant inutile, mais cette approximation en série peut ne pas être fiable lorsque est significatif. $\exp(-x) = -1$ $x = k \pi i$ $k$ $P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Puisque , nous pouvons écrire des dérivés de sous forme de polynômes dans . Par exemple, et . Les coefficients sont liés à OEIS A028246 . $\sigma'(x) = \sigma(x) (1-\sigma(x))$ $\sigma(x)$ $\sigma(x)$ $\sigma'' = \sigma-3\sigma^2+2\sigma^3$ $\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

— Douglas Zare
source

4

Ce que vous avez ici est une variable aléatoire qui suit une distribution logit-normale (ou logistique-normale) (voir wikipedia ), c'est-à-dire . Les moments de la distribution logit-normale n'ont pas de solutions analytiques. $\mbox{logit}[x] \sim N(\mu, s^2)$

Mais bien sûr, on peut les obtenir via l'intégration numérique. Si vous utilisez R, il existe le package logitnorm qui contient tout ce dont vous avez besoin. Un exemple:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Cela donne:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Ainsi, il existe même une fonction de commodité qui vous donnera directement la moyenne et la variance.

— Wolfgang
source