Résolution d'une équation intégrale simple par échantillonnage aléatoire

Soit une fonction non négative. Je suis intéressé à trouver tel que La mise en garde : tout ce que je peux faire, c'est échantillonner aux points de . Je peux cependant choisir les emplacements où j'échantillonne au hasard, si je le souhaite. $f$$z \in [0,1]$

$$\int_0^{z} f(x)\,dx = \frac{1}{2}\int_0^1 f(x)\,dx$$ $f$$[0,1]$$f$

Des questions:

1. Est-il possible d'obtenir une estimation non biaisée de après un nombre fini d'échantillons? Si oui, quelle est la plus petite variance possible d'une telle estimation après échantillons?$z$$k$
2. Sinon, quelles procédures sont disponibles pour estimer et quels sont les temps de convergence associés.$z$

Comme l'a souligné Douglas Zare dans les commentaires, cela peut être très difficile à faire si la fonction est proche de zéro ou très grande. Heureusement, la fonction pour laquelle j'utilise ceci est délimitée par le haut et le bas, donc supposons que . De plus, nous pouvons également supposer que est Lipschitz ou même différenciable si cela aide.$1 \leq f(x) \leq 2$$f$

Comme l'a souligné le cardinal dans son commentaire, votre question peut être reformulée comme suit.

Par algèbre simple, l'équation intégrale peut être réécrite sous la forme dans laquelle est la fonction de densité de probabilité définie comme

$$\int_0^z g(x)\,dx = \frac{1}{2} \, ,$$ $g$ $$g(x)=\frac{f(x)}{\int_0^1 f(t)\,dt} \, .$$

Soit une variable aléatoire de densité . Par définition, , donc votre équation intégrale est équivalente à ce qui signifie que votre problème peut être indiqué comme suit:$X$$g$$P\{X\leq z\}=\int_0^z g(x)\,dx$

$$P\{X\leq z\}=\frac{1}{2} \, ,$$

"Soit une variable aléatoire de densité . Trouvez la médiane de "$X$$g$$X$

Pour estimer la médiane de , utilisez n'importe quelle méthode de simulation pour dessiner un échantillon de valeurs de et prendre comme estimation la médiane de l'échantillon.$X$$X$

Une possibilité consiste à utiliser l'algorithme de Metropolis-Hastings pour obtenir un échantillon de points avec la distribution souhaitée. En raison de l'expression de la probabilité d'acceptation dans l'algorithme de Metropolis-Hastings, nous n'avons pas besoin de connaître la valeur de la constante de normalisation de la densité . Donc, nous n'avons pas à faire cette intégration.$\int_0^1 f(t)\,dt$$g$

Le code ci-dessous utilise une forme particulièrement simple de l'algorithme Metropolis-Hastings connu sous le nom d'Independent Sampler, qui utilise une proposition dont la distribution ne dépend pas de la valeur actuelle de la chaîne. J'ai utilisé des propositions uniformes indépendantes. A titre de comparaison, le script génère le minimum de Monte Carlo et le résultat trouvé avec l'optimisation standard. Les points d'échantillonnage sont stockés dans le vecteur chain, mais nous éliminons les premiers points qui forment la période dite de «rodage» de la simulation.$10000$

BURN_IN = 10000
DRAWS   = 100000

f = function(x) exp(sin(x))

chain = numeric(BURN_IN + DRAWS)

x = 1/2

for (i in 1:(BURN_IN + DRAWS)) {
    y = runif(1) # proposal
    if (runif(1) < min(1, f(y)/f(x))) x = y
    chain[i] = x
}

x_min = median(chain[BURN_IN : (BURN_IN + DRAWS)])

cat("Metropolis minimum found at", x_min, "\n\n")

# MONTE CARLO ENDS HERE. The integrations bellow are just to check the results.

A = integrate(f, 0, 1)$value

F = function(x) (abs(integrate(f, 0, x)$value - A/2))

cat("Optimize minimum found at", optimize(F, c(0, 1))$minimum, "\n")

Voici quelques résultats:

Metropolis minimum found at 0.6005409 
Optimize minimum found at 0.601365

Ce code est conçu comme un point de départ pour ce dont vous avez vraiment besoin. Par conséquent, utilisez-le avec précaution.

La qualité de l'approximation intégrale, au moins dans le cas aussi simple que 1D, est donnée par (Théorème 2.10 dans Niederreiter (1992) ): où est le module de continuité de la fonction (lié à la variation totale, et facilement exprimable pour les fonctions de Lipshitz), et est l'écart (extrême), ou la différence maximale entre la fraction de hits par la séquence

$$\Bigl|\frac 1N \sum_{n=1}^N f(x_n) - \int_0^1 f(u) \, {\rm d}u \Bigr| \le \omega (f; D_N^*(x_1, \ldots, x_N) )$$ $$\omega(f;t) = \sup \{ |f(u)-f(v)| : u, v \in [0,1], |u-v|\le t , t>0\}$$ $$D_N^*(x_1,\ldots,x_N) = \sup_u \Bigl| \frac1N \sum_n 1\bigl\{ x_n \in [0,u) \bigr\} - u \Bigr| = \frac1{2N} + \max_n \Bigl|x_n - \frac{2n-1}{2N}\Bigr|$$ $x_1, \ldots, x_N$d'un intervalle semi-ouvert et sa mesure de Lebesgue . La première expression est la définition et la deuxième expression est la propriété des séquences 1D dans (Théorème 2.6 dans le même livre).$[0,u)$$u$$[0,1]$

Donc, évidemment, pour minimiser l'erreur dans l'approximation intégrale, au moins dans la RHS de votre équation, vous devez prendre . Vissez les évaluations aléatoires, elles courent le risque d'avoir un écart aléatoire sur une caractéristique importante de la fonction.$x_n = (2n-1)/2N$

Un gros inconvénient de cette approche est que vous devez vous engager sur une valeur de pour produire cette séquence uniformément distribuée. Si vous n'êtes pas satisfait de la qualité de l'approximation qu'il fournit, tout ce que vous pouvez faire est de doubler la valeur de et d'atteindre tous les points médians des intervalles créés précédemment.$N$$N$

Si vous voulez avoir une solution où vous pouvez augmenter le nombre de points plus progressivement, vous pouvez continuer à lire ce livre et en apprendre davantage sur les séquences de van der Corput et les inverses radicales. Voir Séquences à faible écart sur Wikipédia, il fournit tous les détails.

Mise à jour: pour résoudre , définissez la somme partielle Trouver tel que et interpoler pour trouver Cette interpolation suppose que est continue. Si en plus est deux fois différentiable, alors cette approximation en intégrant l'expansion du second ordre pour incorporer et , et en résolvant une équation cubique pour .$z$

$$S_k = \frac1N \sum_{n=1}^k f\Bigl( \frac{2n-1}{2N} \Bigr).$$ $k$ $$S_k \le \frac12 S_N < S_{k+1},$$ $$z_N = \frac{2k-1}{2N} + \frac{S_N/2 - S_k}{N(S_{k+1}-S_k)}.$$ $f(\cdot)$$f(\cdot)$$S_{k-1}$$S_{k+2}$$z$