Comment calculer la probabilité associée à des scores Z absurdement élevés?

Les progiciels pour la détection de motifs de réseau peuvent renvoyer des scores Z extrêmement élevés (le plus élevé que j'ai vu est 600 000+, mais des scores Z de plus de 100 sont assez courants). Je prévois de montrer que ces scores Z sont faux.

D'énormes scores Z correspondent à des probabilités associées extrêmement faibles. Les valeurs des probabilités associées sont données par exemple sur la page wikipedia de distribution normale (et probablement tous les manuels de statistiques) pour des scores Z allant jusqu'à 6. Donc ...

Question : Comment calcule-t-on la fonction d'erreur $1-\mathrm{erf}(n/\sqrt{2})$pour n jusqu'à 1 000 000, disons?

Je suis particulièrement à la recherche d'un package déjà implémenté pour cela (si possible). Le meilleur que j'ai trouvé jusqu'à présent est WolframAlpha, qui parvient à le calculer pour n = 150 ( ici ).

La question concerne la fonction d'erreur complémentaire

$$\textrm{erfc}(x) = \frac{2}{\sqrt{\pi}}\int_{x}^{\infty}\exp(-t^2) d t$$

pour les "grandes" valeurs de $x$ ( $=n/\sqrt{2}$ dans la question initiale) - c'est-à-dire entre 100 et 700 000 environ. (Dans la pratique, toute valeur supérieure à environ 6 doit être considérée comme "grande", comme nous le verrons.) Notez que parce que cela sera utilisé pour calculer les valeurs de p, il y a peu de valeur à obtenir plus de trois chiffres significatifs (décimaux) .

Pour commencer, considérez l'approximation suggérée par @Iterator,

$$f(x) = 1 - \sqrt{1 - \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right)},$$

où

$$a = \frac{8(\pi-3)}{3(4-\pi)} \approx 0.439862.$$

Bien que ce soit une excellente approximation de la fonction d'erreur elle-même, c'est une terrible approximation de $\textrm{erfc}$ . Cependant, il existe un moyen de corriger systématiquement cela.

Pour les valeurs de p associées à de si grandes valeurs de $x$ , nous nous intéressons à l' erreur relative $f(x)/\textrm{erfc}(x) - 1$ : nous espérons que sa valeur absolue serait inférieure à 0,001 pour trois chiffres significatifs de précision. Malheureusement, cette expression est difficile à étudier pour les grands $x$ raison de sous-écoulements dans le calcul en double précision. Voici une tentative, qui trace l'erreur relative par rapport à $x$ pour $0 \le x \le 5.8$ :

Le calcul devient instable une fois que dépasse 5,3 environ et ne peut pas délivrer un chiffre significatif au-delà de 5,8. Ce n'est pas une surprise: exp ( - 5,8 2 ) ≈ 10 - 14,6 repousse les limites de l'arithmétique double précision. Parce qu'il n'y a aucune preuve que l'erreur relative va être suffisamment petite pour un x plus grand , nous devons faire mieux.$x$$\exp(-5.8^2) \approx 10^{-14.6}$$x$

L'exécution du calcul en arithmétique étendue (avec Mathematica ) améliore notre image de ce qui se passe:

L'erreur augmente rapidement avec et ne montre aucun signe de stabilisation. Au-delà de x = 10 environ, cette approximation ne fournit même pas un chiffre fiable d'informations!$x$$x=10$

Cependant, l'intrigue commence à sembler linéaire. On pourrait deviner que l'erreur relative est directement proportionnelle à . (Cela a du sens sur le plan théorique: erfc est manifestement une fonction impaire et f est manifestement pair, donc leur rapport devrait être une fonction impaire. Ainsi, nous nous attendrions à ce que l'erreur relative, si elle augmente, se comporte comme une puissance impaire de x .) Cela nous amène à étudier l'erreur relative divisée par x . De manière équivalente, je choisis d'examiner x ⋅ erfc ( x ) / f ( x $x$$\textrm{erfc}$$f$$x$ $x$$x \cdot \textrm{erfc}(x)/f(x)$, car l'espoir est que cela devrait avoir une valeur limite constante. Voici son graphique:

Notre supposition semble être confirmée: ce ratio semble approcher d'une limite autour de 8 environ. Lorsque demandé, Mathematica le fournira:

a1 = Limit[x (Erfc[x]/f[x]), x -> \[Infinity]]

La valeur est . Cela nous permet d'améliorer l'estimation:nous prenons$a_1 = \frac{2 }{\sqrt{\pi }}e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \approx 7.94325$

$$f_1(x) = f(x) \frac{a_1}{x}$$

comme le premier raffinement de l'approximation. Lorsque est vraiment grand - supérieur à quelques milliers - cette approximation est très bien. Parce que cela ne sera toujours pas assez bon pour une gamme intéressante d'arguments entre 5.3 et 2000 , itérons la procédure. Cette fois, l'erreur relative inverse - en particulier, l'expression 1 - erfc ( x ) / f 1 ( x ) - devrait se comporter comme 1 / x 2 pour les grands x (en vertu des considérations de parité précédentes). En conséquence, nous multiplions par x $x$$5.3$$2000$$1 - \textrm{erfc}(x)/f_1(x)$$1/x^2$$x$$x^2$ et trouvez la prochaine limite:

a2 = Limit[x^2 (a1 - x (Erfc[x]/f[x])), x -> \[Infinity]] 

La valeur est

$$a_2 = \frac{1}{32 \sqrt{\pi }} e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \left(32-\frac{9 (-4+\pi )^3 \pi }{(-3+\pi )^2}\right) \approx 114.687.$$

Ce processus peut se poursuivre aussi longtemps que nous le souhaitons. Je l'ai sorti encore une fois, trouvant

a3 = Limit[x^2 (a2 - x^2 (a1 - x (Erfc[x]/f[x]))), x -> \[Infinity]] 

avec une valeur d'environ 1623,67. (L'expression complète implique une fonction rationnelle de degré huit de et est trop longue pour être utile ici.)$\pi$

Le déroulement de ces opérations donne notre approximation finale

$$f_3(x) = f(x)\left(a_1 - a_2/x^2 + a_3/x^4\right)/x.$$

L'erreur est proportionnelle à . D'importation est la constante de proportionnalité, nous traçons donc x 6 ( 1 - erfc ( x ) / f 3 ( x ) ) :$x^{-6}$$x^6(1 - \textrm{erfc}(x) / f_3(x))$

Il s'approche rapidement d'une valeur limite autour de 2660,59. En utilisant l'approximation , nous obtenons des estimations de erfc ( x ) dont la précision relative est meilleure que 2661 / x 6 pour tout x > 0 . Une fois que x dépasse 20 ou plus, nous avons nos trois chiffres significatifs (ou bien plus, car x devient plus grand). À titre de vérification, voici un tableau comparant les valeurs correctes à l'approximation de x entre 10 et 20 :$f_3$$\textrm{erfc}(x)$$2661/x^6$$x \gt 0$$x$$x$$x$$10$$20$

 x  Erfc    Approximation      
10  2.088*10^-45    2.094*10^-45
11  1.441*10^-54    1.443*10^-54
12  1.356*10^-64    1.357*10^-64
13  1.740*10^-75    1.741*10^-75
14  3.037*10^-87    3.038*10^-87
15  7.213*10^-100   7.215*10^-100
16  2.328*10^-113   2.329*10^-113
17  1.021*10^-127   1.021*10^-127
18  6.082*10^-143   6.083*10^-143
19  4.918*10^-159   4.918*10^-159
20  5.396*10^-176   5.396*10^-176

En fait, cette approximation fournit au moins deux chiffres de précision significatifs pour , ce qui est à peu près là où les calculs des piétons (tels que la fonction d'Excel ) s'épuisent.$x=8$NormSDist

Enfin, on pourrait s'inquiéter de notre capacité à calculer l'approximation initiale . Cependant, ce n'est pas difficile: lorsque x est suffisamment grand pour provoquer des débordements dans l'exponentielle, la racine carrée est bien approximée de la moitié de l'exponentielle,$f$$x$

$$f(x) \approx \frac{1}{2} \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right).$$

Le calcul du logarithme de celui-ci (en base 10) est simple et donne facilement le résultat souhaité. Par exemple, soit . Le logarithme commun de cette approximation est$x=1000$

$$\log_{10}(f(x)) \approx \left(-1000^2 \left(\frac{4 + a \cdot 1000^2}{\pi + a \cdot 1000^2}\right) - \log(2)\right) / \log(10) \sim -434295.63047.$$

Exposer les rendements

$$f(1000) \approx 2.34169 \cdot 10^{-434296}.$$

L'application de la correction (en ) produit$f_3$

$$\textrm{erfc}(1000) \approx 1.86003\ 70486\ 32328 \cdot 10^{-434298}.$$

Notez que la correction réduit l'approximation d'origine de plus de 99% (et en effet, .) (Cette approximation ne diffère de la valeur correcte que dans le dernier chiffre. Une autre approximation bien connue, exp ( - x 2 ) / ( x $a_1/x \approx 1\text{%}$, égal à1,860038⋅10 - 434298 , errant dans le sixième chiffre significatif. Je suis sûr que nous pourrions aussi améliorer celui-ci, si nous le voulions, en utilisant les mêmes techniques.)$\exp(-x^2)/(x\sqrt{\pi})$$1.860038 \cdot 10^{-434298}$

Une borne supérieure simple

$z > 0$

$$\renewcommand{\Pr}{\mathbb{P}}\newcommand{\rd}{\mathrm{d}} S(z) := \Pr(Z > z) = \int_z^\infty \varphi(z) \rd z \>,$$ where $\varphi(z) = (2\pi)^{-1/2} e^{-z^2/2}$ is the standard normal pdf. I've used the notation $S(z)$ in deference to the standard notation in survival analysis. In engineering contexts, they call this function the $Q$-function and denote it by $Q(z)$.

Then, a very simple, elementary upper bound is

$$\newcommand{\Su}{\hat{S}_u} \newcommand{\Sl}{\hat{S}_\ell} S(z) \leq \frac{\varphi(z)}{z} =: \Su(z) \> ,$$ where the notation on the right-hand side indicates this is an upper-bound estimate. This answer gives a proof of the bound.

There are several nice complementary lower bounds as well. One of the handiest and easiest to derive is the bound

$$S(z) \geq \frac{z}{z^2+1} \varphi(z) =: \Sl(z) \> .$$ There are at least three separate methods for deriving this bound. A rough sketch of one such method can be found in this answer to a related question.

A picture

Below is a plot of the two bounds (in grey) along with the actual function $S(z)$.

How good is it?

From the plot, it seems that the bounds become quite tight even for moderately large $z$. We might ask ourselves how tight they are and what sort of quantitative statement in that regard can be made.

One useful measure of tightness is the absolute relative error

$$\newcommand{\err}{\mathcal{E}} \err(z) = \left|\frac{\Su(z) - S(z)}{S(z)}\right| \>.$$ This gives you the proportional error of the estimate.

Now, note that, since all of the involved functions are nonnegative, by using the bounding properties of $\Su(z)$ and $\Sl(z)$, we get

$$\err(z) = \frac{\Su(z) - S(z)}{S(z)} \leq \frac{\Su(z) - \Sl(z)}{\Sl(z)} = z^{-2} \> ,$$ and so this provides a proof that for $z \geq 10$ the upper-bound is correct to within 1%, for $z \geq 28$ it is correct to within 0.1% and for $z \geq 100$ it is correct to within 0.01%.

In fact, the simple form of the bounds provides a good check on other "approximations". If, in the numerical calculation of more complicated approximations, we get a value outside these bounds, we can simply "correct" it to take the value of, e.g., the upper bound provided here.

There are many refinements of these bounds. The Laplace bounds mentioned here provide a nice sequence of upper and lower bounds on $S(z)$ of the form $R(z) \varphi(z)$ where $R(z)$ is a rational function.

Finally, here is another somewhat-related question and answer.

You can approximate it with much simpler functions - see this Wikipedia section for more information. The basic approximation is that $\textrm{erf}(x) \approx \textrm{sgn}(x)\sqrt{1 - \exp(-x^2 \frac{4/\pi + ax^2}{1+ax^2}})$

The article has an incorrect link for that section. The PDF referenced can be found in Sergei Winitzki's files - or at this link.