Conversion (normalisation) de très petites valeurs de vraisemblance en probabilités

J'écris un algorithme dans lequel, étant donné un modèle, je calcule les probabilités pour une liste d'ensembles de données, puis je dois normaliser (selon la probabilité) chacune des probabilités. Donc, quelque chose comme [0,00043, 0,00004, 0,00321] pourrait être converti en peut être comme [0,2, 0,03, 0,77].

Mon problème est que les probabilités du journal avec lesquelles je travaille sont assez petites (par exemple, dans l'espace journal, les valeurs sont comme -269647.432, -231444.981, etc.). Dans mon code C ++, lorsque j'essaye d'en ajouter deux (en prenant leur exposant) j'obtiens une réponse "Inf". J'ai essayé de les ajouter dans l'espace de journal (sommation / soustraction de journal) , mais je suis encore tombé sur le même problème.

Quelqu'un peut-il partager son opinion d'expert à ce sujet?

— Ikram
source

Lorsque vous avez utilisé les fonctions que vous avez comme impliquant , avez-vous utilisé la fonction dans votre langue? Cela utilise l'expansion de Taylor autour de 1.

\log (1 + \dots)

$\log(1+\dotsc)$ log1p

— Neil G

Voir aussi quelques discussions antérieures et connexes ici

— Glen_b -Reinstate Monica

Soustrayez le logarithme maximum de tous les journaux. Jetez tous les résultats si négatifs qu'ils déborderont l'exponentielle. (Leurs probabilités sont, à toutes fins pratiques, nulles.)

En effet, si vous voulez une précision relative de (comme pour chiffres de précision) et que vous avez vraisemblances, jetez tout résultat inférieur au logarithme de . Ensuite, procédez comme d'habitude pour exponentiariser les valeurs résultantes et divisez chacune par la somme de toutes les exponentielles. $\epsilon$ $\epsilon = 10^{-d}$ $d$ $n$ $\epsilon/n$

$\lambda_1, \lambda_2, \ldots, \lambda_n$ $\lambda_n = \max(\lambda_i)$ $b\gt 1$

α_{i} = {\begin{cases} b^{λ_{i} - λ_{n}}, λ_{i} - λ_{n} \geq \log (ϵ) - \log (n) \\ 0 otherwise . \end{cases}

$\alpha_i = \cases{ b^{\lambda_i - \lambda_n}, \lambda_i - \lambda_n \ge \log(\epsilon)-\log(n) \\ 0\quad \text{otherwise}.}$

Les probabilités normalisées sont égales à , Cela fonctionne parce que le remplacement de tous les autrement sous- par zéro fait une erreur totale d'au plus alors que, parce que et tous les sont non négatifs, le dénominateur , d'où l' erreur relative totale due à la règle de remplacement zéro est strictement inférieure à , comme vous le souhaitez. $\alpha_i / \sum_{j=1}^n \alpha_j$ $i = 1, 2, \ldots, n.$ $\alpha_i$ $(n-1)\epsilon/n\lt \epsilon$ $\alpha_n=b^{\lambda_n-\lambda_n}=b^0=1$ $\alpha_i$ $A = \sum_j \alpha_j \ge 1$ $\left((n-1)\epsilon/n \right) / A \lt \epsilon$

Pour éviter une trop grande erreur d'arrondi, calculez la somme en commençant par les plus petites valeurs de . Cela se fera automatiquement lorsque les sont d'abord triés dans l'ordre croissant. Ceci n'est pris en compte que pour les très grands . $\alpha_i$ $\lambda_i$ $n$

BTW, cette prescription suppose que la base des journaux est supérieure à . Pour les bases inférieures à , annulez d'abord tous les journaux et procédez comme si la base était égale à . $1$ $b$ $1$ $1/b$

Exemple

Soit trois valeurs avec des logarithmes (journaux naturels, par exemple) égaux à et Le dernier est le plus grand; la soustraire de chaque valeur donne et $-269647.432,$ $-231444.981,$ $-231444.699.$ $-38202.733,$ $-0.282,$ $0.$

Supposons que vous souhaitiez une précision comparable aux doubles IEEE (environ 16 chiffres décimaux), de sorte que et . (Vous ne pouvez pas réellement atteindre cette précision, car n'est donné que pour trois chiffres significatifs, mais ce n'est pas grave: nous ne que des valeurs qui sont garanties de ne pas affecter le mieux la précision que vous voulez et la précision que vous avez réellement avoir.) Calculer = = La première des trois différences, est inférieure à cela, alors jetez-la, ne laissant que et Les donne $\epsilon=10^{-16}$ $n=3$ $-0.282$ $\log(\epsilon/n)$ $\log(10^{-16}) - \log(3)$ $-37.93997.$ $-38202.733,$ $-0.282$ $0.$ $\exp(-0.282) = 0.754$ et (bien sûr). Les valeurs normalisées sont - dans l'ordre - pour celle que vous avez jetée, et . $\exp(0)=1$ $0$ $0.754 / (1 + 0.754) = 0.430$ $1/(1+0.754)=0.570$

— whuber
source

C'est génial - si simple et si évident avec le recul. @Ikram, veuillez marquer ceci comme la bonne réponse! (à moins bien sûr que vous ayez quelque chose de mieux, auquel cas veuillez partager)

— zelanix

@whuber avons-nous même besoin de jeter ? Exponentier cela nous donne zéro de toute façon, et donc cela ne contribuera pas à la somme.

- 38202.733

$-38202.733$

— Taylor