Besoin d'un algorithme pour calculer la probabilité relative que les données proviennent de la distribution normale vs lognormale

Disons que vous avez un ensemble de valeurs et que vous voulez savoir s'il est plus probable qu'elles aient été échantillonnées à partir d'une distribution gaussienne (normale) ou échantillonnées à partir d'une distribution lognormale?

Bien sûr, idéalement, vous devriez savoir quelque chose sur la population ou sur les sources d'erreur expérimentale, donc vous auriez des informations supplémentaires utiles pour répondre à la question. Mais ici, supposons que nous ayons seulement un ensemble de chiffres et aucune autre information. Quel est le plus probable: échantillonnage à partir d'une gaussienne ou échantillonnage à partir d'une distribution log-normale? Combien plus probable? Ce que j'espère, c'est un algorithme pour sélectionner entre les deux modèles et, espérons-le, quantifier la probabilité relative de chacun.

Vous pouvez faire une meilleure estimation du type de distribution en ajustant chaque distribution (normale ou lognormale) aux données par maximum de vraisemblance, puis en comparant la log-vraisemblance sous chaque modèle - le modèle avec la plus forte probabilité logarithmique étant le meilleur ajustement. Par exemple, dans R:

# log likelihood of the data given the parameters (par) for 
# a normal or lognormal distribution
logl <- function(par, x, lognorm=F) {
    if(par[2]<0) { return(-Inf) }
    ifelse(lognorm,
    sum(dlnorm(x,par[1],par[2],log=T)),
    sum(dnorm(x,par[1],par[2],log=T))
    )
}

# estimate parameters of distribution of x by ML 
ml <- function(par, x, ...) {
    optim(par, logl, control=list(fnscale=-1), x=x, ...)
}

# best guess for distribution-type
# use mean,sd of x for starting parameters in ML fit of normal
# use mean,sd of log(x) for starting parameters in ML fit of lognormal
# return name of distribution type with highest log ML
best <- function(x) {
    logl_norm <- ml(c(mean(x), sd(x)), x)$value
        logl_lognorm <- ml(c(mean(log(x)), sd(log(x))), x, lognorm=T)$value
    c("Normal","Lognormal")[which.max(c(logl_norm, logl_lognorm))]
}

Maintenant, générez des nombres à partir d'une distribution normale et ajustez une distribution normale par ML:

set.seed(1)
x = rnorm(100, 10, 2)
ml(c(10,2), x)

Produit:

$par
[1] 10.218083  1.787379

$value
[1] -199.9697
...

Comparez la log-vraisemblance pour l'ajustement ML des distributions normales et log-normales:

ml(c(10,2), x)$value # -199.9697
    ml(c(2,0.2), x, lognorm=T)$value # -203.1891
best(x) # Normal

Essayez avec une distribution lognormale:

best(rlnorm(100, 2.6, 0.2)) # lognormal

L'affectation ne sera pas parfaite, selon n, moyenne et sd:

> table(replicate(1000, best(rnorm(500, 10, 2))))

Lognormal    Normal 
        6       994 
> table(replicate(1000, best(rlnorm(500, 2.6, 0.2))))

Lognormal    Normal 
      999         1 

$M \in \{ \text{Normal}, \text{Log-normal} \}$$X = \{ x_1, ..., x_N \}$

$$P(M \mid X) \propto P(X \mid M) P(M).$$

La partie difficile est d'obtenir la probabilité marginale ,

$$P(X \mid M) = \int P(X \mid \theta, M) P(\theta \mid M) \, d\theta.$$

$p(\theta \mid M)$$X$$Y = \{ \log x_1, ..., \log x_N$$Y$$X$ . N'oubliez pas de prendre en compte le jacobien de la transformation

$$P(X \mid M = \text{Log-Normal}) = P(Y \mid M=\text{Normal}) \cdot \prod_i \left| \frac{1}{x_i} \right|.$$

$P(\theta \mid M)$$P(\sigma^2, \mu \mid M=\text{Normal})$$P(M)$

Exemple:

$P(\mu, \sigma^2 \mid M = \text{Normal})$$m_0 = 0, v_0 = 20, a_0 = 1, b_0 = 100$

Selon Murphy (2007) (équation 203), la probabilité marginale de la distribution normale est alors donnée par

$$P(X \mid M = \text{Normal}) = \frac{|v_N|^\frac{1}{2}}{|v_0|^\frac{1}{2}} \frac{b_0^{a_0}}{b_n^{a_N}} \frac{\Gamma(a_N)}{\Gamma(a_0)} \frac{1}{\pi^{N/2}2^N}$$

où $a_N, b_N,$ et $v_N$ sont les paramètres de la partie postérieure $P(\mu, \sigma^2 \mid X, M = \text{Normal})$ (Équations 196 à 200),

$$\begin{align} v_N &= 1 / (v_0^{-1} + N), \\ m_N &= \left( v_0^{-1}m_0 + \sum_i x_i \right) / v_N, \\ a_N &= a_0 + \frac{N}{2}, \\ b_N &= b_0 + \frac{1}{2} \left( v_0^{-1}m_0^2 - v_N^{-1}m_N^2 + \sum_i x_i^2 \right). \end{align}$$

J'utilise les mêmes hyperparamètres pour la distribution log-normale,

$$P(X \mid M = \text{Log-normal}) = P(\{\log x_1, ..., \log x_N \} \mid M = \text{Normal}) \cdot \prod_i \left|\frac{1}{x_i}\right|.$$

Pour une probabilité antérieure de la log-normale de $0.1$, $P(M = \text{Log-normal}) = 0.1$et des données tirées de la distribution log-normale suivante,

le postérieur se comporte comme ceci:

La ligne continue montre la probabilité postérieure médiane de différents tirages de $N$points de données. Notez que pour peu ou pas de données, les croyances sont proches des croyances antérieures. Pour environ 250 points de données, l'algorithme est presque toujours certain que les données ont été tirées d'une distribution log-normale.

Lors de la mise en œuvre des équations, ce serait une bonne idée de travailler avec des densités logarithmiques au lieu de densités. Mais sinon, cela devrait être assez simple. Voici le code que j'ai utilisé pour générer les tracés:

https://gist.github.com/lucastheis/6094631

Il semble que vous recherchiez quelque chose d'assez pragmatique pour aider les analystes qui ne sont probablement pas des statisticiens professionnels et qui ont besoin de quelque chose pour les inciter à faire ce qui devrait être des techniques d'exploration standard telles que regarder des parcelles qq, des parcelles de densité, etc.

Dans ce cas, pourquoi ne pas simplement faire un test de normalité (Shapiro-Wilk ou autre) sur les données d'origine, et un sur les données transformées en log, et si la deuxième valeur p est plus élevée, déclenchez un indicateur pour que l'analyste envisage d'utiliser une transformée en log ? En prime, crachez un graphique 2 x 2 du tracé de la ligne de densité et un tracé qqnorm des données brutes et transformées.

Techniquement, cela ne répondra pas à votre question sur la probabilité relative, mais je me demande si c'est tout ce dont vous avez besoin.