Retour des résultats de régression de transformation lors de la modélisation de log (y)

J'ajuste une régression sur le . Est-il valable de sauvegarder les estimations des points de transformation (et les intervalles de confiance / prédiction) par exponentiation? Je ne le crois pas, puisque mais voulait les opinions des autres. $\log(y)$ $E[f(X)] \ne f(E[X])$

Mon exemple ci-dessous montre des conflits avec la transformation arrière (.239 vs .219).

set.seed(123)

a=-5
b=2

x=runif(100,0,1)
y=exp(a*x+b+rnorm(100,0,.2))
# plot(x,y)

### NLS Fit
f <- function(x,a,b) {exp(a*x+b)} 
fit <- nls(y ~ exp(a*x+b),  start = c(a=-10, b=15)) 
co=coef(fit)
# curve(f(x=x, a=co[1], b=co[2]), add = TRUE,col=2,lwd=1.2) 
predict(fit,newdata=data.frame(x=.7))
[1] 0.2393773

### LM Fit
# plot(x,log(y))
# abline(lm(log(y)~x),col=2)
fit=lm(log(y)~x)
temp=predict(fit,newdata=data.frame(x=.7),interval='prediction')
exp(temp)
        fit       lwr       upr
1 0.2199471 0.1492762 0.3240752

regression back-transformation

— Glen
source

N'est-ce pas l'un des problèmes résolus par les GLM gaussiens liés aux journaux?

— generic_user

@ARM Oui, je le crois. Merci d'avoir fait remarquer cela. Cependant, en utilisant GLM, il est plus difficile d'obtenir des intervalles de prédiction, mais je pense que je peux y arriver.

— Glen

@Glen Faites une recherche de taches de Duan sur ce site.

— Dimitriy V. Masterov

Cela dépend de ce que vous voulez obtenir à l'autre bout.

Un intervalle de confiance pour un paramètre transformé se transforme très bien. S'il a la couverture nominale sur l'échelle logarithmique, il aura la même couverture sur l'échelle d'origine, en raison de la monotonie de la transformation.

Un intervalle de prédiction pour une observation future se transforme également très bien.

Un intervalle pour une moyenne sur l'échelle logarithmique ne sera généralement pas un intervalle approprié pour la moyenne sur l'échelle d'origine.

Cependant, parfois, vous pouvez produire exactement ou approximativement une estimation raisonnable de la moyenne sur l'échelle d'origine à partir du modèle sur l'échelle logarithmique.

Cependant, des précautions sont nécessaires ou vous pourriez finir par produire des estimations qui ont des propriétés quelque peu surprenantes (il est possible de produire des estimations qui n'ont pas de moyenne de population par exemple; ce n'est pas l'idée de tout le monde d'une bonne chose).

Ainsi, par exemple, dans le cas lognormal, lorsque vous exponentiarisez, vous avez une belle estimation de , et vous remarquerez peut-être que la moyenne de la population est , vous pouvez donc penser à améliorer en le à l'échelle par une estimation de . $\exp(\mu_i)$ $\exp(\mu_i+\frac{1}{2}\sigma^2)$ $\exp(\hat{\mu_i})$ $\exp(\frac{1}{2}\sigma^2)$

On devrait au moins être en mesure d'obtenir une estimation cohérente et, en fait, certaines asymptotiques de distribution via le théorème de Slutsky (en particulier la forme du produit) tant que l'on peut constamment estimer l'ajustement. Le théorème de la cartographie continue dit que vous pouvez si vous pouvez estimer cohérente ... ce qui est le cas. $\sigma^2$

Donc tant que est un estimateur cohérent de , alors converge en distribution vers la distribution de (qui par inspection sera alors asymptotiquement répartie lognormalement ). Puisque sera cohérent pour , mais le théorème de la cartographie continue, sera cohérent pour , et nous avons donc un estimateur cohérent de la moyenne sur l'échelle d'origine. $\hat{\sigma}^2$ $\sigma^2$ $\exp(\hat{\mu_i})\cdot \exp(\frac{1}{2}\hat{\sigma}^2)$ $\exp(\hat{\mu_i})\cdot \exp(\frac{1}{2}\sigma^2)$ $\hat{\mu_i}$ $\mu_i$ $\exp(\hat{\mu_i})$ $\exp(\mu_i)$

Voyez ici .

Quelques articles liés:

Transformation arrière d'un modèle MLR

Transformation arrière

Intervalles de confiance rétrotransformés

— Glen_b -Reinstate Monica
source

Merci, j'ai regardé les messages précédents et, bien qu'éclairant, j'étais encore un peu confus, d'où ma question.

— Glen

+1 Excellente réponse! Juste une petite précision: d'où vient le tant que scaler pour ? Je l'ai vu dans la définition de la lognormale dans Wikipedia mais ce n'est pas expliqué non plus, est-ce simplement une intégration de la moyenne du PDF?

\frac{1}{2}

$\frac{1}{2}$

\hat{σ^{2}}

$\hat{\sigma^2}$

— usεr11852

Vous devriez pouvoir l'obtenir simplement en intégrant directement: où est la densité du lognormal, mais il est probablement plus facile à faire en calculant pour une normale (où ), mais alors peut-être vaut-il mieux trouver le MGF pour - ce qui n'est pas plus difficile - et à partir duquel les moments pour sont très facilement obtenus (en remplaçant par à son tour), obtenant essentiellement des moments plus élevés gratuitement.

E (Y) = \int_{0}^{\infty} y f (y) d y

$E(Y) = \int_0^\infty y\, f(y)\, dy$

f

$f$

E (e^{X})

$E(e^X)$

X = \log Y

$X=\log Y$

X

$X$

Y

$Y$

t

$t$

1, 2, . . .

$1,2,...$

— Glen_b -Reinstate Monica

@ usεr11852 Dans l'un ou l'autre de ces derniers cas, vous prenez ou dans le terme dans la densité, puis complétez le carré en et apportez des constantes supplémentaires (c'est-à-dire toutes sauf la constante de normalisation pour la normale) à l'avant de l'intégrale (qui contient le ), laissant un pdf gaussien intégré sur la ligne réelle (avec une moyenne décalée de l'original) qui s'intègre à 1, ne laissant que les constantes que vous avez apportées à l'avant. Cela n'implique rien de plus que des manipulations algébriques très simples, ... ctd

e^{x}

$e^x$

e^{t x}

$e^{tx}$

e^{. . .}

$e^{...}$

x

$x$

\frac{1}{2}

$\frac12$

— Glen_b -Reinstate Monica

ctd ... et à partir duquel le ème moment brut d'une lognormale est .

t

$t$

e^{μ t + \frac{1}{2} σ^{2} t^{2}}

$e^{\mu t + \frac12 \sigma^2t^2}$

— Glen_b -Reinstate Monica