Comment ajuster une régression comme

9

J'ai des données de séries chronologiques où la variable mesurée est des entiers positifs discrets (comptes). Je veux tester s'il y a une tendance à la hausse dans le temps (ou non). La variable indépendante (x) est comprise entre 0 et 500 et la variable dépendante (y) est comprise entre 0 et 8.

J'ai pensé répondre à cela en ajustant une régression de la forme en y = floor(a*x + b)utilisant les moindres carrés ordinaires (OLS).

Comment pourrais-je procéder en utilisant R (ou Python)? Y a-t-il un package existant pour cela, ou suis-je mieux d'écrire mon propre algorithme?

PS: Je sais que ce n'est pas la technique idéale, mais je dois faire une analyse relativement simple que je peux réellement comprendre - mon expérience est la biologie et non les mathématiques. Je sais que je viole les hypothèses sur l'erreur dans la variable mesurée et l'indépendance des mesures dans le temps.

r regression python

— afaulconbridge
source

5

Bien qu'il soit mathématiquement naturel d'essayer une régression de cette forme, derrière elle se cache une erreur statistique: le terme d'erreur sera désormais fortement corrélé avec la valeur prédite. C'est une violation assez forte des hypothèses OLS. Utilisez plutôt une technique basée sur le comptage, comme le suggère la réponse de Greg Snow. (J'ai cependant volontiers voté pour cette question, car elle reflète une réelle réflexion et intelligence. Merci de la poser ici!)

— whuber

11

Vous pouvez adapter le modèle que vous énoncez en utilisant la fonction nls(moindres carrés non linéaires) R, mais comme vous l'avez dit, cela violera de nombreuses hypothèses et n'aura probablement pas beaucoup de sens (vous dites que le résultat prévu est aléatoire autour d'une étape fonction, et non des valeurs entières autour d'une relation qui augmente progressivement).

La façon la plus courante d'ajuster les données de comptage consiste à utiliser la régression de Poisson à l'aide de la glmfonction dans R, le premier exemple sur la page d'aide est une régression de Poisson, mais si vous n'êtes pas familier avec les statistiques, il serait préférable de consulter un statisticien pour vous assurer que vous faites les choses correctement.

Si la valeur de 8 est un maximum absolu (impossible de voir un nombre plus élevé, ce n'est pas seulement ce que vous avez vu), vous pouvez envisager la régression logistique des cotes proportionnelles, il existe quelques outils pour le faire dans les packages R, mais vous devrait vraiment impliquer un statisticien si vous voulez le faire.

— Greg Snow
source

"vous dites que le résultat prédit est aléatoire autour d'une fonction de pas, pas de valeurs entières autour d'une relation qui augmente progressivement" --- C'est quelque chose que je n'avais pas considéré. Au final, j'ai opté pour la régression de Poisson par glm. Ce n'est pas le choix parfait, mais "assez bien" pour ce dont j'avais besoin.

— afaulconbridge

10

$\def\lf{\lfloor}\def\rf{\rfloor}\def\pnorm{\mathrm{pnorm}}$ Il est clair que la suggestion de Greg est la première chose à essayer: la régression de Poisson est le modèle naturel dans beaucoup de béton situations.

Cependant, le modèle que vous proposez peut se produire par exemple lorsque vous observez des données arrondies: avec les erreurs normales iid .

Y_{i} = ⌊ a x_{i} + b + ϵ_{i} ⌋,

$Y_i = \lf ax_i + b + \epsilon_i \rf,$

ϵ_{i}

$\epsilon_i$

Je pense que c'est intéressant de voir ce qu'on peut en faire. Je note le cdf de la variable normale standard. Si , alors utilisant des notations informatiques familières. $F$ $\epsilon \sim \mathcal N(0,\sigma^2)$

\begin{aligned} P (⌊ a x + b + ϵ ⌋ = k) & = F (\frac{k - b + 1 - a x}{σ}) - F (\frac{k - b - a x}{σ}) \\ = p n o r m (k + 1 - a x - b, s d = σ) - p n o r m (k - a x - b, s d = σ), \end{aligned}

$\begin{align*} \mathbb P\left(\lf ax + b + \epsilon \rf = k\right) &= F\left({k-b+1-ax\over \sigma}\right) - F\left({k-b-ax\over \sigma}\right)\\ &= \pnorm(k+1-ax-b,sd=\sigma) - \pnorm(k-ax-b,sd=\sigma),\end{align*}$

Vous observez des points de données . La vraisemblance de log est donnée par Ce n'est pas identique aux moindres carrés. Vous pouvez essayer de maximiser cela avec une méthode numérique. Voici une illustration dans R: $(x_i,y_i)$

ℓ (a, b, σ) = \sum_{i} \log (F (\frac{y_{i} - b + 1 - a x_{i}}{σ}) - F (\frac{y_{i} - b - a x_{i}}{σ})) .

$\ell(a,b,\sigma) = \sum_i \log\left( F\left({y_i-b+1-ax_i\over \sigma}\right) - F\left({y_i-b-ax_i\over \sigma}\right) \right).$

log_lik <- function(a,b,s,x,y)
  sum(log(pnorm(y+1-a*x-b, sd=s) - pnorm(y-a*x-b, sd=s)));

x <- 0:20
y <- floor(x+3+rnorm(length(x), sd=3))
plot(x,y, pch=19)
optim(c(1,1,1), function(p) -log_lik(p[1], p[2], p[3], x, y)) -> r
abline(r$par[2], r$par[1], lty=2, col="red")
t <- seq(0,20,by=0.01)
lines(t, floor( r$par[1]*t+r$par[2]), col="green")

lm(y~x) -> r1
abline(r1, lty=2, col="blue");

modèle linéaire arrondi

En rouge et bleu, les lignes trouvées par maximisation numérique de cette vraisemblance, et moindres carrés, respectivement. L'escalier vert est pour trouvé par la probabilité maximale ... cela suggère que vous pourriez utiliser le moins de carrés, jusqu'à une traduction de par 0,5, et obtenir à peu près le même résultat; ou, que les moindres carrés correspondent bien au modèle où est l'entier le plus proche. Les données arrondies sont si souvent rencontrées que je suis sûr que cela est connu et a été étudié de manière approfondie ... $ax+b$ $\lf ax +b\rf$ $a,b$ $b$

Y_{i} = [a x_{i} + b + ϵ_{i}],

$Y_i = [ a x_i + b +\epsilon_i],$

[x] = ⌊ x + 0.5 ⌋

$[x] = \lf x + 0.5 \rf$

— Elvis
source

4

+1 J'adore cette technique et j'ai soumis un article à ce sujet à un journal d'analyse des risques il y a quelques années. (Certains analystes des risques sont très intéressés par les données à intervalles.) Il a été rejeté comme étant «trop mathématique» pour leur public. :-(. Une astuce: lorsque vous utilisez des méthodes numériques, c'est toujours une bonne idée de fournir de bonnes valeurs de départ pour la solution. Pensez à appliquer OLS aux données brutes pour obtenir ces valeurs, puis "les polir" avec l'optimiseur numérique.

— whuber

Oui, c'est une bonne suggestion. En fait, dans ce cas, je choisis des valeurs distantes pour souligner que "ça marche", mais dans la pratique votre suggestion serait la seule solution pour éviter de partir d'une région très plate, en fonction des données ...

— Elvis