Pourquoi la régression polynomiale est-elle considérée comme un cas particulier de régression linéaire multiple?

38

Si la régression polynomiale modélise les relations non linéaires, comment peut-elle être considérée comme un cas particulier de régression linéaire multiple?

Wikipedia note que "Bien que la régression polynomiale adapte un modèle non linéaire aux données, elle est linéaire en tant que problème d’estimation statistique, en ce sens que la fonction de régression est linéaire dans les paramètres inconnus estimés. à partir des données. " $\mathbb{E}(y | x)$

Comment la régression polynomiale est-elle linéaire dans les paramètres inconnus si les paramètres sont des coefficients pour les termes de commande 2? $\ge$

— gavinmh
source

4

Les paramètres à estimer sont (multi) linéaires. Si vous estimiez les valeurs des exposants, le problème d’estimation ne serait pas linéaire; mais la quadrature d'un prédicteur fixe l'exposant exactement à 2.

— Sycorax dit Réintégrer Monica

D'après ce que je comprends, le commentaire de @ user777, ainsi que les réponses ci-dessous, s'appliquent non seulement à la régression polynomiale, mais également à toute régression qui utilise une bijection des variables prédictives. par exemple, toute fonction réversible, telle que , , etc. (plus quelques autres fonctions, évidemment, puisque les deuxièmes puissances ne sont pas bijectives).

l o g (x)

$log(x)$

e^{x}

$e^x$

— naught101

Merci tout le monde; toutes les réponses et commentaires ont été utiles.

— gavinmh

53

Lors du montage d' un modèle de régression tel que , le modèle et les OLS estimateur ne pas « savoir » que est simplement le carré de, ça "pense" que c'est une autre variable. Bien sûr, il existe une certaine colinéarité, qui est incorporée dans l’ajustement (par exemple, les erreurs types sont plus grandes qu’elles ne le seraient autrement), mais de nombreuses paires de variables peuvent être quelque peu colinéaires sans que l’une ne soit fonction de l’autre. $\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$ $x^2_i$ $x_i$

Nous ne reconnaissons pas qu'il existe réellement deux variables distinctes dans le modèle, car nous savons que est finalement la même variable que que nous avons transformée et incluse afin de capturer une relation curviligne entre et . Cette connaissance de la vraie nature de , associée à notre conviction qu'il existe une relation curviligne entre et nous empêche de comprendre en quoi elle est toujours linéaire du point de vue du modèle. De plus, on visualise $x^2_i$ $x_i$ $x_i$ $y_i$ $x^2_i$ $x_i$ $y_i$ et ensemble en regardant la projection marginale de la fonction 3D sur le plan 2D . $x_i$ $x^2_i$ $x, y$

Si vous ne disposez que de et , vous pouvez essayer de les visualiser dans tout l'espace 3D (bien qu'il soit encore difficile de voir vraiment ce qui se passe). Si vous examiniez la fonction ajustée dans l'espace 3D complet, vous verriez que la fonction ajustée est un plan 2D et, en outre, qu'il s'agit d'un plan plat. Comme je l'ai dit, il est difficile de bien voir parce que les données n'existent que le long d'une ligne courbe qui traverse cet espace 3D (ce fait est la manifestation visuelle de leur colinéarité). Nous pouvons essayer de le faire ici. Imaginez que ce soit le modèle ajusté: $x_i$ $x^2_i$ $x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

entrez la description de l'image ici

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

entrez la description de l'image ici

Il peut être plus facile de voir dans ces images, qui sont des captures d'écran d'une figure 3D pivotée réalisée avec les mêmes données à l'aide du rglpackage.

entrez la description de l'image ici

$p$ $p$ $p\!+\!1$

— gung - Rétablir Monica
source

17

$y = a + bx + cx^2$ $x$ $a$ $b$ $c$ $y = \sum_{i=0}^N a_i h_i(x)$ $h_i$ $x$ $h_i$ $x$

— reine des abeilles
source

14

y_{je} = b_{0} + b_{1} X_{je}^{n_{1}} + \dots + b_{p} X_{je}^{n_{p}} + ε_{je} .

$y_i = b_0+b_1 x^{n_1}_i + \cdots+ b_px^{n_p}_i + \epsilon_i.$

y = X b + ε; X = (\begin{matrix} 1 & X_{1}^{n_{1}} & \dots & X_{1}^{n_{p}} \\ 1 & X_{2}^{n_{1}} & \dots & X_{2}^{n_{p}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & X_{n}^{n_{1}} & \dots & X_{n}^{n_{p}} \end{matrix}) .

$y = X b + \epsilon;\\ X= \begin{pmatrix} 1 & x_{1}^{n_1} & \cdots & x_{1}^{n_p} \\ 1 & x_{2}^{n_1} & \cdots & x_{2}^{n_p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n}^{n_1} & \cdots & x_{n}^{n_p} \\ \end{pmatrix}.$

— mookid
source