Régression polynomiale avec scikit-learn

J'essaie d'utiliser scikit-learn pour la régression polynomiale. D'après ce que j'ai lu, la régression polynomiale est un cas particulier de régression linéaire. J'étais en train de sauter que peut-être l'un des modèles linéaires généralisés de scikit peut être paramétré pour s'adapter à des polynômes d'ordre supérieur, mais je ne vois aucune option pour le faire.

J'ai réussi à utiliser un support Vector Regressor avec un noyau poly. Cela a bien fonctionné avec un sous-ensemble de mes données, mais cela prend beaucoup de temps pour s'adapter à de plus grands ensembles de données, donc j'ai encore besoin de trouver quelque chose plus rapidement (même si vous échangez une certaine précision).

Suis-je en train de manquer quelque chose d'évident ici?

Étant donné les données , un vecteur de colonne et , le vecteur cible, vous pouvez effectuer une régression polynomiale en ajoutant des polynômes de . Par exemple, considérez si$\mathbf{x}$$\mathbf{y}$$\mathbf{x}$

$$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$$

Utiliser uniquement ce vecteur en régression linéaire implique le modèle:

$$y = \alpha_1 x$$

Nous pouvons ajouter des colonnes qui sont des puissances du vecteur ci-dessus, qui représentent l'ajout de polynômes à la régression. Ci-dessous, nous montrons ceci pour les polynômes jusqu'à la puissance 3:

$$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$$

Voici notre nouvelle matrice de données que nous utilisons dans la régression linéaire de sklearn, et elle représente le modèle:

$$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$$

---

Notez que je n'ai pas ajouté un vecteur constant de , car sklearn l'inclura automatiquement.$1$

Théorie

La régression polynomiale est un cas particulier de régression linéaire. Avec l'idée principale de comment sélectionner vos fonctionnalités. En regardant la régression multivariée avec 2 variables: x1et x2. La régression linéaire ressemblera à ceci:y = a1 * x1 + a2 * x2.

Maintenant, vous voulez avoir une régression polynomiale (faisons un polynôme à 2 degrés). Nous allons créer quelques fonctionnalités supplémentaires: x1*x2, x1^2et x2^2. Nous obtiendrons donc votre «régression linéaire»:

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

Cela montre bien une importante malédiction du concept de dimensionnalité , car le nombre de nouvelles fonctionnalités croît beaucoup plus rapidement que linéairement avec la croissance du degré de polynôme. Vous pouvez jeter un œil à ce concept ici .

Entraînez-vous avec scikit-learn

Vous n'avez pas besoin de faire tout cela dans scikit. La régression polynomiale y est déjà disponible (en version 0.15 . Vérifiez comment la mettre à jour ici ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

$x_1$$x_2$$y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$$a_5x_1x_2$) est celui dont je parle.