Comprendre la projection linéaire dans «Les éléments de l'apprentissage statistique»

Dans le livre "Les éléments de l'apprentissage statistique" au chapitre 2 ("Modèles linéaires et moindres carrés; page n °: 12"), il est écrit que

Dans l'espace d'entrée-sortie (p + 1), (X, Y) représente un hyperplan. Si la constante est incluse dans X, l'hyperplan inclut l'origine et est un sous-espace; sinon, il s'agit d'un ensemble affine coupant l'axe Y au point (0, $\beta$ ).

Je ne reçois pas la phrase "si la constante est ... (0, $\beta$ ) ". S'il vous plaît, aidez-moi. Je pense que l'hyperplan couperait l'axe Y à (0, $\beta$ ) dans les deux cas, est-ce exact?

La réponse ci-dessous a quelque peu aidé, mais je cherche une réponse plus spécifique. Je comprends que lorsque $1$ est inclus dans le $X$ , il ne contiendra pas d'origine, mais comment $(X,Y)$ contiendrait l'origine? Ne devrait-il pas dépendre de la valeur de $\beta$ ? Si intercepter $\beta_0$ n'est pas $0$ , $(X,Y)$ ne devrait pas contenir d'origine, à ma connaissance?

regression machine-learning

— Abhinav Gupta
source

Combien d'algèbre linéaire avez-vous fait? Savez-vous quels sont les vecteurs? Qu'en est-il des espaces vectoriels, des sous-espaces, ...?

— Adrian

J'ai une compréhension de base de l'algèbre linéaire, des vecteurs et des espaces vectoriels.

— Abhinav Gupta,

en.wikipedia.org/wiki/Hyperplane a un peu sur les hyperplans affines et les hyperplanes vectoriels

— Adrian

Thnaks! il suffit de lire cet article. Mais je ne comprends toujours pas comment peut-on dire que l'hyperplan comprend l'origine si le contant est inclus dans X. Si cela est clair, je comprends pourquoi l'hyperplan est un sous-espace.

— Abhinav Gupta

page no: 12. J'ai également modifié la question.

— Abhinav Gupta

Réponses:

L'inclusion de la constante 1dans le vecteur d'entrée est une astuce courante pour inclure un biais (pensez à l'ordonnée à l'origine) mais en gardant tous les termes de l'expression symétriques: vous pouvez écrire $\beta X$ au lieu de $\beta_0 + \beta X$ partout.

Si vous faites cela, il est alors correct que l'hyperplan $Y = \beta X$ inclut l'origine, puisque l'origine est un vecteur de $0$ valeurs et en le multipliant pour $\beta$ donne la valeur $0$ .

Cependant, vos vecteurs d'entrée auront toujours le premier élément égal à $1$ ; par conséquent, ils ne contiendront jamais l'origine et seront placés sur un hyperplan plus petit, qui a une dimension de moins.

Vous pouvez visualiser cela en pensant à une ligne $Y=mx+q$ sur votre feuille de papier (2 dimensions). L'hyperplan correspondant si vous incluez le biais $q$ votre vecteur devient $X = [x, x_0=1]$ et vos coefficients $\beta = [m, q]$ . En 3 dimensions c'est un avion passant de l'origine, qui intercepte l'avion $x_0=1$ produisant la ligne où vos entrées peuvent être placées.

— giorgiosironi
source

Je ne comprends toujours pas très bien. Le livre dit "Si la constante est incluse dans X, alors l'hyperplan inclut l'origine et est un sous-espace" mais comme vous l'avez dit, "les vecteurs d'entrée auront toujours le premier élément = 1, donc ne contiendront jamais d'origine. Alors, comment inclure la constante 1 inclure l'origine comme le dit le livre?

— MinYoung Kim

Il m'a également fallu un certain temps pour le voir, mais cette réponse m'a aidé. Vous devez oublier la contrainte sur

x_{0}

$x_0$ pour voir le sous-espace / plan dont ils parlent, dont l'origine. Lorsque vous ajoutez la contrainte

x_{0} = 1

$x_0 = 1$ vous obtenez exactement la même ligne 2D juste projetée sur le plan

x_{0} = 1

$x_0 = 1$ .

— grll

Pour vous aider à comprendre cela, j'ai fait une visualisation d'un cas très simple.

Disons que nous avons un problème unidimensionnel (p = 1) donc une seule caractéristique (variable d'entrée) $X_1$ prédire une seule variable de sortie $Y$ . Imaginons que nous ayons déjà trouvé une interception $\beta_0 = 5$ et un coefficient $\beta_1 = 2$ pour notre variable d'entrée $X_1$ .

Notre modèle linéaire ressemblerait à: $\hat{Y} = \beta_0 + \beta_1 \times X_1$ .

D'où la représentation évidente serait un hyperplan (une ligne) dans (p + 1) -espace dimensionnel dans ce cas (2d):

Une autre représentation serait d'ajouter une autre variable $X_0$ ce qui conduira à l'équation suivante: $\hat{Y} = \beta_0 \times X_0 + \beta_1 \times X_1$ .

En pratique, nous savons que $X_0$ sera une constante et égale à 1, mais supposons qu'elle ne soit pas encore fixe. Dans ce cas, nous pouvons maintenant tracer un graphique 3D avec un hyperplan comme suit:

Enfin puisque nous ne connaissons que $X_0 = 1$ est possible j'ai mis en évidence avec une ligne pointillée rouge la seule projection de travail de cet hyperplan qui correspond exactement à l'intrigue que nous avions avant.

— grll
source