Dans l'algorithme SVM, pourquoi le vecteur w est orthogonal à l'hyperplan de séparation?

13

Je suis un débutant en Machine Learning. Dans SVM, l'hyperplan de séparation est défini comme . Pourquoi dit-on vecteur orthogonal à l'hyperplan de séparation? $y = w^T x + b$ $w$

machine-learning svm

— Chong Zheng
source

3

Une réponse à une question similaire (pour les réseaux de neurones) est ici .

— bogatron

@bogatron - Je suis entièrement d'accord avec vous. Mais mes seulement une réponse spécifique SVM .

— Untitledprogrammer

2

Sauf que ce n'est pas le cas. Votre réponse est correcte mais il n'y a rien à ce sujet qui soit spécifique aux SVM (et il ne devrait pas y en avoir).

est simplement une équation vectorielle qui définit un hyperplan.

w^{T} x = b

$w^{T}x=b$

— bogatron

10

Géométriquement, le vecteur w est dirigé orthogonal à la ligne définie par . Cela peut être compris comme suit: $w^{T} x = b$

Prenez d'abord . Maintenant, il est clair que tous les vecteurs, , avec un produit intérieur disparaissant avec satisfont cette équation, c'est-à-dire que tous les vecteurs orthogonaux à w satisfont cette équation. $b = 0$ $x$ $w$

Maintenant, déplacez l'hyperplan loin de l'origine sur un vecteur a. L'équation pour le plan devient maintenant: , c'est-à-dire que pour le décalage , qui est la projection du vecteur sur le vecteur . $(x − a)^{T} w = 0$ $b = a^{T} w$ $a$ $w$

Sans perte de généralité, nous pouvons donc choisir une perpendiculaire au plan, auquel cas la longueur qui représente la distance orthogonale la plus courte entre l'origine et l'hyperplan. $\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

Par conséquent, le vecteur est dit orthogonal à l'hyperplan de séparation. $w$

— programmeur sans titre
source

4

La raison pour laquelle est normal à l'hyperplan est parce que nous le définissons de cette façon: $w$

$P_0$ $P_0 = x_0, y_0, z_0$ $(0,0,0)$ $<x_0,y_0,z_0>$ $P (x,y,z)$ $P$ $P_0$

\vec{P} - \vec{P_{0}} =< x - x_{0}, y - y_{0}, z - z_{0} >

$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$

$\hat{n}$

\hat{n} ∙ (\vec{P} - \vec{P_{0}}) = 0

$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$

\hat{n} ∙ \vec{P} - \hat{n} ∙ \vec{P_{0}} = 0

$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$

- \hat{n} ∙ \vec{P_{0}}

$-\hat{n} \bullet \vec{P_0}$

b

$b$

\hat{n}

$\hat{n}$

w

$w$

\vec{P}

$\vec{P}$

x

$x$

w

$w$

— Shehryar Malik
source

2

$w^Tx + b = 0$ $x_a$ $x_b$

w^{T} x_{a} + b = 0 w^{T} x_{b} + b = 0

$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$

$w^T.(x_a - x_b) = 0$ $x_a - x_b$ $x_b$ $x_a$ $w^T.(x_a - x_b)$ $w^T$ $x_a - x_b$

— adityagaydhani
source

0

En utilisant la définition algébrique d'un vecteur orthogonal à un hyperplan:

$\forall \ x_1, x_2$

w^{T} (x_{1} - x_{2}) = (w^{T} x_{1} + b) - (w^{T} x_{2} + b) = 0 - 0 = 0 ◻ .

$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$

— Indominus
source