Les algorithmes d'arbre de décision sont-ils linéaires ou non linéaires

21

Récemment, un de mes amis a été demandé si les algorithmes d'arbre de décision sont des algorithmes linéaires ou non linéaires dans une interview. J'ai essayé de chercher des réponses à cette question mais je n'ai trouvé aucune explication satisfaisante. Quelqu'un peut-il répondre et expliquer la solution à cette question? De plus, quels sont quelques autres exemples d'algorithmes d'apprentissage machine non linéaires?

— user2966197
source

Vous vous demandez dans quel contexte ils signifient cela, régression, données linéairement séparables?

— image_doctor

1

Ils signifiaient probablement la frontière entre les classes; est-il composé d'hyperplans ou non.

— Emre

17

Un arbre de décision est un mappage non linéaire de Xto y. C'est facile à voir si vous prenez une fonction arbitraire et créez un arbre à sa profondeur maximale.

Par exemple:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Bien sûr, c'est un arbre complètement trop ajusté et ne généralisera pas. Mais il montre pourquoi un arbre de décision est une cartographie non linéaire.

— inversion
source

10

Récemment, un de mes amis a été demandé si l'algorithme d'arbre de décision était un algorithme linéaire ou non linéaire dans une interview

Les arbres de décision sont un classifieur non linéaire comme les réseaux de neurones, etc. Il est généralement utilisé pour classer des données non linéairement séparables.

Même si vous considérez l'exemple de régression, l'arbre de décision est non linéaire.

Par exemple, une ligne de régression linéaire ressemblerait un peu à ceci:

Les points rouges sont les points de données.

Et un graphique de régression d'arbre de décision ressemblerait à ceci:

Ainsi, les arbres de décision sont clairement non linéaires

— Dawny33
source

L'augmentation de la profondeur de l'arbre conduirait à plus de sur-ajustement, et donc à une structure plus non linéaire.

— Dawny33

3

Les arbres de décision sont non linéaires. Contrairement à la régression linéaire, il n'y a pas d'équation pour exprimer la relation entre les variables indépendantes et dépendantes.

Ex:

Régression linéaire - Prix du fruit = b0 + b1 * Fraîcheur + b2 * Taille

Arbre de décision - Nœuds: mûrs - Oui ou non | Frais - Oui ou Non | Taille - <5,> 5 mais <10 et> 10 |

Dans le deuxième cas, il n'y a pas de relation linéaire entre les variables indépendantes et dépendantes.

3

Comme beaucoup l'ont souligné, un arbre de régression / décision est un modèle non linéaire. Notez cependant qu'il s'agit d'un modèle linéaire par morceaux : dans chaque voisinage (défini de manière non linéaire), il est linéaire. En fait, le modèle n'est qu'une constante locale.

$\theta$

y_{je} = α_{1} 1 (X_{je} < θ) + α_{2} 1 (X_{je} \geq θ) + ϵ_{je}

$y_i = \alpha_1 1(x_i < \theta) + \alpha_2 1(x_i \geq \theta) + \epsilon_i$

$1(A)$

— Matifou
source

2

$VC$ $2^d$ $d$ $2^{2^d}$ $m$ $d$ $min(2^d, m)$ ID3C4.5

— Médias
source