Les algorithmes d'arbre de décision sont-ils linéaires ou non linéaires


21

Récemment, un de mes amis a été demandé si les algorithmes d'arbre de décision sont des algorithmes linéaires ou non linéaires dans une interview. J'ai essayé de chercher des réponses à cette question mais je n'ai trouvé aucune explication satisfaisante. Quelqu'un peut-il répondre et expliquer la solution à cette question? De plus, quels sont quelques autres exemples d'algorithmes d'apprentissage machine non linéaires?


Vous vous demandez dans quel contexte ils signifient cela, régression, données linéairement séparables?
image_doctor

1
Ils signifiaient probablement la frontière entre les classes; est-il composé d'hyperplans ou non.
Emre

Réponses:


17

Un arbre de décision est un mappage non linéaire de Xto y. C'est facile à voir si vous prenez une fonction arbitraire et créez un arbre à sa profondeur maximale.

Par exemple:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Bien sûr, c'est un arbre complètement trop ajusté et ne généralisera pas. Mais il montre pourquoi un arbre de décision est une cartographie non linéaire.


10

Récemment, un de mes amis a été demandé si l'algorithme d'arbre de décision était un algorithme linéaire ou non linéaire dans une interview

Les arbres de décision sont un classifieur non linéaire comme les réseaux de neurones, etc. Il est généralement utilisé pour classer des données non linéairement séparables.

Même si vous considérez l'exemple de régression, l'arbre de décision est non linéaire.

Par exemple, une ligne de régression linéaire ressemblerait un peu à ceci:

entrez la description de l'image ici

Les points rouges sont les points de données.

Et un graphique de régression d'arbre de décision ressemblerait à ceci:

entrez la description de l'image ici

Ainsi, les arbres de décision sont clairement non linéaires


L'augmentation de la profondeur de l'arbre conduirait à plus de sur-ajustement, et donc à une structure plus non linéaire.
Dawny33

3

Les arbres de décision sont non linéaires. Contrairement à la régression linéaire, il n'y a pas d'équation pour exprimer la relation entre les variables indépendantes et dépendantes.

Ex:

Régression linéaire - Prix du fruit = b0 + b1 * Fraîcheur + b2 * Taille

Arbre de décision - Nœuds: mûrs - Oui ou non | Frais - Oui ou Non | Taille - <5,> 5 mais <10 et> 10 |

Dans le deuxième cas, il n'y a pas de relation linéaire entre les variables indépendantes et dépendantes.


3

Comme beaucoup l'ont souligné, un arbre de régression / décision est un modèle non linéaire. Notez cependant qu'il s'agit d'un modèle linéaire par morceaux : dans chaque voisinage (défini de manière non linéaire), il est linéaire. En fait, le modèle n'est qu'une constante locale.

θ

yje=α11(Xje<θ)+α21(Xjeθ)+ϵje

1(UNE)


2

VC222mmjen(2,m)ID3C4.5

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.