Quels algorithmes nécessitent une mise à l'échelle des fonctionnalités, à côté de SVM?

Je travaille avec de nombreux algorithmes: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear et rbf), KNN, LDA et XGBoost. Tous étaient assez rapides à l'exception de SVM. C'est à ce moment que j'ai appris qu'il avait besoin d'une mise à l'échelle des fonctionnalités pour fonctionner plus rapidement. Ensuite, j'ai commencé à me demander si je devais faire de même pour les autres algorithmes.

En général, les algorithmes qui exploitent les distances ou les similitudes (par exemple sous forme de produit scalaire) entre des échantillons de données, tels que k-NN et SVM, sont sensibles aux transformations de caractéristiques.

Les classificateurs basés sur des modèles graphiques, tels que Fisher LDA ou Naive Bayes, ainsi que les arbres de décision et les méthodes d'ensemble basées sur les arbres (RF, XGB) sont invariables pour la mise à l'échelle des fonctionnalités, mais il peut être judicieux de redimensionner / standardiser vos données .

Voici une liste que j'ai trouvée sur http://www.dataschool.io/comparing-supervised-learning-algorithms/ indiquant quel classificateur a besoin d' une mise à l'échelle des fonctionnalités :

Tableau complet:

Dans le clustering k-means, vous devez également normaliser votre entrée .

En plus de déterminer si le classificateur exploite les distances ou les similitudes comme Yell Bond l'a mentionné, la descente de gradient stochastique est également sensible à la mise à l'échelle des fonctionnalités (car le taux d'apprentissage dans l'équation de mise à jour de la descente de gradient stochastique est le même pour chaque paramètre {1}):

---

Les références:

• {1} Elkan, Charles. "Modèles log-linéaires et champs aléatoires conditionnels." Notes de tutoriel au CIKM 8 (2008). https://scholar.google.com/scholar?cluster=5802800304608191219&hl=en&as_sdt=0,22 ; https://pdfs.semanticscholar.org/b971/0868004ec688c4ca87aa1fec7ffb7a2d01d8.pdf

$$Y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + \epsilon_i$$ $i=1, \dots, n$. Maintenant, si vous dites, centrez et redimensionnez les prédicteurs pour obtenir $$x_i^* = (x_i - \bar{x})/\text{sd}(x) \\ z_i^* = (z_i - \bar{z})/\text{sd}(z)$$ et plutôt ajuster le modèle (en utilisant les moindres carrés ordinaires) $$Y_i = \beta_0^* + \beta_1^* x_i^* + \beta_2^* z_i^* + \epsilon_i$$ Ensuite, les paramètres ajustés (bêtas) changeront, mais ils changent d'une manière que vous pouvez calculer par simple algèbre à partir de la transformation appliquée. Donc, si nous appelons les bêtas estimés du modèle en utilisant des prédicteurs transformés pour$\beta_{1,2}^*$ et dénotent les bêtas du modèle non transformé avec $\hat{\beta}_{1,2}$, nous pouvons calculer un ensemble de bêtas à partir de l'autre, en connaissant les moyennes et les écarts-types des prédicteurs. La relation entre les paramètres transformés et non transformés est la même qu'entre leurs estimations, lorsqu'elles sont basées sur OLS. Une algèbre donnera la relation $$\beta_0=\beta_0^* - \frac{\beta_1^* \bar{x}}{\text{sd(x)}} -\frac{\beta_2^*\bar{z}}{\text{sd(z)}},\quad \beta_1 =\frac{\beta_1^*}{\text{sd(x)}},\quad \beta_2=\frac{\beta_2^*}{\text{sd(z)}}$$ So standardization is not a necessary part of modelling. (It might still be done for other reasons, which we do not cover here). This answer depends also upon us using ordinary least squares. For some other fitting methods, such as ridge or lasso, standardization is important, because we loose this invariance we have with least squares. This is easy to see: both lasso and ridge do regularization based on the size of the betas, so any transformation which change the relative sizes of the betas will change the result!

And this discussion for the case of linear regression tells you what you should look after in other cases: Is there invariance, or is it not? Generally, methods which depends on distance measures among the predictors will not show invariance, so standardization is important. Another example will be clustering.