Pourquoi la régression logistique est-elle appelée algorithme d'apprentissage automatique?

Si j'ai bien compris, dans un algorithme d'apprentissage automatique, le modèle doit apprendre de son expérience, c'est-à-dire lorsque le modèle donne la mauvaise prédiction pour les nouveaux cas, il doit s'adapter aux nouvelles observations, et avec le temps, le modèle devient de mieux en mieux . Je ne vois pas que la régression logistique ait cette caractéristique. Alors pourquoi est-il toujours considéré comme un algorithme d'apprentissage automatique? Quelle est la différence entre la régression logistique et la régression normale en terme "d'apprentissage"?

J'ai la même question pour les forêts aléatoires!

Et quelle est la définition du "machine learning"?

L'apprentissage automatique n'est pas un terme bien défini.

En fait, si vous utilisez la «définition d'apprentissage automatique» de Google, les deux premières choses que vous obtenez sont très différentes.

De WhatIs.com ,

L'apprentissage automatique est un type d'intelligence artificielle (IA) qui permet aux ordinateurs d'apprendre sans être explicitement programmés. L'apprentissage automatique se concentre sur le développement de programmes informatiques qui peuvent apprendre à grandir et à changer lorsqu'ils sont exposés à de nouvelles données.

De Wikipédia ,

L'apprentissage automatique explore la construction et l'étude d'algorithmes qui peuvent apprendre et faire des prédictions sur les données.

La régression logistique correspond sans aucun doute à la définition de Wikipédia et vous pourriez vous demander si elle correspond ou non à la définition de WhatIs.

Personnellement, je définis le Machine Learning tout comme Wikipedia et le considère comme un sous-ensemble de statistiques.

L'apprentissage automatique est chaud et c'est là que se trouve l'argent. Les gens appellent des choses qu'ils essaient de vendre tout ce qui est chaud en ce moment et donc "vend". Cela peut être la vente de logiciels. Cela peut se vendre en tant qu'employés actuels essayant d'être promus, en tant qu'employés potentiels, en tant que consultants, etc. Cela peut être un gestionnaire essayant d'obtenir l'approbation du budget d'une grande entreprise pour embaucher des gens et acheter des choses, ou pour convaincre les investisseurs d'investir dans son nouveau démarrage à chaud qui fait de l'apprentissage automatique comme la clé pour créer une application de sexting améliorée. Le logiciel fait donc du Machine Learning et les gens sont des experts du Machine Learning, car c'est ce qui est chaud et donc ce qui se vend ... du moins pour l'instant.

J'ai fait toutes sortes de modèles statistiques linéaires et non linéaires adaptés il y a plus de 30 ans. Il ne s'appelait pas alors Machine Learning. Maintenant, la plupart le seraient.

Tout comme tout le monde et leur oncle est maintenant un "scientifique" des données. C'est chaud, c'est censé être sexy, alors c'est comme ça que les gens s'appellent. Et c'est ce que les gestionnaires d'embauche qui doivent faire approuver le budget pour embaucher quelqu'un répertorient les postes. Donc, quelqu'un qui ne connaît pas la première chose sur les mathématiques, les probabilités, les statistiques, l'optimisation ou le calcul numérique / virgule flottante, utilise un package R ou Python d'une exactitude et d'une robustesse douteuses d'implémentation, et qui est étiqueté comme un algorithme d'apprentissage automatique, à appliquer à des données qu'ils ne comprennent pas et s'appellent eux-mêmes Data Scientist en fonction de leur expérience dans ce domaine.

Cela peut sembler désinvolte, mais je pense que c'est l'essence de la situation.

Edit: Ce qui suit a été tweeté le 26 septembre 2019:

https://twitter.com/daniela_witten/status/1177294449702928384

Daniela Witten @daniela_witten "Quand nous collectons de l'argent, c'est de l'IA, quand nous embauchons c'est du machine learning, et quand nous faisons le travail, c'est une régression logistique."

(Je ne sais pas qui est venu avec ça mais c'est un bijou 💎)

Comme d'autres l'ont déjà mentionné, il n'y a pas de séparation claire entre les statistiques, l'apprentissage automatique, l'intelligence artificielle, etc. prenez donc toute définition avec un grain de sel. La régression logistique est probablement plus souvent qualifiée de statistique plutôt que d'apprentissage automatique, tandis que les réseaux de neurones sont généralement étiquetés comme apprentissage automatique (même si les réseaux de neurones ne sont souvent qu'une collection de modèles de régression logistique).

À mon avis, l'apprentissage automatique étudie des méthodes qui peuvent en quelque sorte apprendre des données, généralement en construisant un modèle sous une forme ou une autre. La régression logistique, comme la SVM, les réseaux de neurones, les forêts aléatoires et de nombreuses autres techniques, apprend des données lors de la construction du modèle.

Si j'ai bien compris, dans un algorithme de Machine Learning, le modèle doit apprendre de son expérience

Ce n'est pas vraiment la façon dont l'apprentissage automatique est généralement défini. Toutes les méthodes d'apprentissage automatique ne produisent pas des modèles qui s'adaptent dynamiquement aux nouvelles données (ce sous-champ est appelé apprentissage en ligne ).

Quelle est la différence entre la régression logistique et la régression normale en terme "d'apprentissage"?

De nombreuses méthodes de régression sont également classées comme apprentissage automatique (par exemple SVM).

La régression logistique a été inventée par le statisticien DR Cox en 1958 et est donc antérieure au domaine de l'apprentissage automatique. La régression logistique n'est pas une méthode de classification, Dieu merci. Il s'agit d'un modèle de probabilité directe.

Si vous pensez qu'un algorithme doit avoir deux phases (supposition initiale, puis «corriger» les «erreurs» de prédiction), considérez ceci: la régression logistique le fait bien la première fois. C'est-à-dire dans l'espace des modèles additifs (dans le logit). La régression logistique est un concurrent direct de nombreuses méthodes d'apprentissage automatique et surpasse beaucoup d'entre elles lorsque les prédicteurs agissent principalement de manière additive (ou lorsque la connaissance du sujet prédéfinit correctement les interactions). Certains appellent la régression logistique un type d'apprentissage automatique, mais la plupart ne le feraient pas. Vous pourriez appeler des modèles statistiques de certaines méthodes d'apprentissage automatique (les réseaux de neurones en sont des exemples).

Je devrai être en désaccord avec la plupart des réponses ici et affirmer que le Machine Learninga une portée très précise et une distinction claire par rapport aux statistiques. ML est un sous-domaine de l'informatique avec une longue histoire, qui n'a trouvé ces dernières années que des applications en dehors de son domaine. Le domaine paternel et le domaine d'application de ML se trouvent dans l'intelligence artificielle (robotique, logiciel de reconnaissance de formes, etc.), par conséquent, ce n'est pas seulement un "terme brûlant" comme "Big Data" ou "Data Science". En revanche, la statistique (qui vient du mot «état») a été développée dans les sciences sociales et économiques comme un outil pour les humains, pas pour les machines. Le ML a évolué séparément des statistiques et, même s'il a commencé à s'appuyer fortement sur des principes statistiques, ce n'est en aucun cas un sous-domaine des statistiques. Le ML et les statistiques sont des champs complémentaires et non superposés.

Réponse longue :

Comme son nom l'indique, les méthodes ML ont été conçues pour les logiciels / machines tandis que les méthodes statistiques ont été conçues pour les humains. Le ML et les statistiques traitent tous les deux des prédictions sur les données, cependant, les méthodes ML suivent une approche automatisée non paramétrique tandis que les méthodes statistiques nécessitent beaucoup de travail manuel de construction de modèles avec un facteur explicatif supplémentaire. Cela est parfaitement logique si vous considérez que les algorithmes ML ont été développés dans la recherche sur l'IA comme un moyen de prédiction automatisé qui devait être intégré dans un logiciel de robotique (par exemple à des fins de reconnaissance vocale et faciale). Lorsqu'une "machine" fait une prédiction, elle ne se soucie pas des raisons qui la sous-tendent. Une machine ne se soucie pas de connaître les pilotes / prédicteurs derrière un modèle qui classe le courrier électronique comme spam ou non-spam, elle se soucie uniquement d'avoir la meilleure précision de prédiction.les boîtes noires , ce n'est pas parce qu'elles n'ont pas de modèle, c'est parce que le modèle est construit de manière algorithmique et n'est pas destiné à être visible ni par l'homme ni par la machine.

Le concept de «formation» en ML repose sur la puissance de calcul, tandis que la construction de modèles statistiques avec des méthodes de type OLS pour l'estimation des paramètres repose sur les connaissances d'un expert humain. Dans un scénario de régression multiple, il appartient strictement au statisticien d'utiliser son jugement d'expert pour choisir son modèle et vérifier toutes les hypothèses statistiques requises. Le but d'un statisticien n'est pas seulement de trouver des modèles et de les utiliser pour des prédictions, mais aussi de comprendre ses données et son problème de manière beaucoup plus approfondie que ML.

Bien sûr, dans certains cas, le BA et les statistiques se chevauchent, comme c'est le cas pour de nombreuses disciplines. La régression logistique est l'une de ces occasions; à l'origine une méthode statistique, qui ressemble tellement au Perceptron simple (l'une des techniques de ML les plus fondamentales), qu'elle est considérée par certains comme une méthode de ML.

L'apprentissage automatique est défini de façon assez vague et vous avez raison de penser que les modèles de régression - et pas seulement ceux de régression logistique - "apprennent" également des données. Je ne sais pas vraiment si cela signifie que l'apprentissage automatique est vraiment des statistiques ou que les statistiques sont vraiment un apprentissage automatique - ou si tout cela est important.

$k$

Cela dit, certains algorithmes apprennent des erreurs de prédiction - cela est particulièrement courant dans l' apprentissage par renforcement , où un agent prend des mesures, observe ses résultats, puis utilise les résultats pour planifier les actions futures. Par exemple, un aspirateur robotique peut commencer avec un modèle du monde où il nettoie tous les emplacements de la même manière, puis apprendre à aspirer les endroits sales (où il est "récompensé" en trouvant de la saleté) plus et nettoyer les endroits moins.

Les algorithmes en ligne ou incrémentiels peuvent être mis à jour à plusieurs reprises avec de nouvelles données d'entraînement. Cela ne dépend pas nécessairement de la précision de prédiction du modèle, mais je pourrais imaginer un algorithme où les poids sont mis à jour de manière plus agressive si, par exemple, les nouvelles données semblent très improbables compte tenu du modèle actuel. Il existe des versions en ligne pour la régression logistique: par exemple, McMahan et Streeeter (2012) .

Je l'ai finalement compris. Je connais maintenant la différence entre l'ajustement d'un modèle statistique et l'apprentissage automatique.

• Si vous ajustez un modèle (régression), c'est l'ajustement de modèle statistique
• Si vous apprenez un modèle (régression), c'est l'apprentissage automatique

Donc, si vous apprenez une régression logistique, c'est un algorithme d'apprentissage automatique.

Commentaire: Pardonnez-moi d'être un vieux geezer, mais chaque fois que j'entends des gens parler d'apprendre un modèle ou d'apprendre une régression, cela me fait penser à Jethro "J'ai fini par m'apprendre une éducation".

FIN DE FIL

La régression logistique (et plus généralement GLM) n'appartient PAS au Machine Learning! Ces méthodes appartiennent plutôt à la modélisation paramétrique .

Les modèles paramétriques et algorithmiques (ML) utilisent les données, mais de différentes manières. Les modèles algorithmiques apprennent des données comment les prédicteurs sont mappés au prédictant, mais ils ne font aucune hypothèse sur le processus qui a généré les observations (ni aucune autre hypothèse, en fait). Ils considèrent que les relations sous-jacentes entre les variables d'entrée et de sortie sont complexes et inconnues, et adoptent donc une approche basée sur les données pour comprendre ce qui se passe, plutôt que d'imposer une équation formelle.

D'un autre côté, les modèles paramétriques sont prescrits a priori sur la base d'une certaine connaissance du processus étudié, utilisent les données pour estimer leurs paramètres et font beaucoup d'hypothèses irréalistes qui tiennent rarement en pratique (telles que l'indépendance, la variance égale et Distribution normale des erreurs).

De plus, les modèles paramétriques (comme la régression logistique) sont des modèles globaux . Ils ne peuvent pas capturer les modèles locaux dans les données (contrairement aux méthodes ML qui utilisent des arbres comme modèles de base, par exemple RF ou Boosted Trees). Voir cet article page 5. En tant que stratégie de correction, un GLM local (c'est-à-dire non paramétrique) peut être utilisé (voir par exemple le package locfit R).

Souvent, lorsque peu de connaissances sur le phénomène sous-jacent sont disponibles, il est préférable d'adopter une approche basée sur les données et d'utiliser la modélisation algorithmique. Par exemple, si vous utilisez la régression logistique dans un cas où l'interaction entre les variables d'entrée et de sortie n'est pas linéaire, votre modèle sera clairement inadéquat et beaucoup de signaux ne seront pas capturés. Cependant, lorsque le processus est bien compris, les modèles paramétriques ont l'avantage de fournir une équation formelle pour tout résumer, ce qui est puissant d'un point de vue théorique.

Pour une discussion plus détaillée, lisez ceci excellent article de Leo Breiman.

Je pense que les autres réponses font un bon travail pour identifier plus ou moins ce qu'est le Machine Learning (comme elles l'indiquent, cela peut être flou). J'ajouterai que la régression logistique (et sa version multinomiale plus générale) est très couramment utilisée comme moyen d'effectuer une classification dans les réseaux de neurones artificiels (qui, je pense, sont couverts sans ambiguïté par la définition sensible de l'apprentissage automatique que vous choisissez), et donc si vous mentionnez Régression logistique à une personne en réseau neuronal, ils sont susceptibles d'y penser immédiatement dans ce contexte. Être lié à un gros frappeur en apprentissage automatique est un bon moyen de devenir vous-même une technique d'apprentissage automatique, et je pense que c'est dans une certaine mesure ce qui s'est passé avec diverses techniques de régression, bien que je ne les exclure pas d'être de bonnes techniques d'apprentissage automatique. en soi.

Je pense que toute procédure "itérative" peut être considérée comme un cas d'apprentissage automatique. La régression peut être considérée comme un apprentissage automatique. Nous pourrions le faire à la main, mais cela prendrait beaucoup de temps, si possible. Alors maintenant, nous avons ces programmes, ces machines, qui font les itérations pour nous. Il se rapproche de plus en plus d'une solution, ou de la meilleure solution ou du meilleur ajustement. Ainsi, "l'apprentissage machine". Bien sûr, des choses comme les réseaux de neurones attirent la plupart de l'attention en ce qui concerne l'apprentissage automatique, nous associons donc généralement l'apprentissage automatique à ces procédures sexy. En outre, la différence entre l'apprentissage automatique "supervisé" et "non supervisé" est pertinente ici

C'est une erreur très courante que la plupart des gens font et je peux le voir ici aussi (fait par presque tout le monde). Permettez-moi de l'expliquer en détail ... Régression logistique et modèle de régression linéaire, les deux sont à la fois un modèle paramétrique et une technique d'apprentissage automatique. Cela dépend simplement de la méthode que vous utilisez pour estimer les paramètres du modèle (thêta). Il existe 2 façons de trouver des paramètres de modèle dans la régression linéaire et la régression logistique.

1. Technique de descente de gradient : Ici, nous commençons par attribuer des valeurs aléatoires aux paramètres et trouver la fonction de coût (erreur). À chaque itération, nous mettons à jour nos paramètres et minimisons la fonction de coût. Après un certain nombre d'itérations, la fonction de coût réduite aux valeurs souhaitées et les valeurs de paramètres correspondantes sont nos valeurs finales. C'est ce que les techniques d'apprentissage automatique sont censées faire. Donc, si vous utilisez la technique de descente de gradient, la régression logistique peut appeler une technique d'apprentissage automatique.

2. En utilisant la méthode des moindres carrés: Ici, nous avons une formule directe pour trouver nos paramètres (une certaine algèbre matricielle est nécessaire pour comprendre la dérivation de cette formule) qui est connue comme une équation normale.

Ici b représente les paramètres X est la matrice de conception. Les deux méthodes ont leurs propres avantages et limites. Pour obtenir plus de détails: suivez le cours Coursera Machine Learning toujours en cours.

J'espère que ce message pourrait être utile .. :-)