Qu'est-ce qui rend les réseaux de neurones si bons pour les prévisions?

Je suis nouveau sur le réseau neuronal et j'essaie de comprendre mathématiquement ce qui rend les réseaux neuronaux si bons pour les problèmes de classification.

En prenant l'exemple d'un petit réseau de neurones (par exemple, un avec 2 entrées, 2 nœuds dans une couche cachée et 2 nœuds pour la sortie), tout ce que vous avez est une fonction complexe à la sortie qui est principalement sigmoïde sur une combinaison linéaire du sigmoïde.

Alors, comment cela les rend-ils bons en prévision? La fonction finale conduit-elle à une sorte d'ajustement de courbe?

Les réseaux de neurones sont bons pour la classification. Dans certaines situations, cela revient à la prédiction, mais pas nécessairement.

La raison mathématique des prouesses des réseaux de neurones à classer est le théorème d'approximation universelle . Ce qui indique qu'un réseau de neurones peut approximer toute fonction continue à valeur réelle sur un sous-ensemble compact. La qualité de l'approximation dépend du nombre de neurones. Il a également été démontré que l'ajout des neurones dans des couches supplémentaires au lieu de les ajouter aux couches existantes améliore la qualité de l'approximation plus rapidement.

Ajoutez à cela l'efficacité mal comprise de l' algorithme de rétropropagation et vous avez une configuration, puis pouvez réellement apprendre la fonction promise par l'UAT ou quelque chose de proche.

Dans les réseaux neuronaux, nous considérons tout en haute dimension et essayons de trouver un hyperplan qui les classe par petits changements ...

Il est probablement difficile de prouver que cela fonctionne, mais l'intuition dit que si elle peut être classée, vous pouvez le faire en ajoutant un plan détendu et en le laissant se déplacer parmi les données pour trouver un optimum local ...

Avec Neural Networks, vous classez simplement les données. Si vous classez correctement, vous pouvez donc faire de futures classifications.

Comment ça fonctionne?

Les réseaux neuronaux simples comme Perceptron peuvent tracer une frontière de décision afin de classer les données.

Par exemple, supposons que vous vouliez résoudre un problème ET simple avec un réseau neuronal simple. Vous avez 4 échantillons de données contenant x1 et x2 et un vecteur de poids contenant w1 et w2. Supposons que le vecteur de poids initial soit [0 0]. Si vous avez fait un calcul qui dépend de l'algorithme NN. À la fin, vous devriez avoir un vecteur de poids [1 1] ou quelque chose comme ça.

Veuillez vous concentrer sur le graphique.

Il dit: je peux classer les valeurs d'entrée en deux classes (0 et 1). D'accord. Alors comment faire ça? C'est trop simple. Première somme des valeurs d'entrée (x1 et x2).

0 + 0 = 0

0 + 1 = 1

1 + 0 = 1

1 + 1 = 2

Ça dit:

si somme <1,5 alors sa classe est 0

si somme> 1,5 alors sa classe est 1

Les réseaux de neurones excellent dans une variété de tâches, mais pour comprendre exactement pourquoi, il peut être plus facile de prendre une tâche particulière comme la classification et de plonger plus profondément.

En termes simples, les techniques d'apprentissage automatique apprennent une fonction pour prédire à quelle classe une entrée particulière appartient, en fonction des exemples passés. Ce qui distingue les réseaux neuronaux, c'est leur capacité à construire ces fonctions qui peuvent expliquer des schémas même complexes dans les données. Le cœur d'un réseau neuronal est une fonction d'activation comme Relu, qui lui permet de tracer des limites de classification de base comme:

En composant des centaines de ces Relus ensemble, les réseaux de neurones peuvent créer des limites de classification arbitrairement complexes, par exemple:

Dans cet article, j'essaie d'expliquer l'intuition derrière ce qui fait fonctionner les réseaux de neurones: https://medium.com/machine-intelligence-report/how-do-neural-networks-work-57d1ab5337ce