Un réseau de neurones peut-il calculer

Dans l'esprit de la célèbre blague Tensorflow Fizz Buzz et problème XOr, j'ai commencé à penser, s'il était possible de concevoir un réseau de neurones qui implémente la fonction $y = x^2$ ?

Étant donné une certaine représentation d'un nombre (par exemple, comme un vecteur sous forme binaire, de sorte que ce nombre 5est représenté par [1,0,1,0,0,0,0,...]), le réseau neuronal devrait apprendre à retourner son carré - 25 dans ce cas.

Si je pouvais implémenter $y=x^2$ , je pourrais probablement implémenter $y=x^3$ et généralement n'importe quel polynôme de x, puis avec la série Taylor je pourrais approximer $y=\sin(x)$ , ce qui résoudrait le problème Fizz Buzz - un réseau de neurones qui peut trouver le reste de la division.

De toute évidence, seule la partie linéaire des NN ne pourra pas effectuer cette tâche, donc si nous pouvions faire la multiplication, cela se produirait grâce à la fonction d'activation.

Pouvez-vous suggérer des idées ou lire sur le sujet?

Les réseaux de neurones sont également appelés l'approximation de la fonction universelle qui est basée sur le théorème d'approximation de la fonction universelle . Il déclare que:

Dans la théorie mathématique des réseaux de neurones artificiels, le théorème d'approximation universelle stipule qu'un réseau à action directe avec une seule couche cachée contenant un nombre fini de neurones peut approximer les fonctions continues sur des sous-ensembles compacts de Rn, sous des hypothèses douces sur la fonction d'activation

Cela signifie qu'un ANN avec une fonction d'activation non linéaire pourrait mapper la fonction qui relie l'entrée à la sortie. La fonction $y = x^2$ pourrait être facilement approximée en utilisant la régression ANN.

Vous pouvez trouver une excellente leçon ici avec un exemple de cahier.

De plus, en raison de cette capacité, ANN pourrait cartographier des relations complexes, par exemple entre une image et ses étiquettes.

$f(x)=x^2$$\mathbb{R}^n$

$\mathbb{R}^n$$\mathbb{R}^n$$x$$f(x)=x^2$$\mathbb{R}$$f(x)=x^2$$x\in \mathbb{R}$

$\sin(x)$$x=0$$x\to 10000$