Existe-t-il des réseaux de neurones avec très peu de nœuds qui résolvent décemment des problèmes non triviaux?

Je suis intéressé à savoir s'il existe un réseau de neurones, qui résout (avec> = 80% de précision) tout problème non trivial, qui utilise très peu de nœuds (où 20 nœuds n'est pas une limite stricte). Je veux développer une intuition sur les tailles des réseaux de neurones.

neural-networks

— Guillermo Mosse
source

Théorème d'approximation universel: un réseau de neurones avec une couche cachée peut approximer n'importe quelle fonction "raisonnable" étant donné un nombre suffisant de nœuds dans la couche cachée.

— nbro

Je pense qu'il ne sera pas facile de répondre à votre question. Qu'entendez-vous par «problème non trivial»?

— nbro

Je veux peu de nœuds même dans des couches cachées.

— Guillermo Mosse

@nbro mon sens de "non trivial" dans ce contexte est insoluble ou non résolu.

— DukeZhou

Même s'il est impossible de répondre correctement à cette question, comme non trivial n'est pas bien défini (peut-être que l'auteur éditera ces questions plus tard, pour mieux le préciser), je profite de l'occasion pour souligner cet article qui me semble intéressant

Le plus petit réseau neuronal pour apprendre la criticité Ising

En supposant que vous ayez une idée générale du modèle d'Ising, je pense que le problème de l'identification de la température critique d'un point de vue basé sur les données peut être considéré comme non trivial et l'article montre comment les auteurs ont amélioré les performances liées à la résolution de cette tâche avec le passage de NN de 100 neurones cachés, tels qu'exécutés dans cet article Phases d'apprentissage automatique de la matière de 2017, à seulement 2 neurones cachés

Juste mes cents:

la réduction des neurones, tout en conservant de bonnes performances, devrait aider en termes d' interprétabilité du traitement neuronal qui est notoirement obscure et sa complexité croît (exponentiellement) avec le nombre de neurones

— Nicola Bernini
source

Je voulais juste des exemples que la communauté elle-même trouvait intéressants. Je pense qu'il est en fait non trivial de définir la non trivialité. Droite?

— Guillermo Mosse

@GuillermoMosse Non, il est assez trivial de définir non trivial. La définition est plus ou moins arbitraire selon ce qui correspond le mieux à la situation. Je suis sûr qu'un NN très simple pourrait apprendre à dire si un nombre donné est ou non une racine carrée non triviale ...

— forêt