Ne peut-on pas dire maintenant que les modèles d'apprentissage profond sont interprétables? Les nœuds sont-ils des fonctionnalités?

Pour les modèles statistiques et d'apprentissage automatique, il existe plusieurs niveaux d'interprétabilité: 1) l'algorithme dans son ensemble, 2) des parties de l'algorithme en général 3) des parties de l'algorithme sur des entrées particulières, et ces trois niveaux divisés en deux parties chacun, un pour la formation et un pour la fonction eval. Les deux dernières parties sont beaucoup plus proches que la première. Je pose des questions sur le n ° 2, ce qui conduit généralement à une meilleure compréhension du n ° 3). (si ce n'est pas ce que signifie «interprétabilité», alors à quoi devrais-je penser?)

En ce qui concerne l'interprétabilité, la régression logistique est l'une des plus faciles à interpréter. Pourquoi cette instance a-t-elle dépassé le seuil? Parce que cet exemple avait cette caractéristique positive particulière et qu'il avait un coefficient plus élevé dans le modèle. C'est tellement évident!

Un réseau de neurones est l'exemple classique d'un modèle difficile à interpréter. Que signifient tous ces coefficients ? Ils s'additionnent tous de façon si compliquée et folle qu'il est difficile de dire ce que fait réellement un coefficient particulier.

Mais avec tous les réseaux neuronaux profonds qui sortent, on a l'impression que les choses deviennent plus claires. Les modèles DL (par exemple, la vision) semblent capturer des choses comme les bords ou l'orientation dans les premières couches, et dans les couches ultérieures, il semble que certains nœuds soient en fait sémantiques (comme la proverbiale `` cellule de grand-mère '' ). Par exemple:

( extrait de «Learning About Deep Learning» )

Il s'agit d'un graphique ( parmi tant d'autres ) créé à la main pour la présentation, je suis donc très sceptique. Mais c'est la preuve que quelqu'un pense que c'est ainsi que cela fonctionne.

Peut-être que dans le passé, il n'y avait tout simplement pas assez de couches pour que nous trouvions des fonctionnalités reconnaissables; les modèles ont été couronnés de succès, mais pas faciles à analyser en particulier après coup.

Mais peut-être que le graphique n'est qu'un vœu pieux. Peut-être que les NN sont vraiment insondables.

Mais les nombreux graphiques avec leurs nœuds étiquetés avec des images sont également vraiment convaincants.

Les nœuds DL correspondent-ils vraiment à des fonctionnalités?

L'interprétation des modèles profonds reste difficile.

1. Votre message ne mentionne que les CNN pour les applications de vision par ordinateur, mais les réseaux de rétroaction (profonds ou peu profonds) et les réseaux récurrents restent difficiles à comprendre.

2. Même dans le cas des CNN qui ont des structures de "détecteur de caractéristiques" évidentes, telles que les bords et l'orientation des patchs de pixels, il n'est pas tout à fait évident comment ces caractéristiques de niveau inférieur sont agrégées vers le haut, ou ce qui se passe précisément lorsque ces caractéristiques de vision sont agrégés dans une couche entièrement connectée.

3. Des exemples contradictoires montrent à quel point l'interprétation du réseau est difficile. Un exemple contradictoire a subi de minuscules modifications, mais a entraîné un changement radical dans la décision prise par le modèle. Dans le contexte de la classification des images, une infime quantité de bruit ajoutée à une image peut changer l'image d'un lézard pour avoir une classification très sûre en tant qu'autre animal, comme un (espèce de) chien.

Cela est lié à l'interprétabilité dans le sens où il existe une relation forte et imprévisible entre la (petite) quantité de bruit et le (grand) changement dans la décision de classification. En pensant au fonctionnement de ces réseaux, cela a du sens: les calculs des couches précédentes sont propagés vers l'avant, de sorte qu'un certain nombre d'erreurs - petites erreurs sans importance pour l'homme - sont agrandies et s'accumulent à mesure que de plus en plus de calculs sont effectués à l'aide de la entrées "corrompues".

D'un autre côté, l'existence d'exemples contradictoires montre que l'interprétation de n'importe quel nœud en tant que caractéristique ou classe particulière est difficile, car le fait que le nœud est activé peut avoir peu à voir avec le contenu réel de l'image d'origine, et que cette relation n'est pas vraiment prévisible en termes d'image d'origine. Mais dans les images d'exemple ci-dessous, aucun humain n'est trompé sur le contenu des images: vous ne confondriez pas le mât de drapeau pour un chien. Comment pouvons-nous interpréter ces décisions, soit globalement (un petit motif de bruit "transmute" un lézard en chien, ou un mât de drapeau en chien) ou en plus petits morceaux (que plusieurs détecteurs de caractéristiques sont plus sensibles au motif de bruit que l'image réelle contenu)?

HAAM est une nouvelle méthode prometteuse pour générer des images contradictoires en utilisant des fonctions harmoniques. ("Méthode d'attaque contradictoire harmonique" Wen Heng, Shuchang Zhou, Tingting Jiang.) Les images générées à l'aide de cette méthode peuvent être utilisées pour émuler des effets d'éclairage / d'ombre et sont généralement encore plus difficiles à détecter pour les humains comme ayant été altérées.

À titre d'exemple, voir cette image, tirée de " Perturbations adverses universelles ", par Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi et Pascal Frossard. J'ai choisi cette image simplement parce que c'était l'une des premières images contradictoires que j'ai rencontrées. Cette image établit qu'un modèle de bruit particulier a un effet étrange sur la décision de classification d'image, en particulier que vous pouvez apporter une petite modification à une image d'entrée et faire croire au classificateur que le résultat est un chien. Notez que l'image originale sous-jacente est toujours évidente: dans tous les cas, un humain ne serait pas confondu en pensant que les images non-chiens sont des chiens.

Voici un deuxième exemple tiré d'un article plus canonique, " EXPLIQUER ET EXPLIQUER DES EXEMPLES ADVERSAIRES " de Ian J. Goodfellow, Jonathon Shlens et Christian Szegedy. Le bruit ajouté est totalement indiscernable dans l'image résultante, mais le résultat est très certainement classé comme le mauvais résultat, un gibbon au lieu d'un panda. Dans ce cas, au moins, il y a au moins une similitude passagère entre les deux classes, car les gibbons et les pandas sont au moins quelque peu biologiquement et esthétiquement similaires au sens le plus large.

Ce troisième exemple est tiré de " Détection d'exemples contradictoires généralisables fondés sur une discordance de décision bimodèle " par João Monteiro, Zahid Akhtar et Tiago H. Falk. Il établit que le modèle de bruit peut être impossible à distinguer pour un humain tout en confondant le classificateur.

Pour référence, un chiot de boue est un animal de couleur foncée avec quatre membres et une queue, il n'a donc pas vraiment de ressemblance avec un poisson rouge.

4. Je viens de trouver ce document aujourd'hui. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus. " Propriétés intrigantes des réseaux de neurones ". Le résumé comprend cette citation intrigante:

Premièrement, nous constatons qu'il n'y a pas de distinction entre les unités individuelles de haut niveau et les combinaisons linéaires aléatoires d'unités de haut niveau, selon diverses méthodes d'analyse des unités. Cela suggère que c'est l'espace, plutôt que les unités individuelles, qui contient les informations sémantiques dans les hautes couches des réseaux de neurones.

Ainsi, plutôt que d'avoir des «détecteurs d'entités» aux niveaux supérieurs, les nœuds représentent simplement des coordonnées dans un espace d'entités que le réseau utilise pour modéliser les données.

Les calques ne sont pas mappés successivement sur des fonctionnalités plus abstraites aussi clairement que nous le souhaiterions. Une bonne façon de voir cela est de comparer deux architectures très populaires.

VGG16 se compose de nombreuses couches convolutives empilées les unes sur les autres avec la couche de mise en commun occasionnelle - une architecture très traditionnelle.

Depuis lors, les gens sont passés à la conception d'architectures résiduelles, où chaque couche est connectée non seulement à la couche précédente, mais également à une (ou éventuellement plusieurs) couches plus bas dans le modèle. ResNet a été l'un des premiers à le faire et compte environ 100 couches, selon la variante que vous utilisez.

Alors que VGG16 et les réseaux similaires ont des couches qui agissent de manière plus ou moins interprétable - apprenant des fonctionnalités de plus en plus élevées, ResNets ne le fait pas. Au lieu de cela, les gens ont proposé de continuer à affiner les fonctionnalités pour les rendre plus précises ou qu'ils ne soient qu'un groupe de réseaux peu profonds déguisés , aucun des deux ne correspondant aux "vues traditionnelles" sur ce que les modèles profonds apprennent.

Alors que ResNet et les architectures similaires surpassent facilement VGG dans la classification d'images et la détection d'objets, il semble qu'il existe certaines applications pour lesquelles la simple hiérarchie ascendante des fonctionnalités de VGG est très importante. Voir ici pour une bonne discussion.

Donc, étant donné que les architectures plus modernes ne semblent plus entrer dans le tableau, je dirais que nous ne pouvons pas tout à fait dire que les CNN sont encore interprétables.

Le sujet de ma thèse de doctorat était de révéler les propriétés de la boîte noire des réseaux de neurones, en particulier les réseaux de neurones à action directe, avec une ou deux couches cachées.

Je vais relever le défi d'expliquer à tout le monde ce que signifient les termes de pondération et de biais, dans un réseau neuronal à rétroaction à une couche. Deux perspectives différentes seront abordées: une perspective paramétrique et une perspective probabiliste.

$x_{input}=\alpha \cdot x + \beta$$\alpha$$\beta$$x_{input} \in (0,1)$

• $0$$1$
• $v$$v$$7$

Une telle représentation de vos données d'entrée est nécessaire pour pouvoir interpréter la taille (valeur absolue) des poids dans la couche d'entrée.

Signification paramétrique:

• $0$
• le poids d'un nœud caché à un nœud de sortie indique que l'amplification pondérée des variables d'entrée qui sont en sens absolu les plus amplifiées par ce neurone caché, qu'elles favorisent ou amortissent le nœud de sortie particulier. Le signe du poids indique une promotion (positive) ou une inhibition (négative).
• $1$$3$$2$
• $\beta$

$1$$i$$l$$t$$s$$i$$l$$1$$\Delta_{j,k}=\mid w_{i,j} - w_{i,k}\mid$$i$$j$$k$

Les nœuds cachés les plus importants sont pour un nœud de sortie (parler en fréquences, sur l'ensemble d'apprentissage), quels «poids d'entrée multipliés par les fréquences d'entrée» sont les plus importants? Ensuite, nous nous intéressons à la signification des paramètres des réseaux de neurones à action directe.

Interprétation probabiliste:

$x_{input}$

Cas individuel - modèle

$x_{input}$$[1,0,0,0,0,0,0]$$[0,1,0,0,0,0,0]$, ou tout autre jour de la semaine), et les changements de résultat les plus probables, alors cette variable énumérée a une influence potentielle sur le résultat de la classification.

$x_{input}$$x_{input}$$E(x_{input} \mid {\bf x}_{-input})$${\bf x}_{-input}$$x_{input}$

Penchée profonde - et la signification des paramètres NN

Appliqués à la vision par ordinateur, les réseaux de neurones ont montré des progrès remarquables au cours de la dernière décennie. Les réseaux de neurones convolutifs introduits par LeCunn en 1989 se sont finalement avérés très performants en termes de reconnaissance d'image. Il a été rapporté qu'ils peuvent surpasser la plupart des autres approches de reconnaissance sur ordinateur.

Des propriétés émergentes intéressantes apparaissent lorsque des réseaux de neurones convolutifs sont formés à la reconnaissance d'objets. La première couche de nœuds cachés représente des détecteurs d'entités de bas niveau, similaires aux opérateurs de l'échelle de l'espace T. Lindeberg, Feature Detection with Automatic Scale Selection, 1998 . Ces opérateurs spatiaux détectent

• lignes,
• coins,
• Jonctions en T

et quelques autres fonctionnalités de base de l'image.

Encore plus intéressant est le fait que les neurones perceptifs dans le cerveau des mammifères se sont avérés ressembler à cette façon de travailler dans les premières étapes du traitement d'image (biologique). Ainsi, avec les CNN, la communauté scientifique se rapproche de ce qui rend la perception humaine si phénoménale. Il est donc très utile de poursuivre cette ligne de recherche.