Les réseaux de neurones d'apprentissage en profondeur fonctionneront-ils sur des ordinateurs quantiques?


15

Le Deep Learning (plusieurs couches de réseaux de neurones artificiels utilisés dans les tâches d'apprentissage automatique supervisées et non supervisées) est un outil incroyablement puissant pour bon nombre des tâches d'apprentissage automatique les plus difficiles: reconnaissance d'image, reconnaissance vidéo, reconnaissance vocale, etc. Étant donné qu'il s'agit actuellement d'un des algorithmes d'apprentissage automatique les plus puissants, et l'informatique quantique est généralement considérée comme un changeur de jeu pour certaines tâches de calcul très difficiles, je me demande s'il y a eu un mouvement sur la combinaison des deux.

  • Un algorithme d'apprentissage en profondeur pourrait-il fonctionner sur un ordinateur quantique?
  • Est-il sensé d'essayer?
  • Existe-t-il d'autres algorithmes quantiques qui rendraient l'apprentissage en profondeur non pertinent?

1
Je ne suis pas un expert, mais j'imagine que l'algorithme HHL serait utile dans ce contexte.
DaftWullie

Réponses:


8
  1. heure d'origine

  2. Car il y a des gains de calcul clairs dans certains processus: oui.

  3. Pas que je sache de. Mais quelqu'un avec plus d'expertise peut sonner ici s'il le souhaite. Une seule chose qui me vient à l'esprit: souvent, nous pouvons utiliser le Deep Learning et d'autres formes d'intelligence artificielle pour étudier les problèmes de chimie et de physique car la simulation est coûteuse ou peu pratique. Dans ce domaine, les ordinateurs quantiques tueront probablement leurs ancêtres classiques étant donné leur capacité à simuler nativement des systèmes quantiques (comme ceux de la chimie nucléaire) en temps réel ou plus efficacement.

La dernière fois que je lui ai parlé, Mario Szegedy s'intéressait précisément à cela, il y a probablement beaucoup d'autres chercheurs qui y travaillent actuellement.


6
Je ne suis pas convaincu que l'algorithme de Grover soit pertinent ici. L'algorithme de Grover trouve la seule entrée unique qui produit exactement une sortie donnée. OTOH, les réseaux de neurones sont par nature très uniques, et ils ne sont pas vraiment exacts non plus - au mieux asymptiquement précis.
leftaroundabout

Il peut être traité comme un problème de recherche de base de données en regardant une super position de tous les états dans lesquels les poids peuvent être. Laissez la fonction de recherche retourner 1, si la norme de la dérivée du réseau neuronal sur une entrée standard par rapport aux poids est moins que la tolérance souhaitée.
frogeyedpeas

1
Ce serait complètement inutile. Pour tout problème non trivial, il y aura de nombreuses combinaisons de poids pour lesquelles le gradient est nul; même si l'algorithme de Grover vous en donnait un, ce ne serait généralement pas un minimum, encore moins un minimum global.
leftaroundabout

Je ne suis pas d'accord, compte tenu du protocole suivant: descente du gradient de vanille jusqu'à un certain seuil, puis appliquez la recherche de Grover parmi un espace de poids très restreint pour ramasser un minimum dur dans une limite d'erreur, cette partie finale est l'endroit où la descente du gradient converge généralement très lentement à l'optimum local, et je deviens curieux si c'est là que le recours à Grover Search pourrait être intéressant
frogeyedpeas

1
Hm, ça pourrait marcher; mais à cette fin, je suis sûr que vous pourriez aussi faire beaucoup mieux que la descente en pente avec des moyens classiques. Le gradient biconjugué étant le candidat évident.
autour du

13

C'est vraiment une question ouverte, mais oui, il y a beaucoup de travail qui est fait sur ce front.

Quelques clarifications

Il convient tout d'abord de noter qu'il existe deux façons majeures de fusionner le machine learning (et le deep learning en particulier) avec la mécanique quantique / l'informatique quantique:

Appliquer des techniques classiques d'apprentissage automatique pour résoudre les problèmes qui se posent dans le contexte de la mécanique quantique / informations quantiques / calcul quantique . Ce domaine se développe trop rapidement pour que je puisse même essayer une liste de références décente, donc je vais simplement faire un lien vers quelques-uns des travaux les plus récents dans ce sens: en 1803.04114, les auteurs ont utilisé une approche d'apprentissage automatique pour trouver des circuits pour calculer le chevauchement entre deux états (il existe un certain nombre d'autres travaux dans cette même direction), et en 1803.05193, les auteurs ont étudié comment les réseaux neuronaux profonds peuvent être utilisés pour trouver des schémas de correction de contrôle quantique.

Etude d'algorithmes quantiques pour analyser le big data , ce qui revient souvent à rechercher des " généralisations quantiques " d'algorithmes classiques de machine learning. Vous pouvez jeter un œil à cette autre réponse pour obtenir des références de base sur ce sujet. Plus spécifiquement pour le cas de l'apprentissage profond , en 1412.3489 (bien nommé Quantum Deep Learning ), les auteurs proposent une méthode (en fait, un algorithme quantique) pour accélérer généralement la formation des machines Boltzmann profondes et restreintes . Une autre référence pertinente ici est 1712.05304 , dans laquelle les auteurs développent un algorithme quantique de faible profondeur pour former des machines Boltzmann quantiques. Voir 1708.09757, ainsi que les références dans la réponse liée, pour trouver de nombreux autres travaux à ce sujet. Notez que l'accélération qui est revendiquée dans ces travaux peut varier énormément, des accélérations exponentielles aux polynômes.

Parfois, l'accélération vient de l'utilisation d'algorithmes quantiques pour résoudre des problèmes algébriques linéaires particuliers (voir par exemple le tableau 1 dans ( 1707.08561 ), parfois cela vient de ce qui revient essentiellement à utiliser (des variations de) la recherche de Grover, et parfois d'autres choses (mais surtout ces deux). Citant Dunjko et Briegel ici :

Les idées d'améliorations quantiques pour le ML peuvent être grossièrement classées en deux groupes: a) les approches qui s'appuient sur la recherche et l'amplification d'amplitude de Grover pour obtenir des accélérations jusqu'à quadratiques, et, b) les approches qui codent les informations pertinentes en amplitudes quantiques , et qui ont un potentiel d’améliorations même exponentielles. Le deuxième groupe d'approches constitue peut-être la ligne de recherche la plus développée en ML quantique, et recueille une pléthore d'outils quantiques - notamment l'algèbre linéaire quantique, utilisée dans les propositions de ML quantique.

Réponse plus directe aux trois questions

Cela dit, permettez-moi de répondre plus directement aux trois points que vous avez soulevés:

  1. Un algorithme d'apprentissage en profondeur pourrait-il fonctionner sur un ordinateur quantique? Oui, très certainement: si vous pouvez exécuter quelque chose sur un ordinateur classique, vous pouvez le faire sur des ordinateurs quantiques. Cependant, la question à se poser est plutôt de savoir si un algorithme d'apprentissage machine quantique (profond) peut être plus efficace que ses homologues classiques ? La réponse à cette question est plus délicate. Oui , il y a peut-être de nombreuses propositions dans ce sens, mais il est trop tôt pour dire ce qui fonctionnera ou ne fonctionnera pas.

  2. Est-il judicieux d'essayer? Oui!

  3. Existe-t-il d'autres algorithmes quantiques qui rendraient l'apprentissage en profondeur non pertinent? Cela dépend fortement de ce que vous entendez par « non pertinent ». Je veux dire, pour ce qui est connu en ce moment, il peut très bien y avoir des algorithmes classiques qui rendront l'apprentissage en profondeur «hors de propos».

3
Dans le contexte de cette réponse, je voudrais mentionner cet article récent qui montre comment l'algorithme d'optimisation approximative quantique peut être utilisé pour former des réseaux de neurones (machines Boltzmann restreintes) en utilisant l'échantillonnage de Gibbs approximatif sur des ordinateurs quantiques universels.
Mark Fingerhuth

1
@MarkFingerhuth Je l'ai ajouté à la réponse, merci pour le pointeur (et bienvenue sur le site!)
glS

2

Voici un dernier développement de Xanadu, un circuit quantique photonique qui imite un réseau neuronal. Ceci est un exemple de réseau neuronal fonctionnant sur un ordinateur quantique.

Ce circuit photonique contient des interféromètres et des portes de compression qui imitent les fonctions de pesée d'un NN, une porte de déplacement agissant comme polarisation et une transformation non linéaire similaire à la fonction ReLU d'un NN.

Ils ont également utilisé ce circuit pour entraîner le réseau à générer des états quantiques et à mettre en œuvre des portes quantiques.

Voici leur publication et code utilisé pour former le circuit . Voici un article moyen expliquant leur circuit.


2

Toutes les réponses ici semblent ignorer une limitation pratique fondamentale:

Le Deep Learning fonctionne particulièrement bien avec le Big Data. MNIST est de 60000 images, ImageNet est de 14 millions d'images.

Pendant ce temps, les plus grands ordinateurs quantiques ont actuellement 50 ~ 72 Qbits.

Même dans les scénarios les plus optimistes, les ordinateurs quantiques capables de gérer les volumes de données qui nécessiteraient des algorithmes de Deep Learning à la place des méthodes de modélisation plus traditionnelles ne seront pas disponibles de sitôt.

Donc, appliquer le QC au Deep Learning pourrait être une belle curiosité théorique, mais pas quelque chose qui va bientôt être pratique.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.