Plateformes de cloud computing pour l'apprentissage automatique [fermé]


36

J'ai une petite liste de sociétés qui fournissent une plate-forme pour l'exécution de scripts R, python ou octave sur des clusters construits au-dessus d'Amazon EC2. Y a-t-il d'autres noms que je devrais ajouter?

  1. Nuages ​​de nuages
  2. Opani
  3. crata


Vous pouvez trouver plus d'options dans cet article de blog: blog.uruit.com/getting-started-with-machine-learning-2
Regiane Folter

Réponses:


15

Je n'ai pas utilisé ces entreprises, mais ce ne sont que quelques-unes des options. Cependant, la configuration sur EC2 est très simple. Au moins après que vous ayez engourdi votre tête en la frappant contre le mur assez fort et assez souvent. Cela augmente également votre seuil de douleur. Les enfants de nos jours ont tellement plus facile. Quand j'ai commencé, nous faisions de l'informatique dans le brouillard: nous n'avions pas ce qu'il y avait de plus brumeux.

Réminiscences mises à part ... Il existe des outils et des ressources pour contourner ces fournisseurs et démarrer par vous-même. JD Long a, avecsegue , rendu plus facile l’utilisation de R sur EMR.

En ce qui concerne Python, boto est une suite qui permet à Python de fonctionner facilement sur EC2. Il est également assez facile de lancer Python sur AppEngine de Google si vous êtes prêt à envisager une alternative EC2. Si vous connaissez Python, vous n’avez vraiment pas besoin de faire appel à une entreprise pour effectuer le levage à votre place, à moins que vous ne connaissiez pas la mise à l’échelle, le sharding, l’équilibrage de charge, etc., même au niveau conceptuel. D'autre part, si vous envisagez de dépenser beaucoup d'argent pour de tels services, il est judicieux de vous familiariser avec la façon de rendre votre code efficace.

En ce qui concerne Octave sur le cloud, je n'ai aucune idée de ce qui existe autre que ces trois sociétés. Monkey Analytics l'utilisait auparavant, mais il semble qu'ils soient partis. Je recommanderais d'éviter Octave et de me concentrer sur Python ou R.

StarCluster est une ressource facilitant la configuration . Encore une fois, aucune expérience avec eux, mais cela peut être une voie utile.

En toute honnêteté, Ubuntu (ou Windows) et EC2 ne sont pas si difficiles à apprendre. Je ne recommanderais pas vraiment Windows pour R, car il n’ya pas beaucoup d’amour parmi les développeurs de R et Windows. (Remarque: pour autant que je sache, il n'existe pas de services cloud Mac OS X sérieux.) Une fois que vous disposez d'un poste de travail distant, vous êtes en activité. Apprendre à évoluer est la prochaine étape.


Mise à jour 1: Les autres services de gestion en nuage, plus généraux, incluent RighstScale et Scalr.

Mise à jour 2: Je tiens à souligner qu’il est important d’apprendre à configurer vous-même vos instances et vos clusters dans le cloud. Parmi les avantages du travail pratique:

  • Apprenez à gérer une combinaison de ressources (plusieurs instances, plusieurs types d'instances, de nombreux disques durs, différentes zones de disponibilité ou régions, divers outils de surveillance, etc.).
  • Bricoler avec des GPU si vous le souhaitez (consultez gputools)
  • Vous pouvez plus facilement mettre à jour ou annuler votre sélection de paquets
  • Vous pourrez peut-être réduire considérablement vos coûts en utilisant des instances ponctuelles ou réservées.
  • Vous pouvez essayer différentes interfaces utilisateur graphique ou IDE R, ce qui peut ne pas être une option pour les fournisseurs de cloud.

L'utilisation d'un fournisseur géré présente des avantages, tels qu'une courbe d'apprentissage plus courte, éventuellement une meilleure prise en charge du partage de ressources entre plusieurs groupes, et peut-être de beaux gadgets, mais je ne peux pas en parler, car j'ai commencé à utiliser EC2 auparavant. est venu au marché.


5

Il y a aussi PiCloud pour exécuter du code Python en parallèle sur EC2.

De leur page produit :

PiCloud est une plateforme d'informatique en nuage qui s'intègre au langage de programmation Python. Il vous permet d'exploiter la puissance de calcul d'Amazon Web Services sans avoir à gérer, maintenir ou configurer des serveurs virtuels.

PiCloud s'intègre de manière transparente à votre base de code existante via une bibliothèque Python personnalisée, le cloud. Pour décharger l'exécution d'une fonction sur nos serveurs, il vous suffit de transmettre la fonction souhaitée à la bibliothèque de cloud. PiCloud exécutera la fonction sur son cluster hautes performances. Au fur et à mesure que vous exécutez plus de fonctions, notre cluster se met à l'échelle automatiquement pour répondre à vos besoins en calcul. Obtenir sur le cloud n'a jamais été aussi facile!


J'aime beaucoup PiCloud - je les ai trouvé remarquablement faciles à utiliser.
Fomite

3

Avez-vous déjà essayé CloudStat ? Différent des autres nuages, CloudStat est destiné uniquement aux utilisateurs du langage R. Il n'y a plus de configuration. vous pouvez simplement vous connecter et utiliser gratuitement jusqu'à 7,5 Go de RAM.

Cependant, avec un compte gratuit, votre analyse sera vue et utilisée par le public. L'option est de payer 5 $ par mois pour rendre votre analyse privée.


En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.