Existe-t-il des services cloud gratuits pour former des modèles d'apprentissage automatique?


27

Je veux former un modèle profond avec une grande quantité de données d'entraînement, mais mon ordinateur de bureau n'a pas le pouvoir de former un modèle aussi profond avec ces données abondantes.

J'aimerais savoir s'il existe des services cloud gratuits qui peuvent être utilisés pour former des modèles d'apprentissage automatique et d'apprentissage en profondeur?

Je voudrais également savoir s'il existe un service cloud, où je pourrais suivre les résultats de la formation, et la formation se poursuivrait même si je ne suis pas connecté au cloud.

Réponses:


19

Il n'y a pas de services gratuits illimités *, mais certains ont un crédit de départ ou des offres gratuites lors de l'inscription initiale. Voici quelques suggestions à ce jour:

  • AWS: s'il s'agit spécifiquement de l'apprentissage en profondeur sur un grand ensemble de données, alors probablement AWS est sorti - leur offre gratuite ne couvre pas les machines avec une puissance de traitement suffisante pour s'attaquer aux projets d'apprentissage en profondeur.

  • Google Cloud pourrait le faire, l'offre de crédit de départ est assez bonne pour faire un peu d'apprentissage en profondeur (pendant peut-être quelques semaines), bien qu'ils aient des restrictions d'inscription et fiscales.

  • Azure propose un niveau gratuit avec des options de traitement et de stockage limitées.

La plupart des offres gratuites semblent suivre le modèle "Freemium" - vous offrent un service limité que vous pouvez apprendre à utiliser et peut-être aimer. Cependant, pas assez pour une utilisation intensive (par exemple pour la formation d'un logiciel de reconnaissance d'image ou d'un modèle PNL à partir de zéro), sauf si vous êtes prêt à payer.

Ce meilleur conseil est de faire le tour pour une meilleure offre de départ et le meilleur prix. Un examen des services ne convient pas ici, car il sera rapidement obsolète et ne sera pas une bonne utilisation de Stack Exchange. Mais vous pouvez trouver des questions similaires sur Quora et d'autres sites - votre meilleur pari est de faire une recherche sur le Web pour les "services de calcul en nuage pour l'apprentissage en profondeur" ou similaire et s'attendre à passer du temps à comparer les notes. Quelques services spécialisés d'apprentissage en profondeur ont fait leur apparition récemment, tels que Nimbix ou FloydHub , et il existe également de grands acteurs tels que Azure, AWS, Google Cloud.

Vous ne trouverez rien de complètement gratuit et sans encombre, et si vous voulez le faire régulièrement et avoir le temps de construire et d'entretenir le matériel, il est moins cher d'acheter votre propre équipement à long terme - au moins à un niveau personnel.

Pour décider de payer pour le cloud ou de construire le vôtre, alors envisagez un prix typique pour une machine cloud adaptée à la réalisation d'un apprentissage en profondeur à environ 1 $ par heure (les prix varient cependant beaucoup, et cela vaut la peine de magasiner, ne serait-ce que pour trouver une spécification qui correspond à votre problème). Il peut y avoir des frais supplémentaires pour le stockage et le transfert de données. Comparez cela à des machines d'apprentissage approfondi pré-construites coûtant à partir de 2000 $ , ou construisant la vôtre pour 1000 $ - ces machines ne sont peut-être pas 100% comparables, mais si vous travaillez par vous-même, le point de récupération va être après seulement quelques-unes mois d'utilisation. Bien que n'oubliez pas les coûts d'électricité - une machine puissante peut consommer 0,5 kW tout en étant fortement utilisée, cela représente donc plus que ce à quoi vous pourriez vous attendre.

Les avantages du cloud computing sont que quelqu'un d'autre fait le travail de maintenance et prend le risque de défaillance matérielle. Ce sont des services précieux, dont le prix est en conséquence.


* Mais voir la réponse de Jay Speidall au sujet du service colab de Google, qui semble être libre d'utiliser, mais peut avoir des limitations T&C qui peuvent vous affecter (par exemple, je doute qu'ils seront heureux que vous exécutiez la production de contenu de Deep Dream ou de Style Transfer dessus)


"Il n'y a pas de services gratuits" <- ce n'est pas vrai
Gaius

2
@Gaius J'ai ajouté une correction pour Colab - je peux voir votre réponse ajoute Azure (avec des limitations strictes). IMO, "1 heure par expérience" est très bien pour les bases d'auto-apprentissage de l'apprentissage en profondeur. Ce n'est pas très utile pour des recherches sérieuses. Impossible de l'utiliser pour la plupart des compétitions Kaggle. Je recommanderais toujours un service payant ou créez votre propre service ci-dessus en utilisant Azure gratuitement. Bien sûr, ce que Microsoft espère, c'est que vous vous entraînerez sur leur système, puis effectuerez une mise à niveau pour faire du vrai travail.
Neil Slater

Acclamations :-) Profitez du reste du jour férié!
Gaius

@Gaius: Merci! En fait, j'ai fait de cette réponse un wiki communautaire pour, espérons-le, l'empêcher d'aller plus loin.
Neil Slater du

2
@Media: Je peux garder le représentant jusqu'à maintenant. En faire un wiki communautaire permet à d'autres personnes de le mettre à jour avec plus d'informations - je m'attends à ajouter des services de grands noms et à peu près à quoi ressemble leur niveau de service gratuit. Des dizaines de réponses «mises à jour» avec les dernières modifications apportées à l'environnement d'apprentissage en profondeur SaaS / IaaS pourraient rendre la page difficile à lire.
Neil Slater

18

Je souhaite ajouter une ressource supplémentaire, Google Colaboratory . Il s'agit d'un bloc-notes iPython cloud gratuit et vous permet d'utiliser gratuitement un GPU. Je ne suis pas encore sûr des limites exactes, mais il semble que vous bénéficiez de 12 heures de temps GPU par instance et que vous pouvez le faire plusieurs fois par mois.

Cela ressemble à une excellente ressource pour les étudiants et autres non-professionnels, en particulier pour les petits travaux que vous pouvez exécuter en une demi-journée. Cela vous permet d'économiser jusqu'à 10 $ par session de formation, ce qui est à mon avis une ressource assez importante pour la recherche sur l'apprentissage automatique. J'espère sérieusement qu'il ne sera pas abusé.


3
Il semble que ce sera gratuit indéfiniment.
Jay Speidell

1
Les GPU NVIDIA Tesla T4 ont été récemment ajoutés ...
Benj

12
  • Découvrez Crestle . (Temps de calcul GPU d'une heure gratuit)

  • Colab de Google

  • Floyd-hub

  • Paperspace (pas gratuit mais il est facile d'utiliser des références et gagnez 15 $ de temps de calcul ..)

  • Azure (200 $)

  • deepcognition.ai (2 heures sur différentes machines compatibles GPU)

  • IBM Cloud

Pour une liste plus mise à jour, vous pouvez lancer ce dépôt github: GPU Cloud


11

Oui, avec des limitations. Google Cloud Compute vous donne 300 dollars de signature de crédit gratuite, et Microsoft Azure vous donne 200 dollars (mais leur temps GPU est un peu moins cher, donc c'est presque la même chose).

Cela vous fait gagner beaucoup de temps sur le GPU et vous permet de démarrer pendant que vous pesez vos options.


1
Il y a eu quelques suggestions de modifications et de la confusion à ce sujet. Google Cloud propose en fait des instances GPU et même TPU et votre crédit y est éligible. Je l'utilise en fait lorsque nous parlons d'héberger des portables Jupyter soutenus par GPU.
Jay Speidell

le téléchargement a-t-il une limitation pour les heures gratuites? savez-vous qu'il est plus fort que leur système Colab? Et enfin, savez-vous combien d'heures c'est gratuit?
Média

Pour les essais "Crédit gratuit" offerts par divers services, vous bénéficiez d'un accès complet à tous les services sans restriction. Le crédit est simplement appliqué à votre facture. Colab est limité à 12 Go de RAM, donc configurer Jupyter sur une instance Compute Engine vous offrirait beaucoup plus d'options de ressources.
Jay Speidell

1

Azure Machine Learning Studio de Microsoft dispose d'un niveau "toujours gratuit", soumis à certaines limitations , notamment

  • 100 modules par expérience (un «module» dans Azure-speak est une opération discrète telle que «charger des données» ou «modèle de train», vous pouvez donc en faire beaucoup avec 100 d'entre eux)
  • 10 Go de stockage
  • 1 heure par expérience
  • Aucune exécution parallèle sur plusieurs nœuds

La formation se poursuivra pendant que vous n'êtes pas connecté, pour répondre à votre deuxième question. Vous pouvez configurer vos expériences via l'interface Web ou sur la ligne de commande .


1

Le corps de la question pose des questions sur l'apprentissage en profondeur, mais c'est la première question qui se pose lorsque le "service en ligne gratuit pour l'apprentissage automatique" est recherché.

Je voulais ajouter qu'il existe également d'autres services ML en ligne gratuits.

Je suis le fondateur d'un de ces services avec un niveau gratuit ( fml.ai ) qui fonctionne sur AWS / Google Cloud. Notre interface utilisateur est conçue pour être intuitive, explicite et utiliser une technologie interne et open source organisée. Bien sûr, il existe des limites au niveau gratuit et actuellement, seuls les ensembles de données jusqu'à 100 Mo sont autorisés. Pourtant, les utilisateurs peuvent créer des modèles et visualiser les résultats gratuitement.

Je crois qu'il y en a d'autres aussi ...


0

Il semble que les Intelutilisateurs puissent utiliser son IA DevCloudgratuitement pendant trente jours, je suppose. Voici les instructions.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.