Hadoop est un projet open source Apache qui fournit des logiciels pour une informatique distribuée fiable et évolutive. Le projet lui-même comprend une variété d'autres ajouts complémentaires.
Un scientifique de données en herbe ici. Je ne connais rien à Hadoop, mais comme je lisais des articles sur Data Science et Big Data, je vois beaucoup de discussions sur Hadoop. Est-il absolument nécessaire d'apprendre Hadoop pour être un scientifique de données?
Avec Hadoop 2.0 et YARN, Hadoop ne serait plus lié uniquement aux solutions de réduction de carte. Avec cet avancement, quels sont les cas d'utilisation d'Apache Spark vs Hadoop considérant que les deux se trouvent au sommet de HDFS? J'ai lu la documentation d'introduction de Spark, mais je suis curieux …
Je crée un corr()df à partir d'un df d'origine. Le corr()df est sorti 70 X 70 et il est impossible de visualiser le heatmap ... sns.heatmap(df). Si j'essaie d'afficher le corr = df.corr(), le tableau ne correspond pas à l'écran et je peux voir toutes les corrélations. Est-ce un moyen …
J'ai entendu parler de nombreux outils / cadres pour aider les gens à traiter leurs données (environnement Big Data). L'un s'appelle Hadoop et l'autre est le concept noSQL. Quelle est la différence de point de traitement? Sont-ils complémentaires?
Il y a beaucoup de battage médiatique autour de Hadoop et de son écosystème. Cependant, dans la pratique, lorsque de nombreux ensembles de données se situent dans la plage de téraoctets, n'est-il pas plus raisonnable d'utiliser Amazon RedShift pour interroger des ensembles de données volumineux, plutôt que de consacrer du …
Quelqu'un peut-il bien vouloir me parler des compromis impliqués lors du choix entre Storm et MapReduce dans Hadoop Cluster pour le traitement des données? Bien sûr, en dehors de l'évidence, Hadoop (traitement via MapReduce dans un cluster Hadoop) est un système de traitement par lots, et Storm est un système …
Je prototype une application et j'ai besoin d'un modèle de langage pour calculer la perplexité sur certaines phrases générées. Existe-t-il un modèle de langage formé en python que je peux facilement utiliser? Quelque chose de simple comme model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = …
Dans notre entreprise, nous avons une base de données MongoDB contenant un grand nombre de données non structurées, sur lesquelles nous devons exécuter des algorithmes de réduction de carte pour générer des rapports et d'autres analyses. Nous avons le choix entre deux approches pour la mise en œuvre des analyses …
Fermé . Cette question doit être plus ciblée . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle se concentre sur un problème uniquement en modifiant ce message . Fermé il y a 5 ans . Il semble que la plupart des …
En examinant la « modélisation prédictive appliquée », un réviseur déclare : Une critique que j'ai de la pédagogie de l'apprentissage statistique (SL) est l'absence de considérations de performance de calcul dans l'évaluation des différentes techniques de modélisation. Avec ses efforts sur le bootstrap et la validation croisée pour ajuster …
J'ai deux tenseur a:[batch_size, dim] b:[batch_size, dim]. Je veux faire un produit intérieur pour chaque paire du lot, en générant c:[batch_size, 1], où c[i,0]=a[i,:].T*b[i,:]. Comment?
En parcourant la présentation et le matériel de Summingbird par Twitter, l'une des raisons mentionnées pour utiliser les clusters Storm et Hadoop ensemble dans Summingbird est que le traitement via Storm entraîne une cascade d'erreurs. Afin d'éviter cette cascade d'erreurs et leur accumulation, le cluster Hadoop est utilisé pour traiter …
We use cookies and other tracking technologies to improve your browsing experience on our website,
to show you personalized content and targeted ads, to analyze our website traffic,
and to understand where our visitors are coming from.
By continuing, you consent to our use of cookies and other tracking technologies and
affirm you're at least 16 years old or have consent from a parent or guardian.