Questions marquées «hadoop»

Hadoop est un projet open source Apache qui fournit des logiciels pour une informatique distribuée fiable et évolutive. Le noyau se compose d'un système de fichiers distribué (HDFS) et d'un gestionnaire de ressources (YARN). Divers autres projets open source, tels qu'Apache Hive, utilisent Apache Hadoop comme couche de persistance.

15
Impossible de localiser le binaire winutils dans le chemin binaire hadoop
J'obtiens l'erreur suivante lors du démarrage de namenode pour la dernière version hadoop-2.2. Je n'ai pas trouvé le fichier winutils exe dans le dossier hadoop bin. J'ai essayé les commandes ci-dessous $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary …
109 hadoop 
6
Quelle est la différence entre les commandes shell «hadoop fs» et les commandes shell «hdfs dfs»?
Sont-ils censés être égaux? mais, pourquoi les hadoop fscommandes " " affichent les commandes hdfs filestandis que les hdfs dfscommandes " " affichent les fichiers locaux? voici les informations de version de hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Compilé par jenkins le lundi 22 avril 10:48:26 …
109 hadoop  hdfs 
15
Existe-t-il un équivalent .NET à Apache Hadoop? [fermé]
Fermé. Cette question ne respecte pas les directives de Stack Overflow . Il n'accepte pas les réponses actuellement. Vous souhaitez améliorer cette question? Mettez à jour la question pour qu'elle soit pertinente pour Stack Overflow. Fermé il y a 4 ans . Améliorez cette question Donc, j'ai regardé Hadoop avec …
98 c#  .net  hadoop  mapreduce 
18
hadoop No FileSystem pour le schéma: fichier
J'essaie d'exécuter un simple en NaiveBayesClassiferutilisant hadoop, obtenant cette erreur Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) Code: Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error in …
97 java  hadoop  io 
7
Avro contre Parquet
Je prévois d'utiliser l'un des formats de fichier hadoop pour mon projet lié à hadoop. Je comprends que parquet est efficace pour les requêtes basées sur des colonnes et avro pour une analyse complète ou lorsque nous avons besoin de toutes les données des colonnes! Avant de continuer et de …
92 hadoop  avro  parquet 
5
Parquet vs ORC vs ORC avec Snappy
J'exécute quelques tests sur les formats de stockage disponibles avec Hive et j'utilise Parquet et ORC comme options principales. J'ai inclus ORC une fois avec la compression par défaut et une fois avec Snappy. J'ai lu de nombreux documents qui déclarent que Parquet est meilleur en complexité temps / espace …
87 hadoop  hive  parquet  snappy  orc 
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.