Questions marquées «hadoop»

Hadoop est un projet open source Apache qui fournit des logiciels pour une informatique distribuée fiable et évolutive. Le noyau se compose d'un système de fichiers distribué (HDFS) et d'un gestionnaire de ressources (YARN). Divers autres projets open source, tels qu'Apache Hive, utilisent Apache Hadoop comme couche de persistance.

21
Hadoop «Impossible de charger la bibliothèque native-hadoop pour votre plate-forme»
Je configure actuellement hadoop sur un serveur exécutant CentOs . Lorsque j'exécute start-dfs.shou stop-dfs.sh, j'obtiens l'erreur suivante: WARN util.NativeCodeLoader: impossible de charger la bibliothèque native-hadoop pour votre plate-forme ... à l'aide des classes Java intégrées le cas échéant J'utilise Hadoop 2.2.0. Faire une recherche en ligne a fait apparaître ce …
16
Quand utiliser Hadoop, HBase, Hive et Pig?
Quels sont les avantages de l' utilisation soit Hadoop ou HBase ou Ruche ? D'après ce que je comprends, HBase évite d'utiliser la réduction de carte et dispose d'un stockage orienté colonne au-dessus de HDFS. Hive est une interface de type sql pour Hadoop et HBase . J'aimerais également savoir …
185 hadoop  hbase  hive  apache-pig 
14
Spark - charger le fichier CSV en tant que DataFrame?
Je voudrais lire un CSV dans Spark et le convertir en DataFrame et le stocker en HDFS avec df.registerTempTable("table_name") J'ai essayé: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Erreur que j'ai obtenue: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, …
6
Différence entre HBase et Hadoop / HDFS
C'est un peu une question naïve mais je suis nouveau dans le paradigme NoSQL et je n'en sais pas grand-chose. Donc, si quelqu'un peut m'aider à comprendre clairement la différence entre le HBase et Hadoop ou si vous donnez des conseils qui pourraient m'aider à comprendre la différence. Jusqu'à présent, …
130 hadoop  nosql  hbase  hdfs  difference 
13
Chaînage de plusieurs tâches MapReduce dans Hadoop
Dans de nombreuses situations réelles où vous appliquez MapReduce, les algorithmes finaux finissent par être plusieurs étapes MapReduce. c'est-à-dire Map1, Reduce1, Map2, Reduce2, et ainsi de suite. Vous avez donc la sortie de la dernière réduction qui est nécessaire comme entrée pour la carte suivante. Les données intermédiaires sont quelque …
124 hadoop  mapreduce 
9
Le nœud de nom est en mode sans échec. Impossible de partir
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. impossible de créer quoi que ce soit dans hdfs J'ai fait root# bin/hadoop fs -safemode leave Mais montrant safemode: Unknown command quel est le problème? Solution
122 hadoop  hdfs 
6
Comment Hadoop traite-t-il les enregistrements répartis entre les limites des blocs?
Selon le Hadoop - The Definitive Guide Les enregistrements logiques définis par FileInputFormats ne s'intègrent généralement pas parfaitement dans les blocs HDFS. Par exemple, les enregistrements logiques d'un TextInputFormat sont des lignes qui traverseront le plus souvent les limites HDFS. Cela n'a aucune incidence sur le fonctionnement de votre programme …
119 hadoop  split  mapreduce  block  hdfs 
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.