La programmation hdfs

14

Spark - charger le fichier CSV en tant que DataFrame?

Je voudrais lire un CSV dans Spark et le convertir en DataFrame et le stocker en HDFS avec df.registerTempTable("table_name") J'ai essayé: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Erreur que j'ai obtenue: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, …

142 scala apache-spark hadoop apache-spark-sql hdfs

3

Quels sont les avantages et les inconvénients du format parquet par rapport aux autres formats?

Les caractéristiques d'Apache Parquet sont: Auto-descriptif Format en colonne Indépendant de la langue En comparaison avec Avro, les fichiers de séquence, les fichiers RC, etc. je veux un aperçu des formats. J'ai déjà lu: Comment Impala fonctionne avec les formats de fichiers Hadoop , cela donne quelques aperçus sur les …

137 file hadoop hdfs avro parquet

8

Comment copier un fichier de HDFS vers le système de fichiers local

Comment copier un fichier de HDFS vers le système de fichiers local. Il n'y a pas d'emplacement physique d'un fichier sous le fichier, pas même de répertoire. comment puis-je les déplacer dans mon local pour d'autres validations.Je suis essayé via winscp.

135 hadoop copy hdfs

6

Différence entre HBase et Hadoop / HDFS

C'est un peu une question naïve mais je suis nouveau dans le paradigme NoSQL et je n'en sais pas grand-chose. Donc, si quelqu'un peut m'aider à comprendre clairement la différence entre le HBase et Hadoop ou si vous donnez des conseils qui pourraient m'aider à comprendre la différence. Jusqu'à présent, …

130 hadoop nosql hbase hdfs difference

9

Le nœud de nom est en mode sans échec. Impossible de partir

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. impossible de créer quoi que ce soit dans hdfs J'ai fait root# bin/hadoop fs -safemode leave Mais montrant safemode: Unknown command quel est le problème? Solution

122 hadoop hdfs

6

Comment Hadoop traite-t-il les enregistrements répartis entre les limites des blocs?

Selon le Hadoop - The Definitive Guide Les enregistrements logiques définis par FileInputFormats ne s'intègrent généralement pas parfaitement dans les blocs HDFS. Par exemple, les enregistrements logiques d'un TextInputFormat sont des lignes qui traverseront le plus souvent les limites HDFS. Cela n'a aucune incidence sur le fonctionnement de votre programme …

119 hadoop split mapreduce block hdfs

9

Quel est le but de la phase de mélange et de tri dans le réducteur dans Map Reduce Programming?

Dans la programmation de Map Reduce, la phase de réduction comprend le mélange, le tri et la réduction comme sous-parties. Le tri est une affaire coûteuse. Quel est le but de la phase de mélange et de tri dans le réducteur dans Map Reduce Programming?

113 sorting hadoop mapreduce hdfs shuffle

6

Quelle est la différence entre les commandes shell «hadoop fs» et les commandes shell «hdfs dfs»?

Sont-ils censés être égaux? mais, pourquoi les hadoop fscommandes " " affichent les commandes hdfs filestandis que les hdfs dfscommandes " " affichent les fichiers locaux? voici les informations de version de hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Compilé par jenkins le lundi 22 avril 10:48:26 …

109 hadoop hdfs

10

Comment vérifier la taille d'un répertoire HDFS?

Je connais du -shles systèmes de fichiers Linux courants. Mais comment faire cela avec HDFS?

97 hadoop command-line directory hdfs

Questions marquées «hdfs»