Comment copier un fichier de HDFS vers le système de fichiers local


135

Comment copier un fichier de HDFS vers le système de fichiers local. Il n'y a pas d'emplacement physique d'un fichier sous le fichier, pas même de répertoire. comment puis-je les déplacer dans mon local pour d'autres validations.Je suis essayé via winscp.

Réponses:


242
  1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
  2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
  3. Pointez votre navigateur Web sur HDFS WEBUI ( namenode_machine:50070), recherchez le fichier que vous souhaitez copier, faites défiler la page et cliquez sur télécharger le fichier .

tariq parfait, je l'ai eu, il n'y a pas d'emplacement physique d'un fichier sous le fichier, pas même de répertoire. bin / hadoop dfs -ls / use / hadoop / myfolder je peux afficher le fichier, à partir de l'information que j'ai obtenue pour inspecter le fichier, vous pouvez le copier de HDFS vers le système de fichiers local , afin que je puisse les déplacer de winscp
Surya

2
encore une fois, je dois mentionner tariq, merci beaucoup pour votre temps et vos connaissances. Merci beaucoup . Vous avez beaucoup soutenu, cela donne beaucoup de confiance à un nouveau bie comme moi.
Surya

1
Je vois. Vous pouvez en fait utiliser la commande hdfs cat si vous souhaitez voir le contenu du fichier ou ouvrir le fichier sur le webui. Cela vous évitera de télécharger le fichier sur votre fs local. Je vous en prie. Et si vous êtes satisfait à 100% des réponses à vos questions, vous pouvez les marquer afin que d'autres puissent en profiter. Pas seulement pour celle-ci, mais en général.
Tariq

2
Juste pour ajouter à mon dernier commentaire, s'il s'agit d'un fichier binaire, cat ne vous montrera pas le contenu réel. Pour afficher le contenu d'un fichier binaire, vous pouvez utiliser: bin / hadoop fs -text / path / to / file
Tariq

1
Cela semble être un bug (corrigé). Voyez la réponse.
Tariq

27

Dans Hadoop 2.0,

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

où,

  • hdfs_input_file_path peut-être obtenu de http://<<name_node_ip>>:50070/explorer.html

  • output_path est le chemin local du fichier dans lequel le fichier doit être copié.

  • vous pouvez également utiliser getà la place de copyToLocal.


15

Afin de copier des fichiers de HDFS vers le système de fichiers local, la commande suivante peut être exécutée:

hadoop dfs -copyToLocal <input> <output>

  • <input>: le chemin du répertoire HDFS (par exemple / mydata) que vous souhaitez copier
  • <output>: le chemin du répertoire de destination (par exemple ~ / Documents)

1
Cela ne semble pas fonctionner pour moi. Il indique toujours que le fichier <input> est introuvable. J'utilise l'instance VM de cloudera qui a cent os 6.4
SutharMonil

@SutharMonil Etes-vous sûr que le fichier est bien là? Pouvez-vous y naviguer via hadoop fs -ls?
Dennis Jaheruddin

6

vous pouvez accomplir de ces deux manières.

1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

Ex:

Mes fichiers sont situés dans /sourcedata/mydata.txt Je veux copier le fichier dans le système de fichiers local dans ce chemin / user / ravi / mydata

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/

3

Si votre «fichier» source est divisé entre plusieurs fichiers (peut-être à la suite de map-reduction) qui vivent dans la même arborescence de répertoires, vous pouvez le copier dans un fichier local avec:

hadoop fs -getmerge /hdfs/source/dir_root/ local/destination

Cela devrait être accepté. C'est ce que la plupart des gens recherchent, pas un fichier fractionné.
James O'Brien

2

Cela a fonctionné pour moi sur mon instance de VM d'Ubuntu.

hdfs dfs -copyToLocal [répertoire hadoop] [répertoire local]


0

si vous utilisez docker, vous devez suivre les étapes suivantes:

  1. copiez le fichier de hdfs vers namenode (hadoop fs -get output / part-r-00000 / out_text). "/ out_text" sera stocké sur le namenode.

  2. copiez le fichier de namenode sur le disque local en (docker cp namenode: / out_text output.txt)

  3. output.txt sera là dans votre répertoire de travail actuel


-3
bin/hadoop fs -put /localfs/destination/path /hdfs/source/path 

1
hdfs dfs -put est une commande pour pousser les fichiers du FS local vers HDFS. hdfs dfs -get est la bonne option
b_rousseau
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.