web-dev-qa-db-fra.com

Créer un répertoire dans le système de fichiers hadoop

Je suis nouveau sur hadoop. J'essaie de créer un répertoire en hdfs mais je ne peux pas créer.

Je me suis connecté à "hduser", j'ai donc supposé que/home/hduser "préexistait sous Unix fs. J'ai donc essayé de créer le répertoire hadoop en utilisant la commande ci-dessous.

[hduser@Virus ~]$ hadoop fs -mkdir /home/hduser/mydata/
14/12/03 15:04:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
mkdir: `/home/hduser/mydata/': No such file or directory

Après la recherche en ligne, j'ai pensé qu'il était possible que hadoop ne soit pas en mesure de comprendre "/ home/hduser" ou que j'utilise hadoop2 où mkdir ne fonctionnerait pas comme la commande Unix "madir -p" (récursivement). J'ai donc essayé de créer "/ mydata" mais pas de chance.

[hduser@Virus ~]$ hadoop fs -mkdir /mydata
14/12/03 15:09:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
mkdir: Cannot create directory /mydata. Name node is in safe mode.

J'ai essayé de quitter le mode sans échec, mais le problème persiste.

[hduser@Virus ~]$ hdfs dfsadmin -safemode leave
14/12/03 15:09:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
Safe mode is OFF

J'ai également essayé avec "/ user/mydata" car "/ user" est le répertoire que hadoop a pris comme domicile.

[hduser@Virus ~]$ hadoop fs -mkdir /user/mydata
14/12/03 15:36:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
mkdir: Cannot create directory /user/mydata. Name node is in safe mode.

Maintenant, comment déboguer davantage?

shellhadoophdfscommand-line-interface
10
virus

Pour quitter le mode sans échec, essayez la commande ci-dessous depuis hadoop dfsadmin -safemode est déconseillé dans la nouvelle distribution de Hadoop:

 hdfs dfsadmin -safemode leave

Par défaut, le répertoire home de l'utilisateur dans hdfs existe avec '/ user/hduser' pas comme/home/hduser '.

Si vous avez essayé de créer un répertoire directement comme ci-dessous, il sera créé comme '/ user/hduser/sampleDir'.

hadoop fs -mkdir /path/to/be/created
7
Sagar Bhalodiya

Créer un répertoire/utilisateur

hadoop fs -mkdir /user

puis avec votre nom d'utilisateur

hadoop fs -mkdir /user/yourusername

Essayez maintenant de créer un répertoire.

5
Kumar

Sur HDFS,

hdfs dfs -mkdir -p /this/is/a/new/directory
4
Giorgos Myrianthous

Inscrivez votre répertoire

hadoop fs -ls /

Sortie:

Found 1 items
drwxr-xr-x   - sony supergroup          0 2016-12-10 16:45 /usr

hadood fs -mkdir /app

créé avec succès et vérifier

hadoop fs -ls /

Sortie:

Found 2 items
drwxr-xr-x   - sony supergroup          0 2016-12-12 04:11 /usr
drwxr-xr-x   - sony supergroup          0 2016-12-10 16:45 /app
2
KARTHIKEYAN.A