web-dev-qa-db-fra.com

Où se trouve le fichier de configuration pour HDFS dans Hadoop 2.2.0?

J'étudie Hadoop et j'essaie actuellement de configurer un nœud unique Hadoop 2.2.0. J'ai téléchargé la dernière distribution, je l'ai décompressée. J'essaie maintenant de configurer le système de fichiers distribués Hadoop (HDFS). 

Maintenant, j'essaie de suivre les instructions Hadoop disponibles ici mais je suis tout à fait perdu.

Dans la barre de gauche, vous voyez qu'il y a des références aux fichiers suivants:

  • core-default.xml 
  • hdfs-default.xml 
  • mapred-default.xml 
  • yarn-default.xml

Mais comment sont ces fichiers? 

J'ai trouvé /etc/hadoop/hdfs-site.xml, mais c'est vide!

J'ai trouvé /share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml mais ce n'est qu'un morceau de doc!

Alors, quels fichiers je dois modifier pour configurer HDFS? Où sont lues les valeurs par défaut?

Merci d'avance pour votre aide.

hadoopconfigurationhdfsconfiguration-files
11
danidemi

Ces fichiers se trouvent tous dans le répertoire hadoop/conf.

Pour configurer HDFS, vous devez configurer core-site.xml et hdfs-site.xml.

HDFS fonctionne selon deux modes: distribué (cluster à plusieurs nœuds) et pseudo-distribué (cluster d'un seul ordinateur).

Pour le mode pseudo-distribué, vous devez configurer:

Dans core-site.xml:

<!-- namenode -->
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:8020</value>
</property>

Dans hdfs-site.xml:

<-- storage directories for HDFS - the hadoop.tmp.dir property, whose default is /tmp/hadoop-${user.name} -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/your-dir/</value>
</property>

Chaque propriété a sa valeur par défaut en dur.

N'oubliez pas de définir la connexion ssh sans mot de passe pour l'utilisateur hadoop avant de démarrer HDFS.

P.S.

Si vous téléchargez Hadoop depuis Apache, vous pouvez envisager de passer à une distribution Hadoop:

Cloudera's CDH , HortonWorks ou MapR.

Si vous installez Cloudera CDH ou Hortonworks HDP, vous trouverez les fichiers dans/etc/hadoop/conf /.

14
Evgeny Benediktov

Pour installer Hadoop 2.2.0, vous suivez ce lien . C'est pour "0.23.9" mais cela fonctionne parfaitement pour "2.2.0"

5
Rushikesh Garadade

Tous les fichiers de configuration seront situés dans le fichier tar.gz extrait du répertoire etc/hadoop /. Le fichier hdfs-site.xml peut être hdfs-site.xml.template. Vous devrez le renommer hdfs-site.xml.

Si vous voulez voir quelles options pour hdfs vérifier le document dans l'archive dans share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

4
Chris Hinshaw

Pour Hortonworks, l'emplacement serait  

/etc/hadoop/conf/hdfs-site.xml
2
Indrajeet Gour

ces fichiers peuvent être vus ici /usr/lib/hadoop-2.2.0/etc/hadoop, à cet emplacement, vous pouvez trouver tous les XML.

0
Batty