web-dev-qa-db-fra.com

impossible de vérifier les nœuds sur hadoop [Connexion refusée]

Si je tape http://localhost:50070 ou http://localhost:9000 pour voir les nœuds, mon navigateur ne me montre rien. Je pense qu'il ne peut pas se connecter au serveur.

hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000

mais aussi n'a pas fonctionné et il essaie de se connecter au serveur, voici le résultat:

12/06/06 17:25:24 INFO mapred.FileInputFormat: nrFiles = 10
12/06/06 17:25:24 INFO mapred.FileInputFormat: fileSize (MB) = 1000
12/06/06 17:25:24 INFO mapred.FileInputFormat: bufferSize = 1000000
12/06/06 17:25:25 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s).
12/06/06 17:25:26 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 1 time(s).
12/06/06 17:25:27 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 2 time(s).
12/06/06 17:25:28 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 3 time(s).
12/06/06 17:25:29 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 4 time(s).
12/06/06 17:25:30 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 5 time(s).
12/06/06 17:25:31 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 6 time(s).
12/06/06 17:25:32 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 7 time(s).
12/06/06 17:25:33 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 8 time(s).
12/06/06 17:25:34 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 9 time(s).
Java.net.ConnectException: Call to localhost/127.0.0.1:9000 failed on connection exception: Java.net.ConnectException: Connection refused

J'ai changé certains fichiers comme ceci: Dans conf/core-site.xml:

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>

dans conf/hdfs-site.xml:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
</configuration>

dans conf/mapred-site.xml:

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

Hé les gars, merci pour votre attention, Si je lance cette commande

cat /etc/hosts

Je vois:

127.0.0.1   localhost
127.0.1.1   ubuntu.ubuntu-domain    ubuntu

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

et si je lance celui-ci:

ps axww | grep hadoop

Je vois ce résultat:

2170 pts/0    S+     0:00 grep --color=auto hadoop

mais aucun effet! Avez-vous une idée, comment puis-je résoudre mon problème?

hadoop
12
Baper

Il y a peu de choses dont vous devez vous occuper avant de commencer les services hadoop.

Vérifiez ce que cela retourne:

hostname --fqdn

Dans votre cas, cela devrait être localhost. Commentez également IPV6 dans/etc/hosts.

Avez-vous formaté le nom de code avant de démarrer HDFS?.

hadoop namenode -format

Comment avez-vous installé Hadoop? L'emplacement des fichiers journaux dépendra de cela. Il se trouve généralement à l'emplacement "/ var/log/hadoop /" si vous avez utilisé la distribution de cloudera.

Si vous êtes un novice complet, je suggère d'installer Hadoop avec Cloudera SCM, ce qui est assez facile. J'ai posté mon approche en installant Hadoop avec la distribution de Cloudera.

Également

Assurez-vous que l'emplacement DFS dispose d'une permission d'écriture . Il est généralement assis @ /usr/local/hadoop_store/hdfs

C'est une raison commune.

13
pyfunc

même problème que j'ai eu et cela a résolu mon problème:

le problème réside dans la permission donnée aux dossiers "chmod" 755 ou plus pour les dossiers /home/nom_utilisateur/hadoop/*

4
subZero

Une autre possibilité est que le namenode ne fonctionne pas.

Vous pouvez supprimer les fichiers HDFS:

rm -rf /tmp/hadoop*

Reformater le HDFS

bin/hadoop namenode -format

Et redémarrer les services hadoop

bin/hadoop/start-all.sh (Hadoop 1.x)

ou

sbin/hadoop/start-all.sh (Hadoop 2.x)
4
Danke Xie

éditez également votre fichier/etc/hosts et changez les versions de 127.0.1.1 à 127.0.0.1 ... la résolution DNS appropriée est très importante pour hadoop et un peu compliquée aussi ... ajoutez également la propriété suivante dans votre fichier core-site.xml - 

<property>
      <name>hadoop.tmp.dir</name>
      <value>/path_to_temp_directory</value>
    </property>

l'emplacement par défaut de cette propriété est le répertoire/tmp qui sera vidé après chaque redémarrage du système. Si vous perdez toutes vos informations à chaque redémarrage, ajoutez également ces propriétés dans votre fichier hdfs-site.xml -

<property>
        <name>dfs.name.dir</name>
        <value>/path_to_name_directory</value>
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>/path_to_data_directory</value>
    </property>
2
Tariq

Je suppose que c'est votre première installation de hadoop. 

Au début, vérifiez si vos démons fonctionnent. Pour ce faire, utilisez (dans le terminal):

jps

Si seul jps apparaît, cela signifie que tous les démons sont en panne. Veuillez vérifier les fichiers journaux. Surtout le namenode. Le dossier des journaux est probablement quelque part là/usr/lib/hadoop/logs

Si vous avez des problèmes de permission. Utilisez ce guide lors de l'installation.

Guide d'installation correct

Je tire avec ces explications, mais ce sont les problèmes les plus courants. 

1
wonsky

Salut Éditez votre fichier principal conf/core-site.xml et remplacez localhost par 0.0.0.0. Utilisez la conf ci-dessous. Cela devrait fonctionner. 

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://0.0.0.0:9000</value>
  </property>
0
Desly Peter