J'essaie de créer un cluster Hadoop à 2 nœuds, en suivant ceci guide . Le nœud un est mon ordinateur portable Ubuntu et le nœud esclave, le deuxième, est une boîte virtuelle qui exécute également Ubuntu.
Je fais dans le noeud maître :
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ Sudo ./start-dfs.sh
16/01/23 04:46:16 WARN hdfs.DFSUtil: Namenode for null remains unresolved for ID null. Check your hdfs-site.xml file to ensure namenodes are configured properly.
Starting namenodes on [master]
master: ssh: Could not resolve hostname master: Name or service not known
root@localhost's password:
root@localhost's password: localhost: Permission denied, please try again.
Si maintenant j'édite mon fichier /etc/hosts/
à ceci:
127.0.0.1 localhost
127.0.1.1 gsamaras
127.0.1.1 slave-1
127.0.1.1 master // should I have this?
l'avertissement partira, mais j'aurai quand même une "permission refusée". Cette question est exactement la même chose que la mienne, mais la réponse n'a pas beaucoup aidé. Des idées s'il vous plaît ?
Essayez de donner la permission à votre fichier de script:
$ Sudo chmod +x start-dfs.sh
Alors exécutez.
$ Sudo bash start-dfs.sh
Je suis capable de résoudre le problème en utilisant les commandes ci-dessous.
Les commandes suivantes sont utilisées pour générer une paire valeur/clé à l’aide de SSH. Copiez les clés publiques sous la forme id_rsa.pub dans allowed_keys et accordez au propriétaire les autorisations de lecture et d’écriture sur le fichier allowed_keys, respectivement.
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys