web-dev-qa-db-fra.com

Kafka incapable de se connecter à Zookeeper

Je viens de commencer à apprendre Kafka/Zookeper. Le problème auquel je suis confronté est, lorsque j'essaie d'exécuter le consommateur de console pour vérifier le message d'un sujet, j'obtiens l'erreur ci-dessous.

vagrant@debian-70rc1-x64-vbox4210:~$ $KAFKA_HOME/bin/kafka-console-consumer.sh --zookeeper 192.168.33.10:2181 --topic topic-3
[2015-02-22 22:56:36,666] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,698] INFO Property group.id is overridden to console-consumer-92151 (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,699] INFO Property fetch.message.max.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,700] INFO Property consumer.timeout.ms is overridden to -1 (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,700] INFO Property socket.timeout.ms is overridden to 30000 (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,700] INFO Property auto.offset.reset is overridden to largest (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,701] INFO Property zookeeper.connect is overridden to 192.168.33.10:2181 (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,701] INFO Property socket.receive.buffer.bytes is overridden to 2097152 (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,701] INFO Property fetch.wait.max.ms is overridden to 100 (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,702] INFO Property auto.commit.enable is overridden to true (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,702] INFO Property refresh.leader.backoff.ms is overridden to 200 (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,702] INFO Property auto.commit.interval.ms is overridden to 60000 (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,703] INFO Property fetch.min.bytes is overridden to 1 (kafka.utils.VerifiableProperties)
[2015-02-22 22:56:36,734] INFO [console-consumer-92151_debian-70rc1-x64-vbox4210-1424645796729-11446a89], Connecting to zookeeper instance at 192.168.33.10:2181 (kafka.consumer.ZookeeperConsumerConnector)
[2015-02-22 22:56:36,754] INFO Starting ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)
[2015-02-22 22:56:36,755] INFO Client environment:zookeeper.version=3.3.3-1203054, built on 11/17/2011 05:47 GMT (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,756] INFO Client environment:Host.name=debian-70rc1-x64-vbox4210.vagrantup.com (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,756] INFO Client environment:Java.version=1.7.0_75 (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,757] INFO Client environment:Java.vendor=Oracle Corporation (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,757] INFO Client environment:Java.home=/usr/lib/jvm/Java-7-openjdk-AMD64/jre (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,757] INFO Client environment:Java.class.path=:/usr/local/kafka/kafka-0.8.0-beta1-src//bin/../core/target/scala-2.8.0/kafka_2.8.0-0.8.0-beta1.jar:/usr/local/kafka/kafka-0.8.0-beta1-src//bin/../core/target/scala-2.8.0/kafka-Assembly-0.8.0-beta1-deps.jar:/usr/local/kafka/kafka-0.8.0-beta1-src//bin/../perf/target/scala-2.8.0/kafka-perf_2.8.0-0.8.0-beta1.jar:/usr/local/kafka/kafka-0.8.0-beta1-src//bin/../libs/*.jar:/usr/local/kafka/kafka-0.8.0-beta1-src//bin/../kafka*.jar (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,758] INFO Client environment:Java.library.path=/usr/Java/packages/lib/AMD64:/usr/lib/x86_64-linux-gnu/jni:/lib/x86_64-linux-gnu:/usr/lib/x86_64-linux-gnu:/usr/lib/jni:/lib:/usr/lib (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,758] INFO Client environment:Java.io.tmpdir=/tmp (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,758] INFO Client environment:Java.compiler=<NA> (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,759] INFO Client environment:os.name=Linux (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,759] INFO Client environment:os.Arch=AMD64 (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,759] INFO Client environment:os.version=3.2.0-4-AMD64 (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,759] INFO Client environment:user.name=vagrant (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,760] INFO Client environment:user.home=/home/vagrant (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,760] INFO Client environment:user.dir=/home/vagrant (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,761] INFO Initiating client connection, connectString=192.168.33.10:2181 sessionTimeout=6000 watcher=org.I0Itec.zkclient.ZkClient@234a98fa (org.Apache.zookeeper.ZooKeeper)
[2015-02-22 22:56:36,773] INFO Opening socket connection to server /192.168.33.10:2181 (org.Apache.zookeeper.ClientCnxn)
[2015-02-22 22:56:42,778] INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)
[2015-02-22 22:56:46,791] INFO Socket connection established to 192.168.33.10/192.168.33.10:2181, initiating session (org.Apache.zookeeper.ClientCnxn)
[2015-02-22 22:56:46,801] INFO Session establishment complete on server 192.168.33.10/192.168.33.10:2181, sessionid = 0x14bb3752996000d, negotiated timeout = 6000 (org.Apache.zookeeper.ClientCnxn)
[2015-02-22 22:56:46,803] INFO Session: 0x14bb3752996000d closed (org.Apache.zookeeper.ZooKeeper)
Exception in thread "main" org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server within timeout: 6000
        at org.I0Itec.zkclient.ZkClient.connect(ZkClient.Java:880)
        at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.Java:98)
        at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.Java:84)
        at kafka.consumer.ZookeeperConsumerConnector.connectZk(ZookeeperConsumerConnector.scala:151)
        at kafka.consumer.ZookeeperConsumerConnector.<init>(ZookeeperConsumerConnector.scala:112)
        at kafka.consumer.ZookeeperConsumerConnector.<init>(ZookeeperConsumerConnector.scala:123)
        at kafka.consumer.Consumer$.create(ConsumerConnector.scala:89)
        at kafka.consumer.ConsoleConsumer$.main(ConsoleConsumer.scala:178)
        at kafka.consumer.ConsoleConsumer.main(ConsoleConsumer.scala)
[2015-02-22 22:56:46,804] INFO EventThread shut down (org.Apache.zookeeper.ClientCnxn)

Ça dit-

Exception in thread "main" org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server within timeout: 6000

J'ai vérifié le sujet et c'est présent. Qu'est-ce qui ne va pas S'il vous plaît aider.

apache-zookeeperapache-kafka
7
S R

J'ai eu le même problème et voici comment je l'ai résolu:

1) Arrêtez tous les processus Kafka et Zookeeper

ps -aux | grep Zoo

ps -aux | grep kafka

(Ensuite, supprimez tous les identifiants de processus des travaux ci-dessus)

2) Exécuter zookeeper

<kafka_dir>/bin/zookeeper-server-start.sh ../config/zookeeper.properties

3) Lancer le serveur kafka

<kafka_dir>/bin/kafka-server-start.sh ../config/server.properties

6
MauricioRoman

Essayez -> telnet 192.168.33.10 2181 Si le telnet échoue, alors le problème est dû à une raison inférieure.

La chaîne iptables de Zookeeper Server NRPE ne semble pas avoir de règle d'acceptation par défaut.

Si vous ne voulez que votre propre chaîne iptables pour NRPE, vous pouvez utiliser:

iptables -I INPUT -s 0/0 -p tcp --dport 2181 -j ACCEPT

Cela résout le problème.

4
Arijeet Saha

Dans mon cas, il était déjà connecté à l'hôte à partir duquel j'essayais. Il n'a donc pas pu établir de nouvelle connexion à l'hôte. Je devais changer la configuration: maxClientCnxns pour qu'il puisse établir plus de connexions avec cet hôte. Plus de détails ici .

0
Saurabh

Vous pouvez essayer ce qui suit pour voir si cela aide.
1) Assurez-vous que le zookeeper est opérationnel et essayez de vous y connecter en utilisant le client zkCli. 
2) Ajoutez --from-beginning à la fin de votre commande pour voir si vous obtenez une différence dans la sortie. La commande doit donc être remplacée par:

    $KAFKA_HOME/bin/kafka-console-consumer.sh --zookeeper xxx.xx.xx.xxx:2181 --topic topic-3 --from-beginning
0
user2720864