J'ai mis sur un noeud ubuntu d'un cluster une instance de kafka 0.11.0.0 . Jusqu'à il y a quelques semaines, tout fonctionnait bien, aujourd'hui j'essaie de le démarrer et j'obtiens cette erreur après le démarrage:
[2017-09-11 16:21:13,894] INFO [Kafka Server 0], started (kafka.server.KafkaServer)
[2017-09-11 16:21:18,998] WARN Connection to node 0 could not be established. Broker may not be available. (org.Apache.kafka.clients.NetworkClient)
[2017-09-11 16:21:21,991] WARN Connection to node 0 could not be established. Broker may not be available. (org.Apache.kafka.clients.NetworkClient)
... and so on...
Mon server.properties:
############################# Server Basics #############################
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
# Switch to enable topic deletion or not, default value is false
delete.topic.enable=true
############################# Socket Server Settings ##########################$
# The address the socket server listens on. It will get the value returned from
# Java.net.InetAddress.getCanonicalHostName() if not configured.
# FORMAT:
# listeners = listener_name://Host_name:port
# EXAMPLE:
# listeners = PLAINTEXT://your.Host.name:9092
#listeners=PLAINTEXT://9092
# Hostname and port the broker will advertise to producers and consumers. If no$
# it uses the value for "listeners" if configured. Otherwise, it will use the $
# returned from Java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://hidden_ip:55091
J'ai modifié advertised.listeners car il existe un proxy pour rediriger les demandes vers le courtier. En tout cas, jusqu’à il y a quelques semaines, tout fonctionnait bien….
Mon pas pour commencer kafka:
1- service zookeeper start
2- ./kafka_2.11-0.11.0.0/bin/kafka-server-start.sh ~/kafka_2.11-0.11.0.0/config/server.properties
Des conseils? Merci
J'ai aussi eu le même problème ...
Je commence donc par demander à Zookeeper des données
echo dump | nc localhost 2181
Je récupère quelque chose comme ça
SessionTracker dump:
Session Sets (3):
0 expire at Sun Dec 03 18:15:48 GST 2017:
0 expire at Sun Dec 03 18:15:51 GST 2017:
1 expire at Sun Dec 03 18:15:54 GST 2017:
0x1601c9a25190000
ephemeral nodes dump:
Sessions with Ephemerals (1):
0x1601c9a25190000:
/controller
/brokers/ids/0
J'ai lu ceci comme signifiant que j'ai 1 courtier disponible - et que l'identifiant est 0.
Alors, laisse découvrir à propos de ce courtier.
bin/zookeeper-Shell.sh localhost:2181 <<< "get /brokers/ids/0"
Et je vois
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://192.168.1.220:9092"],"jmx_port":-1,"Host":"192.168.1.220","timestamp":"1512308520781","port":9092,"version":4}
cZxid = 0x69
ctime = Sun Dec 03 17:42:00 GST 2017
mZxid = 0x69
mtime = Sun Dec 03 17:42:00 GST 2017
pZxid = 0x69
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x1601c9a25190000
dataLength = 196
numChildren = 0
Cela m'a plutôt surpris ... PLAINTEXT: //192.168.1.220: 9092 , donc quand j'ai changé ma chaîne de connexion en lecture
bin/kafka-console-producer.sh --broker-list PLAINTEXT://192.168.1.220:9092 --topic test
Tout fonctionnait maintenant.
Bonne chance !!
Nous avons rencontré la même situation lorsque nous avons commencé à rechercher dans les journaux la cause réelle de l'erreur.
Lorsque nous avons démarré le cluster Kafka, il utilisait par défaut
listeners=PLAINTEXT://:9092
pour vous connecter et n'a pas été en mesure de trouver l'hôte.
Nous avons changé la ligne pour
listeners=PLAINTEXT://<our ip address> :9092,
puis
listeners=PLAINTEXT://<our ip address> :9093,
dans notre server-1.properties (un autre fichier d'ID de courtier) et le même que nous avons répliqué dans un autre fichier server.properties et redémarré notre cluster.
décommentez cette ligne
auditeurs = PLAINTEXT: //: 9092
changé cela en
listeners = PLAINTEXT: //127.0.0.1: 9092
j'ai configuré l'écouteur de kafka server.properties comme listeners=PLAINTEXT://**10.127.96.151**:9092
mais je demande le consommateur en tant que ./kafka-console-consumer.sh --bootstrap-server **localhost**:9092 --topic topic1 --from-beginning
, alors il éclate les WARNs.
quand je répare le serveur d'amorçage consommateur en tant que 10.127.96.151 : 9092, tout fonctionne bien sans plus de mises en garde
Je server.propertes:
listeners=PLAINTEXT://hidden_ip:9092
quand je cours:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic lt1
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic lt1
Je reçois la même erreur que vous obtenez.et j'essaie de courir:
bin/kafka-console-producer.sh --broker-list hidden_ip:9092 --topic lt1
cela fonctionne, je n'obtiens aucune erreur.
Donc, je pense que vous devriez vérifier quel port le serveur kafka est utilisé.
PS: Je l’utilise sur la même machine.