J'utilisekafka 0.10sans zookeeper. Je veux obtenir la liste des sujets de kafka. Cette commande ne fonctionne pas car nous n'utilisons pas zookeeper: bin/kafka-topics.sh --list --zookeeper localhost:2181
. Comment puis-je obtenir la même sortie sans zookeeper?
Kafka utilise ZooKeeper, vous devez donc d'abord démarrer un serveur ZooKeeper si vous n'en avez pas déjà un.
Si vous ne souhaitez pas installer et avoir un serveur de zookeeper séparé, vous pouvez utiliser le script pratique fourni avec kafka pour obtenir une instance ZooKeeper à noeud unique rapide et sale.
Démarrage de l'instance Zookeeper à noeud unique:
bin/zookeeper-server-start.sh config/zookeeper.properties
Démarrage du serveur Kafka:
bin/kafka-server-start.sh config/server.properties
Liste des sujets disponibles dans Kafka:
bin/kafka-topics.sh --list --zookeeper localhost:2181
pour voir ce sujet si nous lançons la commande list topic:
$ bin/kafka-topics.sh --list --zookeeper localhost:2181
Pour vérifier si les données atterrissent à Kafka:
$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic twitterstream --from-beginning
Les clients Kafka n'ont plus besoin de gardien de zoo mais les serveurs Kafka en ont besoin pour fonctionner.
Vous pouvez obtenir une liste de rubriques avec la nouvelle API AdminClient, mais la commande Shell fournie avec Kafka n'a pas encore été réécrite pour utiliser cette nouvelle API.
L’autre façon d’utiliser Kafka sans Zookeeper consiste à utiliser un fournisseur SaaS Kafka en tant que service, tel que Confluent Cloud, afin de ne pas voir ou exploiter les courtiers Kafka (et l’ensemble de base requis Zookeeper).
Par exemple, sur Confluent Cloud, vous utiliserez simplement la commande CLI libre suivante de zookeeper:
ccloud topic list
Pour kafka dockerized/zookeeper
docker ps
trouver votre identifiant de conteneur de zookeeper
docker exec -it <id> bash
cd bin
./zkCli.sh
ls /brokers/topics
Zookeeper est nécessaire pour exécuter Kafka. zookeeper est incontournable. si vous voulez voir la liste des sujets sans gardien de zoo, vous avez besoin d'un outil de surveillance de Kafka tel que Kafka Monitor Tool, kafka-manager, etc.
Pour lire des messages, vous devez utiliser:
kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic messages --from-beginning
--bootstrap-server
est un attribut requis . Vous pouvez utiliser un seul noeud kafka1:9020
.
Kafka est un système distribué et a besoin de Zookeeper ... vous devez aussi démarrer Zookeeper. Suivez «Démarrage rapide» ici: https://kafka.Apache.org/0100/documentation.html#quickstart