web-dev-qa-db-fra.com

différence entre groupid et consumerid dans Kafka consumer

Je suis nouveau à Kafka. J'ai remarqué dans la configuration Consumer qui a deux identifiants. l'un est group.id (obligatoire) et le second est consumer.id (non obligatoire). Veuillez expliquer pourquoi 2 identifiants et différence.

14
Gnana

Les groupes de consommateurs est une abstraction Kafka qui permet de prendre en charge à la fois la messagerie point à point et la publication/abonnement. Un consommateur peut rejoindre un groupe de consommateurs (disons group_1) en définissant son group.id à group_1. Les groupes de consommateurs sont également un moyen de prendre en charge la consommation parallèle des données, c'est-à-dire que différents consommateurs du même groupe de consommateurs consomment des données en parallèle à partir de différentes partitions.

En plus de group.id, chaque consommateur s'identifie également auprès du courtier Kafka utilisant consumer.id. Ceci est utilisé par Kafka pour identifier les consommateurs actuellement ACTIFS d'un groupe de consommateurs particulier.

Lisez cette documentation pour plus de détails.

17
Aravind R. Yarram