Pourquoi les consommateurs Kafka produisent-ils INVALID_FETCH_SESSION_Epoch après la mise à jour vers 1.1?
Nous avons récemment mis à jour nos Kafka courtiers et clients vers 1.1.1. Depuis la mise à niveau, nous voyons régulièrement des entrées de journal INFO telles que
INFO Jun 08 08:30:20.335 61161458 [KafkaRecordConsumer-0] org.Apache.kafka.clients.FetchSessionHandler [Consumer clientId=consumer-1, groupId=group_60_10] Node 3 was unable to process the fetch request with (sessionId=819759315, Epoch=145991): INVALID_FETCH_SESSION_Epoch.
Je vois que ce message provient des changements introduits dans KIP-227: Introduire des requêtes de récupération incrémentielles pour augmenter la stabilité de la partition . Cependant, je ne trouve aucune information détaillée sur la raison pour laquelle ce message apparaîtrait ou sur les paramètres qui pourraient devoir être ajustés après son introduction.
Jusqu'à présent, cela ne semble pas avoir d'impact sur le comportement des consommateurs en ce qui concerne la réception d'enregistrements (sauf en introduisant une latence supplémentaire), mais je voudrais comprendre
- Pourquoi le message est-il enregistré?
- Que peut-on faire pour empêcher son enregistrement?
Il s'agissait d'une condition de concurrence en Kafka - KAFKA-8052 .
Il sera corrigé dans la version 2.3.0.