Kafka Erreur du producteur Expiration 10 enregistrement (s) pour TOPIC: XXXXXX: 6686 ms s'est écoulé depuis la création du lot plus la durée
Kafka Version: 0.10.2.1,
Erreur de producteur Kafka Expiration de 10 enregistrement (s) pour TOPIC: XXXXXX: 6686 ms s'est écoulé depuis la création du lot plus le temps d'attente 6686 ms se sont écoulés depuis la création du lot plus le temps d'attente
Tout indice sera apprécié ..
Cette exception se produit parce que vous mettez en file d'attente des enregistrements à un rythme beaucoup plus rapide que leur envoi.
Lorsque vous appelez la méthode d'envoi, ProducerRecord sera stocké dans une mémoire tampon interne pour l'envoi au courtier. La méthode retourne immédiatement une fois que ProducerRecord a été mis en mémoire tampon, qu'il ait été envoyé ou non.
Les enregistrements sont regroupés en lots pour être envoyés au courtier, afin de réduire le transport entendu par message et d'augmenter le débit.
Une fois qu'un enregistrement est ajouté à un lot, il existe une limite de temps pour l'envoi de ce lot afin de s'assurer qu'il a été envoyé dans une durée spécifiée. Ceci est contrôlé par le paramètre de configuration du producteur, request.timeout.ms, qui est défini par défaut sur 30 secondes.
Si le lot a été mis en file d'attente plus longtemps que la limite de délai d'attente, l'exception sera levée. Les enregistrements de ce lot seront supprimés de la file d’envoi.
Les configurations du producteur block.on.buffer.full, metadata.fetch.timeout.ms et timeout.ms ont été supprimées. Ils étaient initialement obsolètes dans Kafka 0.9.0.0.
Par conséquent, essayez d'augmenter request.timeout.ms
Néanmoins, si vous rencontrez un problème lié au débit, vous pouvez également vous reporter à la suite de blog
J'avais le même message et je l'ai corrigé en nettoyant les données Kafka de Zookeeper Après ça marche.
Supposons qu'un sujet comporte 100 partitions (0 à 99). Kafka vous permet de produire des enregistrements sur un sujet en spécifiant une partition particulière. Problème pour lequel j'essaie de produire> 99, car les courtiers refusent ces enregistrements.
j'avais affronté le même problème dans le cluster Aks, le simple redémarrage des serveurs Kafka et Zookeeper a résolu le problème.