Apache Kafka: relire les messages dans une rubrique
J'envisage d'utiliser Apache Kafka comme magasin d'événements pour stocker des événements dans un microservice.
Une chose que j'ai lue à travers divers blogs est que Kafka peut être considéré comme une source unique de vérité, où Kafka log va stocker tous les événements pour un sujet donné.
Je me demandais si Kafka a la possibilité de rejouer les messages depuis le début des temps (au cas où un crash du disque dur/réseau se produirait par exemple)?
(notez que je vois qu'il y a des journaux stockés dans le dossier/tmp sous un répertoire de sujet). Quelqu'un connaît-il une commande (le cas échéant) qui peut être invoquée pour relire les messages du sujet?
Oui, vous pouvez rechercher un décalage spécifique, mais
la nuit des temps
dépend du sujet ou de la configuration du courtier. IIRC, la conservation par défaut est de 7 jours.
Reportez-vous à la la Kafka .
Oui, vous pouvez rejouer le message. En tant que consommateur, contrôlez la réinitialisation de l'offset. Vous pouvez commencer à lire les messages depuis le début ou si vous connaissez une valeur de décalage existante, vous pouvez également la lire à partir de là. Une fois le message validé, il sera inséré dans le sujet jusqu'à la fin de sa période de conservation. La période de conservation par défaut est de 7 jours, mais vous pouvez la modifier à tout moment.