Kafka

​

Présentation

La source Kafka streame des données depuis un topic Apache Kafka dans Reelevant. Utilisez-la pour l’ingestion de données en temps réel ou quasi temps réel depuis des architectures événementielles, des plateformes de streaming ou des courtiers de messages qui exposent une interface compatible Kafka.

​

Configuration

​

Champs obligatoires

​

Authentification

​

Champs optionnels

​

Schema Registry

Si vos messages Kafka utilisent la sérialisation Avro avec un Confluent Schema Registry, configurez l’objet registry : Lorsque cette option est configurée, les messages sont automatiquement désérialisés en utilisant le schéma du registry.

​

Formats de messages pris en charge

​

Comportement du consumer

​

Mode Worker (par lots)

Lorsqu’elle est utilisée avec une Datasource en mode worker (synchronisation périodique par lots), la source Kafka :

1. Se connecte au topic et lit tous les messages disponibles jusqu’au dernier offset courant.
2. Se déconnecte une fois que tous les messages ont été consommés.
3. Lors des synchronisations suivantes, la lecture reprend là où elle s’était arrêtée (les offsets du consumer group sont préservés).

​

Mode Ingester (continu)

Lorsqu’elle est utilisée avec une Datasource en mode ingester (streaming continu), la source Kafka :

1. Se connecte au topic et consomme en continu les nouveaux messages à mesure qu’ils arrivent.
2. Les messages sont traités et stockés en temps réel.

​

Fonctionnement

1. Reelevant se connecte au cluster Kafka avec les adresses de brokers fournies.
2. Un consumer group est créé (ou repris) pour la Datasource.
3. Les messages sont consommés depuis le topic configuré.
4. Si un Schema Registry est configuré, les messages sont désérialisés en utilisant le schéma Avro.
5. Les champs sont extraits et rendus disponibles pour le mapping.