
Présentation
La source BigQuery synchronise les données depuis une table Google BigQuery directement dans Reelevant. C’est idéal pour les équipes qui centralisent leurs données dans BigQuery et souhaitent les exploiter pour la personnalisation.Configuration
Champs obligatoires
Authentification
BigQuery prend en charge deux méthodes d’authentification :- Service Account
- OAuth
Authentification à l’aide d’une clé de compte de service Google Cloud.
Champs optionnels
Requêtes SQL personnalisées
Lorsque vous fournissez une requête SQL personnalisée, Reelevant l’exécute sur BigQuery au lieu de lire la table entière. Cela est utile pour :- Filtrer des lignes (par ex.
SELECT * FROM my_table WHERE active = true) - Sélectionner des colonnes spécifiques
- Joindre plusieurs tables
- Appliquer des transformations
Synchronisation incrémentale
BigQuery prend en charge la synchronisation incrémentale lorsqu’il est utilisé avec le mode de mise à jour Keep Previous Data. Pour l’activer :
Lorsque cette option est configurée, Reelevant ne récupère que les lignes dont le champ timestamp est supérieur à la dernière valeur enregistrée, en ajoutant les nouvelles données au dataset existant.
Si votre Datasource utilise le mode de mise à jour Override Previous Data (par défaut), le champ timestamp n’est pas nécessaire — la table entière ou le résultat de la requête est réimporté à chaque synchronisation.
Types de données pris en charge
Les types de données BigQuery sont automatiquement convertis : | Type BigQuery | Comportement | ||----------| |STRING, INT64, FLOAT64, BOOL | Transmis tels quels. |
| DATE, DATETIME, TIME, TIMESTAMP | Convertis en leur représentation textuelle. |
| NUMERIC, BIGNUMERIC | Convertis en nombres JavaScript. |
| STRUCT (enregistrements imbriqués) | Aplatis en champs individuels. |
| ARRAY (champs répétés) | Préservés sous forme de tableaux. |
Fonctionnement
- Reelevant s’authentifie auprès de BigQuery avec les identifiants fournis.
- Si une requête personnalisée est fournie, elle est exécutée. Sinon, la table complète est exportée.
- Pour les tables volumineuses, Reelevant utilise un pipeline d’export vers GCS optimisé pour de meilleures performances.
- Les champs sont extraits et rendus disponibles pour le mapping.
- Lors des synchronisations suivantes, la requête ou la table est relue (ou récupérée de manière incrémentale si configuré).