Chargement par partition
Plutôt que d'extraire une table en une seule opération, le chargement par partition découpe l'extraction en lots successifs. Chaque partition, couvre une plage de valeurs définie sur un champ de date ou un champ numérique. Cette approche limite les risques d'expiration sur les grandes tables et permet, en cas d'interruption, de reprendre depuis la dernière partition échouée sans tout recommencer.
Le chargement par partition est disponible pour les extractions de synchronisation et de consolidation. La fonctionnalité est actuellement en Bêta pour tous les types de connecteurs, à l'exception de Sage Intacct et de l'API personnalisée.
Quand charger par partition
- Optimiser les performances sur les tables volumineuses en réduisant la taille de chaque opération.
- Éviter de tout recommencer en cas d'erreur, car seule la partition en échec est relancée et les autres sont conservées.
- Extraire de grands volumes sans bloquer la source ou la destination pendant toute la durée du chargement.
Chargement par défaut vs. par partition
| Type de chargement | Ce qui se passe |
|---|---|
| Par défaut | Charge la table entière en une seule opération. En cas d'erreur, le chargement s'arrête et repart depuis le début. Aucune progression n'est conservée. |
| Par partition | Charge la table en lots séquentiels basés sur un champ de date ou numérique. En cas d'erreur sur une partition, les partitions déjà complétées sont conservées. Seule la partition en échec est rechargée lors de la prochaine exécution. |
Configurer un chargement par partition
- Depuis l'écran d'accueil ou le panneau de navigation gauche, sélectionnez Extractions.
- Sélectionnez une extraction dans la liste et cliquez sur le lien sous la colonne Tables.
- Sélectionnez la table à configurer.
- Cliquez sur l'icône Paramètres de partition en haut à droite.
- Activez Utiliser les partitions.
- Dans la liste déroulante Partition Sur, choisissez Date ou Entier.
- Dans la liste déroulante Champ, choisissez le champ source sur lequel partitionner.
- Renseignez les champs selon le type de partition.
- Cliquez sur Confirmer.
Type de partition
- Entier
- Date
Entier
| Champ | Valeur à saisir |
|---|---|
| Valeur minimale | Valeur de départ de l'extraction. Si laissé vide, DataSync démarre depuis la valeur la plus basse du champ. |
| Valeur maximale | Valeur de fin de l'extraction. Si laissé vide, DataSync va jusqu'à la valeur la plus haute du champ. |
| Intervalle | Taille de chaque partition. La valeur par défaut est 2000, soit 2 000 valeurs par partition. |
Un intervalle de 2000 avec une Valeur minimale de 0 et une Valeur maximale de 4000 produit deux partitions : les valeurs 0 à 1999 dans la première, et 2000 à 4000 dans la seconde.
Choisir le bon champ numérique
Les partitions de type entier se basent sur un champ numérique, généralement un identifiant d'enregistrement ou un numéro de séquence. Plus la valeur du champ est unique, plus les partitions sont petites et rapides à traiter. Une clé primaire ou un identifiant unique est idéal, car chaque valeur correspond à exactement une ligne.
Date
| Champ | Valeur à saisir |
|---|---|
| Début de date | Date de début de la première partition, sélectionnée depuis le sélecteur de date. Les dates sont en UTC. |
| Intervalle en jour | Nombre de jours couverts par chaque partition, entre 1 et 30. Par exemple, 7 crée des partitions de 7 jours chacune. |
Éviter les champs pouvant contenir des dates futures
Éviter les champs pouvant contenir des dates futures, comme les dates de saisie, d'écriture ou de comptabilisation. Si le chargement initial ne récupère les données que jusqu'à aujourd'hui, les enregistrements avec une date future sont exclus. Si les chargements incrémentiels reposent sur Last Modified, ces enregistrements risquent de ne jamais être récupérés, sauf s'ils sont modifiés ultérieurement. Mieux vaut utiliser un champ stable comme WhenCreated.
Pour valider les paramètres de partition, exécutez Valider et construire avec l'option Ajouter uniquement les tables/champs/indices manquants activée.
Reprise automatique
Les extractions de longue durée peuvent échouer en cours de traitement à cause d'erreurs : coupure réseau, expiration de connexion, problème de connectivité. Sans configuration particulière, l'extraction repart depuis le début. En configurant une clé de reprise sur un champ de l'extraction, DataSync mémorise la dernière ligne insérée avec succès et reprend depuis ce point en cas d'erreur, sans retraiter les données déjà chargées.
Cela ne garantit pas qu'une extraction sera complété avec succès. Si DataSync rencontre la même erreur cinq fois de suite sur la même valeur, l'extraction est arrêtée et marquée comme non récupérable.
La reprise automatique est actuellement disponible pour les extractions de synchronisation avec les connexions sources suivantes : Sage Intacct (API non legacy) et SQL Server.
Quand configurer la reprise automatique
- Grands volumes de données pour lesquels un redémarrage complet après une erreur représente un coût significatif en temps et en ressources.
- Sources instables ou intermittentes sujettes à des erreurs ou dont les extractions sont planifiées pendant des fenêtres de maintenance.
- Partitions inégales où certaines contiennent nettement plus de données que d'autres et risquent d'expirer.
Choisir une clé de reprise
La clé de reprise doit être un champ entier synchronisé dont les types source et destination correspondent. Le choix du champ est important, car si trop de lignes partagent la même valeur, DataSync peut dépasser le nombre maximal de tentatives et arrêter l'extraction. Un bon champ de clé de reprise :
- Suit un ordre croissant.
- Contient une valeur pour chaque ligne.
- Est renseigné pour chaque ligne.
- Est une clé primaire ou unique.
- N'est pas un champ calculé.
Ces deux mécanismes ont des rôles distincts et peuvent être actifs en même temps sur la même extraction. La clé de suivi est utilisée dans les extractions incrémentielles pour ne récupérer que les enregistrements modifiés depuis la dernière exécution. La clé de reprise détermine où reprendre si une erreur survient en cours d'extraction.
Configurer une clé de reprise
- Sélectionnez une extraction de synchronisation, puis cliquez sur le lien Tables.
- Choisissez une table, puis cliquez sur le lien Champs.
- Cochez Clé de reprise pour le champ à utiliser.
Cet exemple illustre comment la clé de reprise suit la progression et comment DataSync s'en sert pour reprendre après une erreur sans retraiter les lignes déjà insérées.
Exemple
- L'extraction démarre sans valeur de reprise. Tous les enregistrements doivent être traités.
- La première partition se termine et la clé de reprise passe à 1000.
- La deuxième partition se termine et la clé de reprise passe à 2000.
- Une erreur survient pendant la troisième partition. La clé de reprise reste à 2000.
- DataSync reprend depuis 2000. Les enregistrements en dessous de cette valeur ne sont pas retraités.
La clé de reprise se met à jour après chaque partition, pas après chaque ligne. Si une partition échoue en cours de traitement, DataSync reprend depuis la dernière partition complétée avec succès.
Voir l'état du chargement
- Dans DataSync, sélectionnez une table avec un chargement par partition.
- Cliquez sur l'icône Statut de la table en haut à droite.
- Consultez le statut.
- (Facultatif) Activez Remplacer le comportement de chargement par défaut pour choisir un autre mode de rechargement (uniquement avec les partitions par date).
- Fermez pour terminer.
| Statut | Signification |
|---|---|
| Jamais chargé | Aucun chargement effectué. L'exécution tronquer et charger, ou chargement incrémentiel traitera toutes les données, en partitions si l'option est activée. |
| Fait avec succès | Toutes les partitions ont été complétées sans erreur. |
| Erreur | Une erreur s'est produite pendant le chargement. Avec le partitionnement activé, les partitions déjà complétées sont conservées et le traitement reprend depuis la partition en échec lors de la prochaine exécution. Sans partitionnement, aucune donnée n'est chargée. |
| Abandonné | Arrêté manuellement. Les données peuvent être partiellement chargées. Le reste est traité lors de la prochaine exécution. |
Recharger les données
- Conserver toutes les partitions chargées et reprendre le chargement depuis : saisir une date de reprise. La date doit être égale ou postérieure à la date de début de partition et ne peut pas être dans le futur.
- Forcer le rechargement de toutes les données depuis la date de début de partition initiale : recharge toutes les partitions depuis la date de début, même celles déjà complétées. Disponible uniquement si le chargement a échoué ou a été arrêté.