Charger les tables par partition

DataSync vous permet de charger une table par partition au lieu de charger la table complète. Cette fonctionnalité vous permet de charger les données d'une table d'extraction en lots plus petits, appelés partitions, sur la base d'un champ de date. Cela peut améliorer les performances et la fiabilité de votre processus de chargement de données.

 

Lorsque vous activez cette fonctionnalité pour une table d'extraction, DataSync divise les données en partitions en fonction du champ de partition, de la date de début de la partition et de la plage de jours que vous spécifiez. Le champ de partition est un champ de type Date, Datetime ou Datetimeoffset qui détermine la manière dont les données sont divisées. La date de début de la partition est la date la plus ancienne du champ de partition que vous souhaitez charger. L'intervalle de jours est le nombre de jours que couvre chaque partition.

 

DataSync chargera chaque partition de manière séquentielle, en commençant par la date de début de la partition. Si une partition ne se charge pas, l'extraction échoue, mais toutes les données des partitions précédentes sont préservées. La prochaine fois que vous exécuterez le processus de Tronquer et Charger ou Chargement incrémentiel sur l'extraction, DataSync reprendra le chargement à partir de la partition qui a échoué. Lorsque toutes les partitions sont chargées avec succès, la table est considérée comme entièrement chargée et toute exécution ultérieure de chargement incrémentiel se déroulera normalement.

 

Lorsque vous exécutez des suppressions propres sur une extraction avec cette fonctionnalité activée pour une table, DataSync chargera également les données dans les partitions. Cependant, au lieu de commencer à partir de la date de début de la partition, DataSync commencera le chargement en se basant sur le nombre de jours que vous avez fourni dans la boîte de dialogue Exécuter l'extraction, comme il le fait lorsque la partition est désactivée.

 

Note:  Cette fonctionnalité n'est disponible que pour les extractions de types Synchronisation et Consolidation. Elle est en version bêta pour tous les types de connecteurs, à l'exception de Sage Intacct et Custom API.

Note:  

Pour configurer le chargement d'une table par partition :

  1. Dans la page Extractions, cliquez sur le lien de la table dans la colonne Tables.

  2. Sélectionnez une table dans la liste et cliquez sur Configuration de la partition.

  3. La boîte de dialogue Configuration de la partition s'affiche :

    1. Sélectionnez le champ de partition approprié dans la liste déroulante Champ. Cette liste déroulante vous permet de sélectionner un champ date, datetime ou datetimeoffset de la table source qui sera utilisé pour partitionner les données.

    2. Sélectionnez la date de début. Le sélecteur de date vous permet de sélectionner la date la plus ancienne du champ de partition que vous souhaitez charger.

      Note:  Cette date est exprimée en UTC.

    3. Saisissez le nombre de jours que la partition va couvrir dans le champ Plage de dates (de 1 à 30 jours). Par exemple, si vous saisissez 7, DataSync va créer des partitions qui couvriront chacune 7 jours.

    4. Utiliser les paramètres de partition : Cette option vous permet d'activer ou de désactiver cette fonction pour la table sélectionnée. Si vous la désactivez, DataSync n'utilisera pas les partitions et chargera les données comme d'habitude.

      Afin de valider les paramètres de partition, il est recommandé d'effectuer une Valider et Construire avec le paramètre Ajouter seulement les Tables/Champs/Index manquants (les données existantes ne seront pas impactées).

  4. Cliquez sur Enregistrer.

Pour voir le statut du chargement de la table :

  1. Dans la page Extractions, cliquez sur le lien de la table dans la colonne Tables.

  2. Sélectionnez une table dans la liste et cliquez sur Statut du chargement.

  3. La boîte de dialogue Statut du chargement s'affiche. Vous pouvez voir si la table a été chargée avec succès ou non et quand la tentative de chargement a eu lieu.

    Note:  Toutes les dates et les heures sont exprimées en UTC.

    L'état peut être l'un des suivants :

    • Jamais chargé : Cela signifie que vous n'avez jamais chargé la table. Si un processus de Tronquer et Charger ou un Chargement incrémental est exécuté sur l'extraction, DataSync tentera de charger toutes les données. Si le chargement par partition est activé, elle chargera les données en partitions.

    • Effectué avec succès : Toutes les données ont été chargées avec succès.

      S'il y a des changements en attente, un message sera affiché en conséquence.

    • Erreur : Une erreur a été rencontrée. Si le chargement par partitions est désactivé, aucune donnée n'a été chargée. Si le chargement par partition est activé, les données peuvent avoir été partiellement chargées. Dans ce cas, le chargement des données reprendra lors de la prochaine exécution d'un processus de Tronquer et Charger ou un Chargement incrémental.

    • Interrompu : L'exécution a été interrompue par un utilisateur. Il se peut que la partition ne soit pas totalement chargée lorsque l'exécution a été interrompue. Ces données seront nettoyées lors de la reprise du chargement.

    Pour remplacer le comportement de chargement par défaut décrit ci-dessus, sélectionnez l'une des options suivantes :

    • Conserver toutes les partitions chargées et reprendre le chargement à partir d'une date spécifiée : cette option vous permet d'entrer une date et de reprendre le chargement à partir de cette date. Cette date ne peut pas être antérieure à la date de début de la partition ou se situer dans le futur.

    • Forcer le rechargement de toutes les données à partir de la date de début de la partition : Cette option vous permet de recharger toutes les données de la table même si certaines partitions ont déjà été chargées. Cette option n'est disponible que si le chargement a échoué ou a été interrompu par l'utilisateur.

  4. Cliquez sur Enregistrer.