Connecteur de source de fichier plat

Le connecteur source de fichier plat permet à DataSync de récupérer les données de fichiers texte structurés comme CSV et TXT et de les charger dans un entrepôt de données. Pour les fichiers volumineux, la profondeur d'analyse des lignes peut être ajustée ou la détection automatique remplacée à l'aide d'un fichier Schema.ini personnalisé. Il est aussi possible de se connecter à des fichiers CSV locaux, réseau ou hébergés dans le cloud en définissant le paramètre URL et les propriétés d'authentification nécessaires.

Une fois la connexion source créée, configurez la connexion de destination pour finaliser l'installation.

Créer la connexion source dans DataSync

1. Connectez-vous à DataSync.
2. Depuis l'écran d'accueil, sélectionnez Connexions.
3. À côté de Connexions de la source, cliquez sur Nouveau.
4. Sélectionnez Fichier plat.
5. Complétez toutes les propriétés de connexion requises.
6. (Facultatif) Dans le panneau Autres propriétés de la connexion, cliquez sur Ajouter une propriété et définissez les paramètres supplémentaires nécessaires.
7. Configurez les paramètres avancés selon votre environnement, notamment le Type de suivi.
8. Cliquez sur Enregistrer.

Propriétés de la connexion

Propriété	Description
Description	Nom unique attribué à la connexion. Exemple : Fichier Plat.
URI	Chemin vers le fichier ou dossier source. Compatible avec les chemins locaux et les partages réseau, et peut pointer vers un seul fichier CSV ou un dossier contenant plusieurs fichiers. Exemple : C:\Data\SalesData.csv ou \\Server\Share\Data.
Inclure les types	Types de fichiers à inclure : CSV, TXT, ou les deux.
Délimiteur	Caractère utilisé pour séparer les valeurs : Virgule, Onglet, ou Personnalisé.
Délimiteur personnalisé	Caractère utilisé lorsque Délimiteur est défini sur Personnalisé. Exemple : ;.
Caractère de citation	Caractère utilisé pour encadrer les valeurs citées dans le fichier.
Principales lignes à ignorer	Nombre de lignes à ignorer en haut du fichier avant la lecture des données.
Exclure l'extension de fichier	Retire l'extension du fichier des noms de table lors de l'extraction.
La première ligne contient l'en-tête	Traite la première ligne comme en-têtes de colonnes.
Inclure les sous-répertoires	Inclut les fichiers et fichiers schema.ini des sous-dossiers imbriqués.
Utiliser les numéros de ligne	Ajoute une colonne RowNumber servant de clé lors de la mise à jour ou suppression d'enregistrements CSV.
Verbosité	Contrôle le niveau de détail écrit dans le journal. Chaque niveau inclut tout ce qui précède plus des informations supplémentaires. 1 enregistre les requêtes, les nombres de lignes, les heures de début et de fin d'exécution ainsi que les erreurs. 2 ajoute les requêtes de cache et les en-têtes HTTP. 3 ajoute les corps de requête et de réponse. 4 ajoute la communication au niveau du transport. 5 ajoute toutes les commandes d'interface.
Activer le pooling	Active le pooling de connexions, qui conserve un ensemble de connexions ouvertes et les réutilise entre les extractions au lieu d'ouvrir une nouvelle connexion à chaque fois. Réduit la charge et améliore les performances lorsque plusieurs extractions s'exécutent en même temps.
Délai d'inactivité du pool	Temps d'inactivité maximal en secondes avant qu'une connexion soit retournée au pool.
Taille maximale du pool	Nombre maximum de connexions autorisées dans le pool en même temps.
Temps d'attente du pool	Temps d'attente maximal en secondes pour obtenir une connexion avant qu'une erreur ne soit générée.

Autres propriétés de la connexion

Ce panneau permet d'ajouter des propriétés de chaîne de connexion qui ne figurent pas dans le panneau Propriétés de la connexion. Pour les valeurs sensibles comme les mots de passe, choisissez le type Crypté. La valeur reste alors masquée dans l'interface et stockée de façon chiffrée côté serveur.

Propriété	Description
Charset	Encodage de caractères du fichier source lorsqu'il utilise l'encodage ANSI. Non nécessaire pour les fichiers UTF-8. Exemple : windows-1252.
Culture	Format régional déterminant l'interprétation des séparateurs décimaux et de milliers. Doit correspondre entre les fichiers source et la configuration DataSync. Exemple : fr-FR pour les décimales avec virgule ou en-US pour les décimales avec point.
RowScanDepth	Nombre de lignes analysées pour déduire les types de données des colonnes. Valeur par défaut : 100. Utiliser 5000 pour une meilleure précision sur des données variées, ou 0 pour analyser l'ensemble du fichier.
AggregateFiles	Combine tous les fichiers du dossier source dans une seule table appelée AggregatedFiles. Le schéma provient du premier fichier, sauf si MetadataDiscoveryURI est défini. Utile pour traiter plusieurs fichiers partageant la même structure, comme des fichiers d'export mensuels.
IncludeFiles	Liste d'extensions de fichiers à inclure, séparées par des virgules. Valeur par défaut : CSV,TXT,TAB. Compatible avec les fichiers sans extension (NOEXT), les archives (ZIP, TAR, GZ), les masques de fichiers et les filtres de date. Exemple : IncludeFiles=2020*.csv,TXT.
ExcludeFiles	Liste d'extensions de fichiers à exclure, séparées par des virgules. Accepte les mêmes filtres de date et de masque que IncludeFiles. Exemple : ExcludeFiles=TXT.
InsertMode	Contrôle la façon dont les données sont écrites dans les fichiers CSV. FilePerBatch crée un nouveau fichier CSV par lot. Requis pour NEC Cloud. SingleFile écrit toutes les données dans un seul fichier. Pour les chemins locaux et réseau uniquement.
CreateBatchFolder	Crée un dossier lorsque InsertMode est défini sur FilePerBatch. Valeur par défaut : true.
BatchNamingConvention	Format de nommage des fichiers de lot. Timestamp_BatchNumber utilise le format yyyyMMddhhmmssSSS_batchNumber. TableName_BatchNumber utilise le format TableName_batchNumber.csv. Valeur par défaut.

Paramètres avancés

Ces paramètres déterminent la façon dont le connecteur suit les modifications de données, gère l'heure et la région, et traite les enregistrements pendant l'extraction. Ajustez-les selon votre environnement du fichier plat afin que les résultats restent exacts et cohérents.

Paramètre	Description
Type de suivi	Méthode de suivi des modifications de données : Aucun ou Date.
Region	Paramètre régional du connecteur, si la configuration l'exige.
Fuseau horaire	Fuseau horaire correspondant à l'environnement du fichier plat.
Décalage de temps	Décalage d'actualisation en secondes pour compenser les écarts de synchronisation lors de la sélection des enregistrements. Minimum 0, maximum 3600.
Taille du lot	Nombre d'enregistrements traités par lot lors de l'extraction. Des lots plus grands peuvent améliorer les performances mais consomment davantage de mémoire. La valeur par défaut est 2000, le maximum est 10000. À ajuster selon la vitesse du réseau et les performances du disque. La valeur par défaut convient dans la plupart des cas.

Exemple de configuration

Connexion source de fichier plat entièrement configurée dans DataSync, avec toutes les propriétés et tous les paramètres complétés.