Intégrer 10m de lignes en delta : de 5h à 15 min
Dans le vaste univers du traitement des données, être rapide et efficace, c'est le nerf de la guerre.
Lors de l'interview d'un expert en BI, Daniel nous a expliquer comment il a pu solutionner un défi qui est somme toute assez courant dans le monde de la DATA.
En passant du mode classique ETL de Talend à un mode ELT (comme expliqué dans l'article ETL vs ELT), son équipe a obtenu de belles performances : de 5h d'exécution à job à 15 minutes.
Un Casse-Tête de Données
Imaginez un peu le défi : chaque jour, il fallait intégrer pas moins de 10 millions de lignes de commandes, factures et devis pour Caterpillar, un colosse de l'industrie.
Passionnant, mais pas simple.
Et bien sûr, les données pouvaient bouger tout le temps.
Il fallait envoyer le delta, donc tout ce qui avait été modifié/ajouté depuis la veille.
Sans avoir la possibilité de détecter facilement ces changements.
Un vrai casse-tête.
La Solution: Un Virage Audacieux vers l'ELT
Alors, quelle a été la clé ? Un pivot audacieux vers la philosophie ELT.
Plutôt que de continuer dans un processus ETL qui prenait des heures et des ressources, l'équipe a joué la carte de l'ELT.
Cette approche a permis de mettre à profit la puissance de SQL Server, la base de données cible, pour transformer les données là où elles résident.
Le Processus: Simplifier pour Gagner
Au lieu de se compliquer la vie à transformer les données avant de les envoyer, l'équipe a choisi de les insérer directement dans la base, puis de laisser SQL Server faire le gros du travail.
Ils ont utilisé un système malin de checksum pour repérer les lignes modifiées, évitant ainsi de devoir comparer les données une par une.
Le Résultat: Un Succès Foudroyant
Et bim ! Le temps de traitement a dégringolé de 5 heures à juste 15 minutes.
Cette amélioration spectaculaire a non seulement boosté les opérations quotidiennes mais a aussi rendu la gestion des données plus agile, s'adaptant mieux aux besoins changeants de l'entreprise.
Un simple changement de paradigme --> des heures de gagnées
Cette aventure souligne combien il est crucial d'être flexible et innovant dans le traitement des données.
En optant pour une stratégie ELT avec Talend et en exploitant astucieusement SQL Server, l'équipe a relevé un défi de taille et a pavé la voie vers des processus plus efficaces.
Cette transformation, de 5 heures à 15 minutes, est la preuve vivante que les bonnes stratégies et les bons outils, comme Talend en mode ELT, peuvent réellement révolutionner le traitement des données.
C'est une invitation à repenser les méthodes traditionnelles et à faire de la veille continuelle.
Pour gagner en innovation, et relever les défis d'intégration des données.
À PROPOS
Le collectif de freelances experts en intégration de données.
Créé avec © systeme.io
