- \n
- Extract (extraction) : les donn\u00e9es brutes sont consult\u00e9es et d\u00e9plac\u00e9es de leur syst\u00e8me source vers une zone de transit<\/li>\n
- Transform (transformation) : dans la zone de transit, des r\u00e8gles commerciales sont appliqu\u00e9es pour nettoyer, transformer et organiser les donn\u00e9es afin d’en assurer la qualit\u00e9 et la coh\u00e9rence.<\/li>\n
- Load (chargement) : les donn\u00e9es sont ensuite ajout\u00e9es au r\u00e9f\u00e9rentiel.<\/li>\n<\/ul>\n
R\u00e9alis\u00e9 \u00e0 l’aide d’outils logiciels, le processus ETL peut \u00eatre automatis\u00e9 et se d\u00e9rouler sur une base r\u00e9guli\u00e8re, par le biais de mises \u00e0 jour par lots ou en temps r\u00e9el lorsque les donn\u00e9es d’un syst\u00e8me source changent. Ces pipelines ETL (ou pipelines de donn\u00e9es<\/a>) rassemblent des outils et des activit\u00e9s permettant d’automatiser l’int\u00e9gration des donn\u00e9es<\/a>, augmentant ainsi l’efficacit\u00e9 et permettant de les reproduire, de les contr\u00f4ler et de les am\u00e9liorer.<\/p>\n
ETL vs ELT<\/h3>\n
L’ETL est utilis\u00e9 depuis les ann\u00e9es 1970. Plus r\u00e9cemment, le processus ELT (extraction, chargement et transformation) a vu le jour. Comme son nom l’indique, il s’agit d’inverser l’ordre des deuxi\u00e8me et troisi\u00e8me \u00e9tapes, en chargeant les donn\u00e9es dans le r\u00e9f\u00e9rentiel cible, o\u00f9 elles sont ensuite transform\u00e9es. Il n’est donc plus n\u00e9cessaire de disposer d’une zone de transit et la flexibilit\u00e9 de l’analyse des donn\u00e9es<\/a> s’en trouve accrue. Cela signifie que ce syst\u00e8me fonctionne correctement pour les gros volumes de donn\u00e9es non structur\u00e9es, telles que celles stock\u00e9es dans les data lake.<\/p>\n
Pour mener \u00e0 bien l’\u00e9tape de transformation, il faut que les bases de donn\u00e9es centralis\u00e9es disposent \u00e0 la fois de capacit\u00e9s de mise en correspondance des donn\u00e9es ainsi que des capacit\u00e9s de traitement cons\u00e9quentes pour assurer rapidement et de mani\u00e8re efficace cette \u00e9tape. C’est pour cette raison qu’il est pr\u00e9f\u00e9rable de le d\u00e9ployer dans le Cloud, qui fournit une puissance de calcul \u00e9volutive et adapt\u00e9e \u00e0 vos besoins.<\/p>\n
Pourquoi l’ETL est-il important ?<\/h2>\n
Les donn\u00e9es structur\u00e9es et non structur\u00e9es sont d\u00e9sormais produites par de multiples syst\u00e8mes \u00e0 l’int\u00e9rieur et \u00e0 l’ext\u00e9rieur de l’organisation, dans un grand nombre de formats diff\u00e9rents. Pour cr\u00e9er de la valeur, ces donn\u00e9es doivent \u00eatre largement disponibles, notamment pour servir la business intelligence et permettre une meilleure prise de d\u00e9cision fond\u00e9e sur les donn\u00e9es. Elles doivent donc \u00eatre centralis\u00e9es et normalis\u00e9es pour garantir l’accessibilit\u00e9, la qualit\u00e9 et la gouvernance. Les processus ETL permet d’atteindre cet objectif, en les pla\u00e7ant au c\u0153ur du processus :<\/p>\n
- \n
- Analyse des donn\u00e9es et \u00e9tablissement de rapports efficaces et \u00e9clair\u00e9s gr\u00e2ce \u00e0 une vue consolid\u00e9e de l’information<\/li>\n
- Garantie de la qualit\u00e9 et de la gouvernance des donn\u00e9es en appliquant des normes coh\u00e9rentes<\/li>\n
- Une version unique des donn\u00e9es pour tous les membres d\u2019un \u00e9cosyst\u00e8me<\/li>\n
- Un contexte historique pour la business intelligence<\/li>\n
- Augmentation de l’efficacit\u00e9 en rempla\u00e7ant les processus manuels<\/li>\n<\/ul>\n
Quelles sont les \u00e9tapes du processus ETL ?<\/h2>\n
Extract (extraction)<\/h3>\n
Lors de la phase d’extraction des donn\u00e9es, les donn\u00e9es brutes sont copi\u00e9es ou export\u00e9es des sites sources vers une zone de transit. Les donn\u00e9es peuvent \u00eatre structur\u00e9es ou non structur\u00e9es et provenir de sources telles que des bases de donn\u00e9es relationnelles, des plateformes de stockage de donn\u00e9es, des syst\u00e8mes de stockage en Cloud ou des applications d’entreprise (telles que les syst\u00e8mes CRM ou ERP).<\/p>\n
Transform (transformation)<\/h3>\n
Il s’agit de la partie la plus importante du processus ETL, car elle garantit la v\u00e9rification des donn\u00e9es brutes extraites et leur transformation dans la zone de transit afin de respecter les directives de l’entreprise en mati\u00e8re de normes, de qualit\u00e9 et d’accessibilit\u00e9.<\/p>\n
La transformation des donn\u00e9es<\/a> comprend normalement :<\/p>\n
- \n
- Nettoyage – suppression\/r\u00e9solution des incoh\u00e9rences et des valeurs manquantes<\/li>\n
- Normalisation – application de r\u00e8gles de gouvernance standard \u00e0 l’ensemble de donn\u00e9es<\/li>\n
- D\u00e9duplication – \u00e9limination des donn\u00e9es redondantes ou dupliqu\u00e9es<\/li>\n
- V\u00e9rification – suppression des donn\u00e9es inutilisables et signalisation des anomalies<\/li>\n
- Cryptage\/protection des donn\u00e9es – par exemple en rendant anonymes les donn\u00e9es sensibles<\/li>\n
- Tri – organisation des donn\u00e9es par type<\/li>\n
- Am\u00e9lioration – enrichir les datasets<\/a> avec des donn\u00e9es suppl\u00e9mentaires (telles que des donn\u00e9es de r\u00e9f\u00e9rence<\/a>) afin d’en augmenter la valeur<\/li>\n<\/ul>\n
Load (chargement)<\/h3>\n
Une fois les donn\u00e9es transform\u00e9es, elles sont charg\u00e9es dans un r\u00e9f\u00e9rentiel centralis\u00e9, comme un data lake ou un data warehouse<\/a>. Toutes les donn\u00e9es peuvent \u00eatre charg\u00e9es en une seule fois (chargement complet) ou \u00e0 intervalles programm\u00e9s ou lorsqu’un enregistrement est modifi\u00e9 (chargement incr\u00e9mentiel). En g\u00e9n\u00e9ral, cette derni\u00e8re \u00e9tape a lieu en dehors des heures de pointe, lorsque l\u2019activit\u00e9 sur les syst\u00e8mes sources et le data warehouse est la plus faible.<\/p>\n
![\"Demandez](\"https:\/\/no-cache.hubspot.com\/cta\/default\/2041226\/6e9b24b0-7e04-4d5e-8124-0f4611387b76.png\")
<\/a><\/span>