Pour ce qui est des pipelines de donn\u00e9es modernes, les organisations automatisent la plupart de ces \u00e9tapes pour optimiser leur gestion des donn\u00e9es<\/a>. Les pipelines de donn\u00e9es utilisent diverses technologies, collectivement appel\u00e9es la data stack ou stack technologique de donn\u00e9es<\/a>.<\/p>\n Les organisations g\u00e9n\u00e8rent et collectent des volumes croissants de donn\u00e9es provenant d’un large \u00e9ventail de syst\u00e8mes. Cependant, ces donn\u00e9es brutes ne sont pas utilisables par les \u00e9quipes en tant que telles. Elles doivent \u00eatre nettoy\u00e9es, filtr\u00e9es, enrichies et stock\u00e9es avant de pouvoir \u00eatre utilis\u00e9es efficacement, par exemple \u00e0 des fins d’analyse. C’est le r\u00f4le d’un pipeline de donn\u00e9es, qui \u00e9limine les \u00e9tapes manuelles et permet d\u2019automatiser la gestion des donn\u00e9es pour l’organisation. Utilisation d’un pipeline de donn\u00e9es :<\/p>\n Les pipelines de donn\u00e9es combinent plusieurs \u00e9tapes, qui se r\u00e9partissent en trois groupes :<\/p>\n Les donn\u00e9es sont collect\u00e9es\/extraites des syst\u00e8mes sources, via des processus tels que Extraction, transformation, chargement (ETL) et API<\/a>.<\/p>\n Les donn\u00e9es sont ensuite nettoy\u00e9es et trait\u00e9es pour les rendre utilisables par l’entreprise. Il peut s’agir de mesures visant \u00e0 am\u00e9liorer la qualit\u00e9<\/a>, \u00e0 l’enrichir de donn\u00e9es suppl\u00e9mentaires et\/ou \u00e0 la combiner avec d’autres sources de donn\u00e9es internes.<\/p>\n Une fois transform\u00e9es, les donn\u00e9es sont stock\u00e9es dans un r\u00e9f\u00e9rentiel de donn\u00e9es<\/a> (tel qu’un data warehouse), o\u00f9 elles sont mises \u00e0 la disposition des utilisateurs.<\/p>\n Les pipelines de donn\u00e9es doivent \u00eatre transparents, de bout en bout, et fournir des donn\u00e9es fiables et de haute qualit\u00e9.<\/p>\n Les d\u00e9pendances constituent l’un des principaux d\u00e9fis \u00e0 relever pour y parvenir. Il s’agit de goulots d’\u00e9tranglement qui obligent les pipelines \u00e0 attendre (pour des raisons techniques ou commerciales) avant que les flux de donn\u00e9es puissent se poursuivre.<\/p>\n Il existe trois types principaux de pipelines de donn\u00e9es :<\/p>\n Les lots de donn\u00e9es sont trait\u00e9s par le pipeline de donn\u00e9es \u00e0 des intervalles de temps d\u00e9termin\u00e9s. Cette op\u00e9ration se d\u00e9roule normalement en dehors des heures de pic d\u2019activit\u00e9 afin d’\u00e9viter tout impact sur les autres charges de travail informatiques. Le traitement par lots est la solution optimale lorsque les donn\u00e9es ne sont pas requises en temps r\u00e9el, comme les donn\u00e9es comptables utilis\u00e9es pour les rapports de fin de mois.<\/p>\n Les donn\u00e9es sont ainsi mises \u00e0 jour en permanence au fur et \u00e0 mesure de leur cr\u00e9ation. Par exemple, un \u00e9v\u00e9nement tel que la vente d’un produit sur un site de commerce \u00e9lectronique mettrait automatiquement \u00e0 jour la pile de donn\u00e9es, ce qui permettrait une gestion des stocks en temps r\u00e9el.<\/p>\n Cette approche hybride combine le traitement par lots et le traitement en temps r\u00e9el dans un seul pipeline de donn\u00e9es. Il est particuli\u00e8rement utile dans les environnements de big data<\/a> avec diff\u00e9rents types d’applications analytiques.<\/p>\n L\u2019approche ETL (extraction, transformation et le chargement) est un outil cl\u00e9 utilis\u00e9 dans de nombreux pipelines de donn\u00e9es, mais ce n’est qu’un sous-processus dans le pipeline de bout en bout. Les principales diff\u00e9rences sont les suivantes :<\/p>\nPourquoi les pipelines de donn\u00e9es sont-ils importants ?<\/h2>\n
\n
Quelles sont les \u00e9tapes d’un pipeline de donn\u00e9es ?<\/h2>\n
1. L’extraction des donn\u00e9es<\/h3>\n
2. La transformation des donn\u00e9es<\/h3>\n
3. Le stockage des donn\u00e9es<\/h3>\n
Quels sont les types de pipelines de donn\u00e9es ?<\/h2>\n
Traitement par lots<\/h3>\n
Flux de donn\u00e9es<\/h3>\n
Architecture lambda<\/h3>\n
Quelle est la diff\u00e9rence entre les pipelines de donn\u00e9es et l\u2019approche ETL (extraction, transformation et chargement) ?<\/h2>\n
\n
![\"Demandez](\"https:\/\/no-cache.hubspot.com\/cta\/default\/2041226\/6e9b24b0-7e04-4d5e-8124-0f4611387b76.png\")
<\/a><\/span>