Delta Lake : le socle d’abord

Une plateforme de données ne se juge pas le jour de la démonstration, mais le jour où un flux échoue à trois heures du matin. C’est là que le socle compte.

Trois couches, trois promesses

• Bronze : la donnée telle qu’elle est arrivée, horodatée, jamais modifiée. On peut toujours tout recalculer à partir d’elle.
• Silver : la donnée nettoyée, typée, dédoublonnée, avec ses règles de qualité écrites et vérifiées à chaque chargement.
• Gold : la donnée prête pour un usage, modélisée pour un tableau de bord ou une application, et rien d’autre.

Pourquoi Delta Lake

Le format Delta apporte ce qui manquait aux fichiers Parquet seuls : des transactions (un chargement réussit entièrement ou pas du tout), l’historique des versions (on peut relire la table telle qu’elle était hier) et le MERGE pour les mises à jour incrémentales.

Rendre chaque flux rejouable

Un flux doit pouvoir être relancé pour une date donnée sans dupliquer les données. Concrètement : des chargements idempotents, des fenêtres de dates explicites dans Data Factory, et un MERGE sur une clé métier plutôt qu’un ajout aveugle.

La qualité, écrite comme du code

Les règles (« un montant n’est jamais négatif », « chaque commande a un client ») vivent dans le dépôt, à côté des notebooks, et bloquent le passage en silver quand elles échouent. Une donnée fausse en gold coûte bien plus cher qu’un retard.

La vitesse vient après

Le streaming, les tableaux de bord en temps réel, le machine learning : tout cela tient debout seulement si les couches du dessous sont fiables. Je commence toujours par là.