↩
Parcours
/
PROJECTS
Dataform Modeling Lab.
Un framework d’utilitaires éprouvé en production pour Google Dataform, qui transforme les définitions de modèles longues et répétitives en configuration concise. Il standardise la construction des pipelines BigQuery, pour livrer les modèles plus vite avec la gouvernance et la maîtrise des coûts intégrées.
- Moins de code répétitif : un pattern factory remplace des définitions de modèles de 150 lignes par une vingtaine de lignes de configuration.
- Incrémental par défaut : opérations MERGE par partition avec détection intelligente du premier run, qui bascule en mode snapshot pour réduire le coût, d’environ 38 % lors des tests.
- Évolution de schéma : migration de schéma dynamique avec détection automatique des colonnes et résolution des conflits.
- Qualité et gouvernance : un système d’assertions basé sur des vues pour la qualité des données et les règles métier, qui n’analyse que les partitions concernées afin de garder des contrôles peu coûteux, plus des labels BigQuery pour le suivi des coûts.
JavaScript sur BigQuery et Dataform, sous licence MIT.