En tant que Senior Cloud Data Engineer chez Progi, vous serez responsable de la transformation et orchestration de la plateforme de données cloud, avec un focus particulier sur les couches Silver et Gold (BigQuery, Dataform, Cloud Composer).
Votre rôle sera central dans l’évolution de notre plateforme vers un modèle data-driven avancé, incluant l’optimisation des coûts, la performance des pipelines et la mise en place des premières capacités en Machine Learning / AI en production.
Vous agirez en propriétaire end-to-end des pipelines de données (architecture medallion) et contribuerez activement à bâtir une plateforme robuste, performante et prête pour les usages analytiques et prédictifs.
Responsabilités principales
Ownership de la plateforme data (Medallion)
- Concevoir, construire et maintenir les couches Silver et Gold dans BigQuery
- Assurer l’implémentation complète d’une architecture Medallion (bronze / silver / gold)
- Garantir la qualité, la cohérence et la scalabilité des datasets
Orchestration & pipelines
- Développer et maintenir des pipelines ELT/ETL avec Dataform et Cloud Composer
- Orchestrer les workflows de transformation et de chargement de données
- Assurer un monitoring fiable des pipelines en production
Ingestion de données
- Implémenter des stratégies d’ingestion via :
- APIs
- Bases de données (MySQL, etc.)
- Standardiser les flux d’ingestion pour assurer leur robustesse et leur réutilisabilité
Optimisation BigQuery (clé du rôle)
- Optimiser les coûts et les performances des workloads BigQuery
- Mettre en place des bonnes pratiques :
- partitioning / clustering
- query optimization
- data lifecycle management
- Suivre et améliorer en continu l’efficacité de la plateforme
Data & Machine Learning enablement
- Collaborer à la mise en place des premiers cas d’usage ML/AI
- Préparer les données pour des pipelines de machine learning en production
- Participer à l’intégration avec les outils GCP liés au ML (ex : Vertex AI)
CI/CD & bonnes pratiques
- Contribuer à la mise en place et l’amélioration des pipelines CI/CD (Git, automatisation)
- Appliquer les standards d’ingénierie modernes (tests, versioning, documentation)
Collaboration
- Travailler étroitement avec les équipes BI, produit et techniques
- Participer à la définition des besoins analytiques et des modèles de données
- Promouvoir une culture de data engineering orientée performance et valeur métier
Profil recherché Expérience
- Minimum 5 ans d’expérience en data engineering
- Minimum 2 ans sur Google Cloud Platform (GCP)
Compétences techniques
- Excellente maîtrise de :
- Expérience solide avec :
- BigQuery
- Dataform
- Cloud Composer
- Bonne compréhension des architectures :
- Data warehouse
- Medallion architecture
Expérience pratique souhaitée
- Construction de pipelines de données en production
- Optimisation des coûts et performance BigQuery
- Migration ou modernisation vers le cloud
- Expérience avec des projets de Machine Learning (atout fort)
Atouts
- Expérience avec CI/CD et Git
- Connaissance des outils d’ingestion (API, bases transactionnelles)
- Expérience dans un environnement data à forte volumétrie
Ce qui différencie ce rôle
- Ownership complet de la couche de transformation (pas juste builder)
- Impact direct sur :
- les coûts cloud
- la performance data
- la stratégie AI/ML
- Rôle hybride Data Engineer + Data Platform + AI en devenir
La connaissance de l'anglais est essentiel afin d'accomplir sa prescription de travail avec les différentes parties prenantes.
