Chez Progi, nous développons des solutions logicielles utilisées partout au Canada, notamment dans les secteurs de l’assurance de dommages et de l’automobile.
En tant qu’architecte de données chez Progi, vous jouerez un rôle clé dans la modernisation de notre architecture de données et dans l’évolution de notre plateforme analytique sur Google Cloud Platform (GCP). Vous dirigerez la migration progressive de nos systèmes hérités sur site vers une architecture cloud évolutive, sécurisée et durable, centrée sur BigQuery.
Vous serez responsable de concevoir, de mettre en œuvre et de faire évoluer des pipelines de données fiables, de l’ingestion jusqu’à la mise à disposition de modèles analytiques prêts à être consommés par nos équipes BI. Vous contribuerez également à assurer la coexistence entre les systèmes existants et les nouvelles architectures, tout en garantissant la cohérence des données et l’uniformité des rapports entre nos produits.
Votre rôle sera de définir les bonnes pratiques d’ingénierie de données, d’améliorer la qualité et la gouvernance des données, et de favoriser une utilisation efficace des services GCP afin de soutenir les besoins actuels et futurs de Progi.
Responsabilités principalesArchitecture de données et migration vers GCP
- Concevoir et faire évoluer une architecture de données moderne sur Google Cloud Platform, principalement autour de BigQuery et Cloud Storage (GCS).
- Diriger la migration des bases de données, des entrepôts de données et des pipelines existants depuis SQL Server, MySQL, SSIS et SSAS vers une architecture cible adaptée aux besoins de Progi.
- Évaluer les stratégies de migration et de modernisation en fonction des contraintes techniques, des dépendances, des volumes de données, des coûts et des exigences de disponibilité.
- Concevoir des architectures hybrides permettant de maintenir la continuité des opérations pendant la transition entre les systèmes hérités et les solutions modernisées.
- Définir des modèles de données évolutifs, performants et maintenables, en tenant compte du partitionnement, du clustering, de l’optimisation des requêtes et des coûts dans BigQuery.
Ingénierie des données et orchestration
- Concevoir, développer et maintenir des pipelines ETL/ELT pour extraire, intégrer, transformer et synchroniser les données provenant de différentes sources.
- Utiliser des outils tels qu’Airbyte, Cloud Storage, BigQuery, Cloud Composer et Dataform selon les besoins de chaque flux de données.
- Développer et maintenir des workflows d’orchestration avec Cloud Composer (Apache Airflow), incluant la gestion des dépendances, les reprises après échec, les mécanismes de réexécution et les alertes.
- Développer des transformations SQL dans BigQuery et utiliser Dataform pour gérer les dépendances, les tests, le versionnement et la documentation des modèles analytiques.
- Mettre en place des mécanismes de reprise, de traitement incrémental et de détection des changements lorsque requis par les sources et les objectifs de fraîcheur des données.
- Assurer la compatibilité entre les modèles existants et modernisés afin de permettre une production de rapports cohérente entre les produits Progi.
Qualité, gouvernance et sécurité des données
- Définir et mettre en œuvre des contrôles automatisés pour vérifier l’exactitude, l’intégrité, la cohérence et la fraîcheur des données.
- Établir des stratégies de validation entre les systèmes sources, les données intégrées et les modèles analytiques dans BigQuery.
- Mettre en place des pratiques de documentation, de traçabilité et de gestion des dépendances entre les sources, les pipelines et les modèles.
- Appliquer les bonnes pratiques de sécurité GCP, notamment la gestion des identités et des accès (IAM), le principe du moindre privilège et la protection des données sensibles.
- Assurer la surveillance des pipelines, la gestion des incidents et l’amélioration continue de la fiabilité des traitements.
- Contribuer à la gestion des coûts, à l’optimisation des ressources et à la définition des pratiques opérationnelles de la plateforme de données.
Support à l’infrastructure BI
- Fournir des modèles de données fiables, documentés et performants dans BigQuery pour soutenir les besoins de l’équipe BI.
- Accompagner la transition des rapports et traitements hérités, notamment de SSRS vers Power BI Service.
- Collaborer avec les développeurs BI pour concevoir des modèles adaptés aux tableaux de bord, aux rapports paginés et aux besoins d’analyse transversale entre les produits.
- Définir des contrats de données, des règles de transformation et des conventions de modélisation permettant de standardiser les indicateurs et les résultats analytiques.
- Diagnostiquer et résoudre les problèmes liés à la disponibilité, à la qualité et à la performance des données consommées par les outils BI.
Documentation et collaboration
- Documenter l’architecture cible, les pipelines, les modèles de données, les règles de transformation et les procédures d’exploitation.
- Collaborer avec les équipes de développement, BI, produits et infrastructure afin d’assurer une compréhension commune des besoins et des choix techniques.
- Encadrer les décisions d’architecture et promouvoir les bonnes pratiques d’ingénierie de données, de développement SQL et de gestion du cycle de vie des pipelines.
- Participer à la planification des migrations, à la résolution des incidents et à l’amélioration continue de la plateforme analytique.
Profil recherché
- Diplôme universitaire en informatique, en génie logiciel, en génie des données ou dans un domaine connexe.
- Expérience significative en architecture et en ingénierie de données, incluant la conception et la livraison de pipelines de production.
- Expérience pratique avec Google Cloud Platform, particulièrement BigQuery, Cloud Storage, Cloud Composer et Dataform.
- Excellente maîtrise du SQL et bonne connaissance de Python pour le développement d’outils, l’automatisation et l’intégration de données.
- Expérience avec les processus ETL/ELT, les entrepôts de données, la modélisation analytique et les architectures de données hybrides.
- Expérience de migration ou de modernisation de systèmes hérités, idéalement à partir de SQL Server, SSIS, SSAS ou MySQL.
- Connaissance des pratiques de qualité des données, de tests automatisés, de surveillance, de gestion des incidents et d’optimisation des performances.
- Compréhension des principes de sécurité et de gouvernance des données dans un environnement cloud.
- Capacité à analyser des problèmes complexes, à proposer des architectures durables et à communiquer clairement les compromis techniques.
- Approche rigoureuse et collaborative, axée sur l’amélioration continue et la fiabilité des solutions livrées.
Atouts :
- Expérience avec Power BI Service et la migration de rapports SSRS.
- Expérience avec Airbyte ou des outils comparables d’intégration de données.
- Connaissance des pratiques CI/CD, de la gestion de code avec Git et de l’infrastructure as code, notamment Terraform.
- Expérience dans la modernisation progressive d’un environnement de données hybride.
La connaissance de l’anglais est essentielle afin de collaborer efficacement avec les différentes parties prenantes.
