Data Engineer – Azure Databricks

Résumé du poste

Design, develop, and maintain scalable batch and streaming data pipelines using Azure Databricks and Azure Data Factory. Collaborate with data scientists, analysts, and governance teams to ensure data quality, performance optimization, and effective data integration.

Détails du poste

Lieu : Montréal - siège social BDC, 5 Place Ville Marie Mode de travail : Hybride - 3 jours/semaine au bureau, incluant obligatoirement un lundi ou un vendredi Heures : 37,5 h/semaine, temps plein Durée : 24 mois, sans option de renouvellement Niveau : Intermédiaire - 5 à 10 ans d’expérience Langues : Bilingue français/anglais À propos du poste BDC recherche un Data Engineer pour rejoindre l’équipe Data Platforms and Tools et contribuer à la fiabilité et à l’efficacité de ses plateformes de données d’entreprise. La personne travaillera avec les Data Scientists, Data Analysts, équipes de gouvernance et équipes d’affaires afin de rendre les données disponibles pour les activités analytiques. Le mandat est fortement axé sur Azure Databricks, Python/PySpark, Spark et Azure Data Factory, avec la conception et le maintien de pipelines de données batch et streaming alimentant la plateforme Cloud Enterprise Data Platform. Exigences principales 5+ années d’expérience comme Data Engineer 5+ années d’expérience avec Python et Spark 4+ années d’expérience avec Databricks Expérience concrète dans la conception et le développement de pipelines Data / ETL Maîtrise de Azure Data Factory Maîtrise de Azure Data Lake Expérience avec Azure DevOps et Azure DevOps Pipelines Solide expérience avec SQL Expérience avec les bases de données relationnelles Expérience en Data Modeling Expérience en Data Warehousing Expérience en optimisation des performances Expérience avec différentes sources de données : API, bases de données, fichiers, etc. Expérience avec le traitement de volumes importants de données Connaissance des méthodologies Agile Baccalauréat en TI, informatique, statistiques, mathématiques ou domaine connexe Bilinguisme français/anglais Atouts Expérience avec Google BigQuery Expérience avec les pipelines de données streaming et batch Expérience avec des pratiques de Data Quality-by-Design Expérience avec la gouvernance des données et collaboration avec des Data Stewards Expérience avec les SLO de pipelines de données Responsabilités principales Concevoir, documenter et développer des pipelines de données évolutifs. Ingestérer et transformer des données provenant d’API, bases de données, fichiers et autres sources. Développer des pipelines batch et streaming vers Azure Databricks. Optimiser les traitements pour améliorer la performance, l’efficacité et les coûts. Diagnostiquer et résoudre les problèmes liés aux pipelines. Assurer la qualité et la disponibilité des données. Participer à la documentation des SLO des pipelines. Appliquer les standards de Data Integration, Data Modeling et Data Quality-by-Design. Collaborer avec les Data Scientists, Data Analysts et équipes d’affaires. Collaborer avec les Data Stewards et l’équipe Data Governance. Contribuer aux frameworks, librairies et bonnes pratiques de la plateforme Data. Participer à l’estimation des User Stories et Acceptance Criteria. Partager les bonnes pratiques avec la communauté Data Platforms and Tools. En soumettant votre candidature, vous consentez à ce que Xideral recueille, utilise et conserve vos renseignements personnels uniquement à des fins de recrutement et de sélection pour ce poste ou pour des opportunités similaires en lien avec vos domaines d’expertise. Vos informations seront traitées de manière confidentielle et conformément à la Loi 25 sur la protection des renseignements personnels du Québec. Vous pouvez en tout temps demander l’accès, la rectification ou la suppression de vos données en nous contactant à l’adresse suivante : contact@xideral.ca.

Ce que vous ferez

Design, develop, and maintain scalable batch and streaming data pipelines using Azure Databricks and Azure Data Factory. Collaborate with data scientists, analysts, and governance teams to ensure data quality, performance optimization, and effective data integration.

Exigences

Requires at least 5 years of experience in data engineering with strong proficiency in Python, Spark, and Databricks. Candidates must hold a bachelor's degree in a relevant field and possess solid experience with Azure cloud services and data modeling.

Compétences indiquées

• SQL · Souhaitée
• Agile · Souhaitée
• Python · Souhaitée

Autres compétences pertinentes

Relevées dans la description du poste. Confirmez les exigences importantes ci-dessus.

• Azure Databricks
• Python
• PySpark
• Spark
• Azure Data Factory
• Azure Data Lake
• Azure DevOps
• SQL
• Data Modeling
• Data Warehousing
• ETL
• Data Pipelines
• Agile
• Data Quality
• Data Governance

Domaines d’emploi

• Data & Analytics
• Technology
• Software
• Engineering
• Consulting