[TS] ENGENHEIRO DE PIPELINES DE DADOS (MICROSOFT FABRIC)

Résumé du poste

Build and validate document and metadata ingestion pipelines from SharePoint Online into OneLake, using Bronze, Silver, and Gold layers with incremental loading, transformations, quality controls, lineage, and monitoring. Develop reusable and tested pipeline components, operational dashboards and diagnostics, deployment documentation, and runbooks while collaborating with architecture, SharePoint, AI, and business teams.

Détails du poste

Ouvir, criar e inspirar a transformação digital dos nossos clientes é o que nos motiva. De pessoas para pessoas 😍 Acreditamos que, mais do que tecnologia, a transformação digital é sobre como as pessoas conduzem as mudanças nas empresas. E por entender isso, o fator humano é o que nos faz evoluir e modernizar processos. Não é somente mais uma oportunidade... e sim um convite para você fazer parte dessa história. Na iblue Consulting você vai trabalhar com uma equipe multidisciplinar, que é responsável por alavancar o crescimento do negócio através das nossas pessoas. 🚀 Buscamos profissionais com os seguintes valores que corroboram com os nossos valores: Cuidado com as pessoas; Responsabilidade; Ética; Excelência e Resultados; Cliente no centro. Requisitos Estamos em busca de um ENGENHEIRO DE PIPELINES DE DADOS MICROSOFT FABRIC com experiência prática em Microsoft Fabric, OneLake, lakehouses, notebooks, SQL, Python ou PySpark, arquitetura medallion e construção de pipelines de dados. Se você possui experiência em metodologias ágeis, qualidade de código, testes e automação e se identifica com valores como colaboração, responsabilidade e comprometimento, essa oportunidade é para você! Principais Responsabilidades Configurar e testar a conexão com o SharePoint Online para o escopo delimitado do piloto. Desenvolver componentes de pipeline para ingestão de documentos e metadados selecionados na camada Bronze do OneLake. Implementar padrões de carga incremental, detecção de alterações, novas tentativas, registro de execução e tratamento de exceções. Desenvolver a lógica da camada Silver para limpeza, normalização, eliminação de duplicidades, tratamento de versões e resolução de conflitos. Implementar componentes da camada Gold para preparação de produtos de informação validados conforme as regras de negócio. Apoiar processos de extração de atributos, enriquecimento de informações e validação pelos responsáveis de negócio. Registrar a linhagem entre documentos de origem, execuções dos pipelines, registros transformados e resultados validados. Testar cenários de inclusão, atualização, versionamento, duplicidade, exclusão, exceção e alteração de documentos. Implementar painéis operacionais, alertas, históricos de execução, logs e diagnósticos de suporte. Colaborar com as equipes de SharePoint e arquitetura da informação para compreender estruturas de origem, metadados, permissões e comportamentos de alteração. Documentar restrições técnicas, comportamentos não suportados, soluções alternativas, desempenho e considerações para produção. Empacotar códigos, notebooks, configurações e definições de pipelines utilizando práticas aprovadas de versionamento e releases. Produzir testes, documentação técnica, instruções de implantação e runbooks operacionais. Contexto Técnico de Atuação no Projeto Atuação prática na construção e validação do fluxo de ingestão de documentos, metadados e dados selecionados do SharePoint Online para o OneLake. A solução utilizará Microsoft Fabric, lakehouses, notebooks, SQL, Spark ou PySpark, pipelines e arquitetura medallion. Os dados serão organizados nas camadas Bronze, Silver e Gold, com controles de qualidade, transformação, validação, linhagem e monitoramento. O projeto deverá validar o comportamento real de conectores e pipelines em relação a metadados, permissões, versões, atualizações, duplicidades e exclusões. A solução deverá contemplar componentes reutilizáveis de ingestão, transformação, observabilidade, tratamento de exceções e recuperação. O profissional atuará sob direcionamento da arquitetura de Fabric e dados e em colaboração com SharePoint, arquitetura da informação, IA e áreas de negócio. Requisitos e Qualificações Experiência prática com Microsoft Fabric, OneLake, lakehouses, notebooks e pipelines de dados. Conhecimento de transformações baseadas em Spark, PySpark ou SQL. Experiência em arquitetura e desenvolvimento de pipelines, cargas incrementais e detecção de alterações. Conhecimento de tratamento de esquemas, qualidade de dados, observabilidade, recuperação e tratamento de exceções. Experiência na integração de APIs REST, arquivos, metadados de documentos ou fontes de dados do Microsoft 365. Proficiência em SQL e em pelo menos uma linguagem de engenharia de dados, como Python ou PySpark. Conhecimento de arquitetura medallion e organização de dados nas camadas Bronze, Silver e Gold. Experiência com controle de código-fonte, parametrização, configuração de ambientes, implantação e testes. Capacidade de desenvolver testes repetíveis para demonstrar o comportamento real da plataforma. Experiência na criação de documentação técnica, runbooks, procedimentos de implantação e materiais de suporte. Inglês intermediário a avançado (B2 ou superior), com capacidade de comunicação escrita e verbal em ambiente corporativo e técnico. Habilidades Comportamentais Pensamento analítico e capacidade de investigação técnica. Rigor na validação de dados, execução de testes e documentação de resultados. Capacidade de solucionar problemas e investigar falhas de integração ou processamento. Organização, atenção aos detalhes e disciplina de engenharia. Colaboração com arquitetos, desenvolvedores e profissionais de negócio. Comunicação clara sobre restrições, riscos, falhas e comportamentos da plataforma. Proatividade e orientação à automação e melhoria contínua. Comprometimento com qualidade, rastreabilidade, observabilidade e sustentabilidade. Disponibilidade para atuação no fuso horário: Eastern Standard Time - EST (diferença de 2 horas a menos que a de Brasília - Brasil). Diferenciais Conhecimento de SharePoint Online, Microsoft Graph, bibliotecas de documentos, tipos de conteúdo, metadados e versionamento. Experiência com formatos Delta, processamento distribuído e arquitetura medallion. Experiência com modelos semânticos, processamento de documentos ou preparação de dados para soluções de IA. Conhecimento de permissões, identidade e segurança em integrações com Microsoft 365. Experiência na criação de soluções piloto preparadas para posterior fortalecimento e utilização em produção. Experiência com práticas de DevOps, integração contínua, implantação contínua e monitoramento. Certificações Microsoft Fabric Analytics Engineer, Azure Data Engineer ou relacionadas. Benefícios O que você terá do lado azul 🚀💙 CLT 👇 Programa de Saúde e Bem-Estar 🧘‍♀️🧘‍♂️ Plano de Saúde SulAmerica para você (cobertura nacional, enfermaria e com coparticipação); Plano de academia TotalPass. Para apoiar o seu dia a dia 😁 Notebook de última geração; Vale Transporte; Vale Refeição: R$ 770,00 (média 22 dias úteis/mês). Você pode escolher incluir os valores no VR ou no cartão Flash para você utilizar do jeito que você quiser; Bônus por indicação de candidatos; Convênio Financeira Creditas. Para sua carreira🚀 Avaliação de desempenho anual com PDI - Plano de Desenvolvimento Individual; Treinamentos na iblue Academy; Treinamento na Udemy; Certificações (AWS, Microsoft; IBM e H20); Parcerias educacionais (com possibilidade de ajuda de custo atrelado a sua avaliação de desempenho); Trilha de carreira estruturada Y (você pode escolher o caminho da gestão ou especialista). COOPERATIVA 👇 Programa de Saúde e Bem-Estar 🧘‍♀️🧘‍♂️ Pacotes de benefícios oferecidos pela cooperativa que você poderá escolher de acordo com a sua necessidade; Descanso remunerado de 15 dias, após 12º. mês. Para apoiar o seu dia a dia 😁 Notebook de última geração; Bônus por indicação de candidatos. Para sua carreira🚀 Treinamentos na iblue Academy; Treinamento na Udemy; Certificações (AWS, Microsoft; IBM e H20). PJ 👇 Para apoiar o seu dia a dia 😁 Notebook de última geração; Bônus por indicação de candidatos. Para sua carreira🚀 Treinamentos na iblue Academy; Treinamento na Udemy; Certificações (AWS, Microsoft; IBM e H20).

Ce que vous ferez

Build and validate document and metadata ingestion pipelines from SharePoint Online into OneLake, using Bronze, Silver, and Gold layers with incremental loading, transformations, quality controls, lineage, and monitoring. Develop reusable and tested pipeline components, operational dashboards and diagnostics, deployment documentation, and runbooks while collaborating with architecture, SharePoint, AI, and business teams.

Exigences

Requires hands-on experience with Microsoft Fabric, OneLake, lakehouses, data pipelines, medallion architecture, SQL, and Python or PySpark, along with skills in incremental processing, data quality, observability, exception handling, testing, and source control. Candidates should have experience integrating APIs, files, document metadata, or Microsoft 365 sources, be able to produce technical documentation, and have intermediate-to-advanced English proficiency (B2 or higher).

Avantages

• Health and Wellness Program
• Health Insurance
• Gym Membership
• Laptop
• Transportation Allowance
• Meal Voucher
• Candidate Referral Bonus
• Financial Services Partnership
• Annual Performance Review
• Individual Development Plan
• Training
• Certification Support
• Educational Partnerships
• Career Development Path
• Paid Leave

Compétences indiquées

• SQL · Souhaitée
• API REST · Souhaitée
• Python · Souhaitée

Autres compétences pertinentes

Relevées dans la description du poste. Confirmez les exigences importantes ci-dessus.

• Microsoft Fabric
• OneLake
• Data Pipelines
• Lakehouses
• SQL
• Python
• PySpark
• Apache Spark
• Medallion Architecture
• Incremental Data Loading
• Change Detection
• Data Quality
• REST APIs
• Microsoft Graph
• SharePoint Online
• Data Lineage

Domaines d’emploi

• Data & Analytics
• Technology
• Software
• Engineering
• Consulting

Autres postes chez iblue