Keyrus

Senior Data Engineer, Azure

Keyrus

full-time

Posted on:

Origin:  • 🇧🇷 Brazil

Visit company website
✨ AI Apply
Manual Apply

Job Level

Senior

Tech Stack

AirflowAzureETLKafkaPySparkPythonSparkSQL

About the role

  • Desenvolver e manter pipelines de dados eficientes, escaláveis e seguros na nuvem Azure (ADF, Databricks).
  • Projetar e implementar processos de ingestão, transformação e armazenamento de dados (ETL/ELT) utilizando ferramentas como Airflow para orquestração.
  • Trabalhar com grandes volumes de dados estruturados e não estruturados, garantindo qualidade, integridade e disponibilidade.
  • Criar e otimizar modelos de dados em ambientes de Data Lake e Data Warehouse.
  • Colaborar com equipes de Data Science, Analytics e Produtos para entregar dados de alto valor para o negócio.
  • Monitorar e garantir a performance das soluções em produção, atuando na identificação e resolução de incidentes.
  • Aplicar boas práticas de versionamento de código (GitHub), segurança e governança de dados.
  • Integrar e processar fluxos de dados em tempo real utilizando Kafka.

Requirements

  • Experiência sólida com serviços Azure (ADF, Databricks).
  • Domínio em PySpark e sólida experiência com SQL e Python.
  • Conhecimentos em Spark para processamento distribuído de dados.
  • Experiência com orquestração de pipelines em Airflow.
  • Experiência com versionamento de código em Git/GitHub.
  • Familiaridade com boas práticas de modelagem de dados, arquitetura de pipelines e documentação.
  • Conhecimentos em soluções de mensageria/streaming, como Kafka.
  • Boa comunicação, postura proativa e trabalho colaborativo com times multidisciplinares.