Vibra

Senior Data Engineer

Vibra

full-time

Posted on:

Location Type: Hybrid

Location: Rio de Janeiro • Brazil

Visit company website

Explore more

✨ AI Apply
Apply

Job Level

Senior

Tech Stack

AirflowApacheAzureBigQueryCassandraCloudETLGoogle Cloud PlatformMongoDBOraclePostgresPySparkPythonSQLTableau

About the role

  • Projetar, construir e manter pipelines de dados robustos e escaláveis para ingestão, processamento e transformação de grandes volumes de dados.
  • Desenvolver e otimizar modelos de dados para sistemas analíticos.
  • Implementar e gerenciar soluções de armazenamento, incluindo data lakes e data warehouses, em ambientes em nuvem.
  • Garantir a integridade, qualidade e governança dos dados, aplicando boas práticas de gerenciamento e segurança e FINOPS.
  • Colaborar com equipes multidisciplinares para entender requisitos de negócio e oferecer soluções orientadas por dados.
  • Monitorar e otimizar o desempenho de pipelines, bases de dados e soluções de integração.
  • Liderar iniciativas de modernização de arquitetura de dados, utilizando tecnologias de ponta e frameworks modernos.
  • Atuar como referência técnica e mentorar engenheiros de dados juniores e plenos.

Requirements

  • Graduação em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou áreas relacionadas.
  • Experiência com engenharia de dados ou funções similares.
  • Experiência comprovada com plataformas de data viz(tableau, power bi e/ou looker).
  • Histórico de liderança ou participação ativa em projetos complexos de integração e migração para nuvem.
  • Cloud Computing;
  • Experiência em GCP e seus serviços, BigQuery, Cloud Composer, Apache Airflow, Dataflow, Pub/Sub, Cloud Run, Cloud Function, KMS, Secret Manager,
  • DataStream, Vertex AI e GitHub;
  • Experiência em Azure e seus serviços, como Azure Data Factory, Azure Synapse Analytics e Azure Data Lake Storage;
  • Banco de Dados: Conhecimento em modelagem de dados, bancos de dados relacionais (ex.: Oracle, SQL Server, PostgreSQL) e não relacionais (ex.: MongoDB, Cassandra).
  • Linguagens de Programação: Proficiência em Python e Pyspark (usado para scripts e automação) e SQL (para manipulação e consulta de dados);
  • ETL/ELT: Experiência na construção de pipelines de ETL/ELT para ingestão e transformação de dados.
  • Data Lakes: Conhecimento de arquiteturas de Data Lake, armazenamento e otimização de dados (ex.: Delta Lake);
  • DevOps: Experiência com pipelines de CI/CD e práticas de DataOps para automação de deploys e monitoramento de fluxos de dados;
  • Segurança e Governança: Entendimento de práticas de segurança em nuvem, criptografia de dados e implementação de políticas de governança;
  • Orquestração de Dados: Uso de ferramentas como Azure Data Factory e/ou Synapse e/ou Airflow/composer para integração e movimentação de dados.
  • Desempenho e Otimização: Experiência em técnicas para melhorar a performance de pipelines de dados e consultas em ambientes distribuídos e não distribuídos.
  • APIs: Conhecimento em extração de dados via APIs RESTful.
  • Certificações de engenharia de dados nas plataformas GCP e/ou Azure (Professional Data Engineer, Azure Data Engineer Associate).
Benefits
  • 📊 Check your resume score for this job Improve your chances of getting an interview by checking your resume score before you apply. Check Resume Score
Applicant Tracking System Keywords

Tip: use these terms in your resume and cover letter to boost ATS matches.

Hard Skills & Tools
engenharia de dadosmodelagem de dadosETLELTprogramação em Pythonprogramação em PysparkSQLdata lakesCI/CDDataOps
Soft Skills
liderançacolaboraçãomentoriacomunicação
Certifications
Professional Data EngineerAzure Data Engineer Associate