Junior Data Engineer
Cortex
full-time
Posted on:
Location Type: Remote
Location: Brasil
Visit company websiteExplore more
Job Level
About the role
- Desenvolver, manter e otimizar pipelines de dados utilizando Apache Spark.
- Implementar e gerenciar soluções de dados na plataforma Databricks.
- Implementar e gerenciar soluções de orquestração de pipeline de dados na plataforma Apache Airflow.
- Projetar e implementar arquitetura de dados na AWS, utilizando serviços como S3, RDS, DynamoDB, ECS, EKS, Glue, Lambda, entre outros.
- Garantir a qualidade e integridade dos dados através de práticas de validação e monitoramento.
- Colaborar com equipes de análise de dados, ciência de dados e outros stakeholders para entender necessidades de dados e fornecer soluções eficazes.
- Participar na definição e implementação de boas práticas de engenharia de dados.
- Documentar processos, pipelines e arquitetura de dados de forma clara e detalhada.
Requirements
- Formação em Ciência da Computação, Engenharia de Dados, Sistemas de Informação ou áreas relacionadas.
- Experiência comprovada como Data Engineer ou em funções similares.
- Experiência com ferramentas de orquestração de workflows, como Apache Airflow.
- Conhecimento em linguagens de programação como Python.
- Conhecimento intermediário em Apache Spark.
- Experiência com Databricks e suas funcionalidades.
- Experiência em arquitetura de dados na AWS, incluindo serviços como S3,RDS, DynamoDB, ECS, EKS, Glue e Lambda.
- Sólidos conhecimentos em SQL e na modelagem de dados.
- Experiência com ferramentas de ETL/ELT.
- Capacidade de trabalhar de forma colaborativa em um ambiente ágil.
- Boas habilidades de comunicação e capacidade de traduzir requisitos de negócio em soluções técnicas.
Benefits
- Vale Refeição e Alimentação;
- Gympass/TotalPass;
- Vittude;
- Auxílio home-office;
- Plano de Saúde e Plano Odontológico (odonto é opcional);
- Auxílio creche (até os 6 anos completos da criança):
- Licença-Maternidade, Paternidade e Adotante Estendidas (#todasasfamíliasimportam);
- Seguro de Vida;
- Day Off de Aniversário (Um dia de folga para tirar no dia ou durante o mês do seu aniversário);
- Dia da Família (Um dia de folga para mamães e papais tirarem entre os meses de maio e agosto e aproveitar como quiserem);
- Pausa Mental (Uma semana corrida de folga em dezembro para que descansem e recarreguem as baterias.
Applicant Tracking System Keywords
Tip: use these terms in your resume and cover letter to boost ATS matches.
Hard Skills & Tools
Apache SparkDatabricksApache AirflowAWSS3RDSDynamoDBECSEKSGlueLambdaPythonSQL
Soft Skills
colaboraçãocomunicaçãotradução de requisitostrabalho em equiperesolução de problemasorganizaçãodocumentaçãovalidação de dadosmonitoramentoimplementação de boas práticas