La Moda

Engenheiro de Dados

La Moda

full-time

Posted on:

Location Type: Remote

Location: Brazil

Visit company website

Explore more

✨ AI Apply
Apply

Tech Stack

AirflowApacheBigQueryCloudDockerETLGoogle Cloud PlatformPythonSparkSQLTerraformVault

About the role

  • Arquitetura de Dados: Desenvolver e manter arquiteturas de Lakehouse/Data Warehouse escaláveis no Google Cloud.
  • Orquestração de Pipelines: Desenvolver, monitorar e otimizar DAGs complexas no Apache Airflow, garantindo a eficiência do agendamento e a gestão de dependências.
  • Desenvolvimento ETL/ELT: Criar processos de ingestão e transformação de dados em larga escala (batch e streaming) utilizando Python, SQL e Dataflow (Apache Beam).
  • Modelagem de Dados: Aplicar técnicas de modelagem (como Kimball ou Data Vault) para estruturar camadas de dados (Raw, Trusted, Refined) no BigQuery.
  • Qualidade e Governança: Implementar frameworks de Data Quality e monitoramento de pipelines para garantir a integridade e confiabilidade dos dados.
  • FinOps de Dados: Otimizar consultas e armazenamento no BigQuery para garantir o melhor equilíbrio entre performance e custo.
  • Liderança Técnica: Atuar como referência para o time, revisando códigos (Pull Requests) e definindo padrões de engenharia.

Requirements

  • Experiência Sólida: Experiência relevante em engenharia de dados, com histórico de entrega de projetos críticos.
  • Especialista em GCP: Domínio das ferramentas:
  • - BigQuery (Particionamento, Clustering, Slots).
  • - Cloud Storage.
  • - Cloud Composer (Airflow).
  • - Cloud Functions e Pub/Sub.
  • Programação: Fluência em Python (foco em manipulação de dados) e SQL avançado.
  • Orquestração: Experiência profunda com Apache Airflow (Custom Operators, Hooks, Sensors e otimização de recursos).
  • Processamento Distribuído: Conhecimento em Spark (Dataproc) ou Apache Beam (Dataflow).
  • Cultura DevOps: Experiência com Docker e pipelines de CI/CD (Cloud Build, GitHub Actions ou GitLab CI).
  • Infraestrutura como Código: Conhecimento em Terraform para provisionar recursos de dados.
  • Diferenciais: Certificação: Google Professional Data Engineer; Engenharia de Analytics: Experiência com dbt (data build tool) integrado ao BigQuery; Data Governance: Conhecimento em ferramentas como Dataplex ou Collibra; Streaming: Experiência com arquiteturas orientadas a eventos em tempo real; Observabilidade: Implementação de alertas e dashboards de saúde dos dados (SLA/SLO de dados).
Benefits
  • N/A 📊 Check your resume score for this job Improve your chances of getting an interview by checking your resume score before you apply. Check Resume Score

Applicant Tracking System Keywords

Tip: use these terms in your resume and cover letter to boost ATS matches.

Hard skills
PythonSQLApache AirflowDataflowBigQuerySparkTerraformDockerCI/CDdbt
Soft skills
liderança técnicacomunicaçãoorganizaçãocolaboração
Certifications
Google Professional Data Engineer