Tech Stack
AirflowApacheBigQueryCloudDockerGoogle Cloud PlatformJavaKubernetesOpen SourcePython
About the role
- Desenvolver e manter pipelines de monitoramento de qualidade de dados e catálogo de dados.
- Implementar regras de validação, profile e enriquecimento de dados.
- Colaborar com times de engenharia de dados e governança para garantir disponibilidade, consistência e conformidade dos dados.
- Automatizar processos relacionados à qualidade e gestão de dados.
Requirements
- Experiencia em linguagens de programação: Python e Java.
- Familiaridade com orquestração de workflows: Apache Airflow.
- Conhecimento sobre containers e ambientes de execução: Docker e Kubernetes.
- Conhecimento em plataformas de dados na Google Cloud Platform (GCP): BigQuery, Dataflow, Dataproc, Cloud Storage (GCS).
- Proatividade, atenção aos detalhes e senso de responsabilidade.
- Desejável: experiência com Databricks.
- Desejável: interesse em governança de dados.
- Desejável: experiência com ferramentas de catálogo de dados.
- Desejável: conhecimento Open Source Metadata Platform.