Data Specialist – Data Engineer / DataOps
Pmweb
AirflowApacheAWSAzureCloudPythonSQL
Job Level
Senior
Tech Stack
AirflowAzureETLKafkaPySparkPythonSparkSQL
About the role
- Desenvolver e manter pipelines de dados eficientes, escaláveis e seguros na nuvem Azure (ADF, Databricks).
- Projetar e implementar processos de ingestão, transformação e armazenamento de dados (ETL/ELT) utilizando ferramentas como Airflow para orquestração.
- Trabalhar com grandes volumes de dados estruturados e não estruturados, garantindo qualidade, integridade e disponibilidade.
- Criar e otimizar modelos de dados em ambientes de Data Lake e Data Warehouse.
- Colaborar com equipes de Data Science, Analytics e Produtos para entregar dados de alto valor para o negócio.
- Monitorar e garantir a performance das soluções em produção, atuando na identificação e resolução de incidentes.
- Aplicar boas práticas de versionamento de código (GitHub), segurança e governança de dados.
- Integrar e processar fluxos de dados em tempo real utilizando Kafka.
Requirements
- Experiência sólida com serviços Azure (ADF, Databricks).
- Domínio em PySpark e sólida experiência com SQL e Python.
- Conhecimentos em Spark para processamento distribuído de dados.
- Experiência com orquestração de pipelines em Airflow.
- Experiência com versionamento de código em Git/GitHub.
- Familiaridade com boas práticas de modelagem de dados, arquitetura de pipelines e documentação.
- Conhecimentos em soluções de mensageria/streaming, como Kafka.
- Boa comunicação, postura proativa e trabalho colaborativo com times multidisciplinares.
Similar jobs on JobTailor
Mid-level Data Engineer, MCP, dbt
Leega
BigQueryPythonSQL
Senior Data Engineer – Analytics, MCP, dbt
Leega
BigQueryCloudGoogle Cloud PlatformPythonSQLTableau
Engenheiro de Dados Sênior
GFT Technologies
AngularAWSDockerDynamoDBEC2JavaKafkaNoSQLPython
Mid/Senior Data Engineer
GFT Technologies
PySparkPythonTerraform