Desenvolvedor Pyspark Sênior
UltraCon Consultoria
full-time
Posted on:
Location Type: Remote
Location: Brazil
Visit company websiteExplore more
About the role
- Refatorar e otimizar pipelines de dados desenvolvidos em PySpark, visando melhoria de performance, eficiência e escalabilidade
- Analisar e reestruturar lógicas distribuídas para melhor aproveitamento dos recursos do Apache Spark
- Atuar na identificação e correção de gargalos de processamento e consumo excessivo de recursos
- Garantir boas práticas de desenvolvimento, versionamento, testes e documentação técnica
- Apoiar atividades de go-live, incluindo acompanhamento pontual fora do horário comercial quando necessário
- Colaborar com times multidisciplinares na definição de soluções técnicas aderentes às necessidades do negócio
- Contribuir para a padronização e melhoria contínua da arquitetura de dados
Requirements
- Experiência sólida como Desenvolvedor ou Engenheiro de Dados Sênior utilizando PySpark
- Domínio de Apache Spark e conceitos de processamento distribuído
- Forte conhecimento em Python aplicado a pipelines de dados
- Experiência comprovada em refatoração de código legado e otimização de performance
- Vivência com ambientes de dados de grande volume e alta complexidade
Benefits
- Disponibilidade para trabalhar nos fins de semana, pontualmente em go-lives
Applicant Tracking System Keywords
Tip: use these terms in your resume and cover letter to boost ATS matches.
Hard skills
PySparkApache SparkPythonrefatoração de códigootimização de performanceprocessamento distribuídopipelines de dadosdocumentação técnicaversionamentoanálise de dados
Soft skills
colaboraçãocomunicaçãoresolução de problemastrabalho em equipeadaptabilidadeorganizaçãoliderançapensamento críticoatenção aos detalhesproatividade