Engenheiro de Dados Pleno
Quality Digital
ETLOracleSQLTableau
Engenheiro de Dados Pl
Stefanini Brasil
full-time
Posted on:
Location Type: Remote
Location: Remote • Brasil
Visit company websiteJob Level
Mid-LevelSenior
Tech Stack
AirflowApacheAWSAzureETLPySparkPythonSQL
About the role
- Projetar e construir pipelines de dados eficientes utilizando AWS Athena, PySpark e Databricks.
- Implementar e gerenciar data lakes no Amazon S3 com estruturas otimizadas.
- Desenvolver queries e análises complexas com Amazon Athena, Trino e Databricks.
- Implementar processos de ETL/ELT para integração de múltiplas fontes de dados.
- Otimizar a performance de queries e o processamento de dados em larga escala.
- Participar de code reviews e fornecer mentoria técnica à equipe.
- Colaborar com stakeholders de negócios para traduzir requisitos em soluções técnicas.
- Implementar rotinas de monitoramento e observabilidade dos pipelines de dados.
- Agendar a execução de rotinas de ETL usando Apache Airflow.
Requirements
- Experiência relevante com Python e SQL.
- Sólidos conhecimentos em serviços AWS, incluindo:
- Amazon S3 para armazenamento de dados.
- Amazon Athena para consultas serverless.
- Experiência com Trino (anteriormente PrestoSQL) para queries distribuídas.
- Domínio do Databricks e Delta Lake para processamento de dados.
- Experiência com PySpark para processamento de dados em larga escala.
- Conhecimento em modelagem de dados e data warehousing.
- Experiência com particionamento e otimização de performance em data lakes.
- Domínio de versionamento Git e metodologias ágeis usando Azure DevOps.
- Experiência com formatos de dados modernos (Parquet, Delta, Iceberg).
Benefits
- Vale Alimentação ou Vale Refeição;
- Desconto em cursos, universidades e instituições de idiomas;
- Academia Stefanini - plataforma com cursos online, gratuitos, atualizados e com certificado;
- Mentoring;
- Auxílio Creche;
- Clube de vantagens para consultas e exames;
- Assistência Médica;
- Assistência Odontológica;
- Clube de vantagens e descontos nos melhores estabelecimentos;
- Clube de viagens;
- Convênio para Pet;
- e muito mais...
Applicant Tracking System Keywords
Tip: use these terms in your resume and cover letter to boost ATS matches.
Hard skills
PythonSQLAWS AthenaDatabricksPySparkETLELTTrinodata modelingdata warehousing
Soft skills
mentoringcollaborationstakeholder engagement
