Engenheiro de Dados, Azure Databricks
Insight Value
AzureCloudPythonScalaSparkSQL
Senior Data Engineer
AM53 Smart Solutions
full-time
Posted on:
Location Type: Remote
Location: Remote • 🇧🇷 Brazil
Visit company websiteJob Level
Senior
Tech Stack
AirflowApacheAWSBigQueryPySparkPythonSQL
About the role
- Publicar Vaga Afiliados ❌ Vagas que Você Ocultou ⭐️ Vagas Salvas ✅ Vagas Candidatadas Conta AM53 Smart Solutions Site LinkedIn Todas as Vagas hunting
- IA
- consultoria
- projetos
- desenvolvimento de sistemas A AM53 Smart Solutions é uma consultoria e fornecedora de soluções focada em otimizar processos e produtividade para o mercado de pagamentos. A empresa oferece análise técnica e de negócios, estratégia e implementação de Business Intelligence, desenvolvimento de aplicativos personalizados e serviços especializados em torno do Verifone PAYware CMS (emissão e adquirência). A AM53 também fornece serviços de recrutamento de RH para profissionais de tecnologia e oferece produtos e conectores de integração para sistemas de pagamento. 11 - 50 funcionários Fundada em 2010 💳 Fintech 🤝 B2B 🏢 Corporativo Engenheiro(a) de Dados Sênior 8 minutos atrás 🇧🇷 Brasil – Remoto ⏰ Tempo Integral 🟠 Sênior 🚰 Engenheiro de Dados Airflow Apache AWS BigQuery PySpark Python SQL Candidatar-se Check Resume Score ☆ Salvar ☑️ Marcar como candidatado ❌ Ocultar Reportar problema Descrição
- Projetar, desenvolver e implementar pipelines de dados eficientes e confiáveis para migrar dados de PySpark/Athena/BigQuery para dbt/Snowflake.
- Traduzir requisitos de dados complexos em modelos e transformações acionáveis em dbt dentro do Snowflake.
- Construir e manter DAGs do Airflow para orquestrar processos de ingestão, transformação e carregamento de dados.
- Otimizar pipelines de dados existentes quanto a desempenho, escalabilidade e custo no novo ambiente Snowflake.
- Desenvolver e manter modelos de dados robustos no Snowflake usando dbt, seguindo as melhores práticas de data warehousing e analytics.
- Escrever consultas SQL complexas para extração, transformação e carregamento de dados.
- Garantir qualidade, precisão e consistência dos dados durante a migração e nas operações contínuas.
- Identificar, diagnosticar e resolver problemas relacionados a dados, gargalos de desempenho e discrepâncias nos dados.
- Monitorar de forma proativa pipelines e sistemas de dados para garantir operação contínua e disponibilidade dos dados.
- Colaborar de perto com Lead Data Engineers, Data Analysts e demais stakeholders para entender necessidades de dados e entregar soluções eficazes.
- Contribuir para o desenvolvimento e manutenção de documentação técnica abrangente para pipelines, modelos e processos de dados.
- Participar de code reviews e contribuir para a conformidade da equipe com padrões de codificação e melhores práticas. 🎯 Requisitos
- Bacharelado ou Mestrado em Ciência da Computação, Engenharia ou área quantitativa relacionada.
- 3+ anos de experiência em engenharia de dados, com foco em construir e manter pipelines de dados escaláveis.
- Experiência sólida em projetos de migração de dados e trabalho com grandes volumes de dados.
- Experiência prática com Snowflake, incluindo carregamento de dados, consultas e otimização de desempenho.
- Proficiência em dbt (data build tool) para transformação e modelagem de dados.
- Experiência comprovada com Apache Airflow para agendamento e orquestração de fluxos de trabalho de dados.
- Nível avançado de SQL, incluindo joins complexos, funções de janela e tuning de desempenho.
- Proficiência em Python para manipulação de dados, scripting e automação de casos extremos.
- Familiaridade com PySpark, AWS Athena e Google BigQuery (sistemas de origem).
- Entendimento de conceitos de data warehousing, modelagem dimensional e princípios ELT.
- Conhecimento na construção de pipelines de CI/CD para deploy de código.
- Experiência com sistemas de controle de versão (por exemplo, GitHub).
- Excelentes habilidades de resolução de problemas, análise e comunicação.
- Capacidade de trabalhar de forma independente e em equipe colaborativa em ambiente ágil.
- Fluência em inglês (fala e escrita); comunicador eficaz. 🏖️ Benefícios
- Plano de saúde
- Modalidades de trabalho flexíveis
- Oportunidades de desenvolvimento profissional Candidatar-se 📊 Pontuação do Currículo Envie seu currículo para ver se ele passa pelas ferramentas de rejeição automática usadas por recrutadores Check Resume Score Vagas Similares [Vaga - 24975] Data Engineer com Expertise em Databricks, Brasil 4 horas atrás CI&T 5001 - 10000 Site LinkedIn Todas as Vagas Data Engineer projetando e mantendo pipelines de dados escaláveis e infraestrutura para analytics na CI&T. Trabalha com clientes globais para implementar soluções de dados eficazes. 🇧🇷 Brasil – Remoto 💰 $5.500.000 Venture Round em 2014-04 ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados Azure Cloud ETL Spark SQL Unity Product Manager – Data Engineering 4 horas atrás CI&T 5001 - 10000 Site LinkedIn Todas as Vagas Product Manager focusing on Data Engineering at CI&T, delivering tech solutions for clients in the automotive and retail sectors. Collaborating with Data Engineers and business teams to enhance platforms and data models. 🇧🇷 Brasil – Remoto 💰 $5.500.000 Venture Round em 2014-04 ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados AWS Azure Cloud ETL SQL Engenharia de Dados AWS - 128331 6 horas atrás GFT Technologies 10.000+ funcionários Site LinkedIn Todas as Vagas Engenheiro de Dados Sênior especializado em ferramentas de dados da AWS para transformar conjuntos de dados complexos. Atua em colaboração com equipes para otimizar desempenho e entregar insights acionáveis. 🇧🇷 Brasil – Remoto ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados AWS ETL PySpark Python Engenharia de Dados GCP - 128362 6 horas atrás GFT Technologies 10.000+ funcionários Site LinkedIn Todas as Vagas Engenheiro de Dados responsável por criar e manter pipelines de dados no GCP para diversos cenários de dados. Colabora com as áreas de negócio para garantir qualidade dos dados e conformidade. 🇧🇷 Brasil – Remoto ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados BigQuery Cloud Google Cloud Platform Python Spark SQL Vault Data Engineer (AI Platforms) 11 horas atrás OpenVPN Inc. 51 - 200 Site LinkedIn Todas as Vagas Data Engineer designing and optimizing data pipelines for AI platforms, supporting analytics and model training. Collaborate with ML teams and BI developers to enhance data systems. 🇧🇷 Brasil – Remoto 💰 Equity Crowdfunding em 2013-10 ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados Airflow Apache BigQuery Cloud Docker Java Kafka Perl PHP Postgres Python SQL Go Ver Mais Vagas de Engenheiro de Dados Desenvolvido por Lior Neu-ner. Adoraria receber seu feedback — entre em contato por DM ou pelo e-mail support@remoterocketship.com Buscar Buscar vagas por cargo Buscar vagas por stack tecnológico Vagas remotas tempo-integral Vagas remotas meio-periodo Vagas remotas contrato-temporario Vagas remotas estagio Vagas Populares Vagas remotas de analista de dados Vagas remotas de DevOps Vagas remotas de assistente executivo Vagas remotas de designer de produto Vagas remotas de engenheiro de QA Vagas remotas de recrutador Vagas remotas de vendas Vagas remotas de SDR Vagas remotas de engenheiro de software Vagas remotas de pesquisador UX Recursos Publicar vaga Afiliados Política de privacidade e termos de serviço
Requirements
- Publicar Vaga Afiliados ❌ Vagas que Você Ocultou ⭐️ Vagas Salvas ✅ Vagas Candidatadas Conta AM53 Smart Solutions Site LinkedIn Todas as Vagas hunting
- IA
- consultoria
- projetos
- desenvolvimento de sistemas A AM53 Smart Solutions é uma consultoria e fornecedora de soluções focada em otimizar processos e produtividade para o mercado de pagamentos. A empresa oferece análise técnica e de negócios, estratégia e implementação de Business Intelligence, desenvolvimento de aplicativos personalizados e serviços especializados em torno do Verifone PAYware CMS (emissão e adquirência). A AM53 também fornece serviços de recrutamento de RH para profissionais de tecnologia e oferece produtos e conectores de integração para sistemas de pagamento. 11 - 50 funcionários Fundada em 2010 💳 Fintech 🤝 B2B 🏢 Corporativo Engenheiro(a) de Dados Sênior 8 minutos atrás 🇧🇷 Brasil – Remoto ⏰ Tempo Integral 🟠 Sênior 🚰 Engenheiro de Dados Airflow Apache AWS BigQuery PySpark Python SQL Candidatar-se Check Resume Score ☆ Salvar ☑️ Marcar como candidatado ❌ Ocultar Reportar problema Descrição
- Projetar, desenvolver e implementar pipelines de dados eficientes e confiáveis para migrar dados de PySpark/Athena/BigQuery para dbt/Snowflake.
- Traduzir requisitos de dados complexos em modelos e transformações acionáveis em dbt dentro do Snowflake.
- Construir e manter DAGs do Airflow para orquestrar processos de ingestão, transformação e carregamento de dados.
- Otimizar pipelines de dados existentes quanto a desempenho, escalabilidade e custo no novo ambiente Snowflake.
- Desenvolver e manter modelos de dados robustos no Snowflake usando dbt, seguindo as melhores práticas de data warehousing e analytics.
- Escrever consultas SQL complexas para extração, transformação e carregamento de dados.
- Garantir qualidade, precisão e consistência dos dados durante a migração e nas operações contínuas.
- Identificar, diagnosticar e resolver problemas relacionados a dados, gargalos de desempenho e discrepâncias nos dados.
- Monitorar de forma proativa pipelines e sistemas de dados para garantir operação contínua e disponibilidade dos dados.
- Colaborar de perto com Lead Data Engineers, Data Analysts e demais stakeholders para entender necessidades de dados e entregar soluções eficazes.
- Contribuir para o desenvolvimento e manutenção de documentação técnica abrangente para pipelines, modelos e processos de dados.
- Participar de code reviews e contribuir para a conformidade da equipe com padrões de codificação e melhores práticas. 🎯 Requisitos
- Bacharelado ou Mestrado em Ciência da Computação, Engenharia ou área quantitativa relacionada.
- 3+ anos de experiência em engenharia de dados, com foco em construir e manter pipelines de dados escaláveis.
- Experiência sólida em projetos de migração de dados e trabalho com grandes volumes de dados.
- Experiência prática com Snowflake, incluindo carregamento de dados, consultas e otimização de desempenho.
- Proficiência em dbt (data build tool) para transformação e modelagem de dados.
- Experiência comprovada com Apache Airflow para agendamento e orquestração de fluxos de trabalho de dados.
- Nível avançado de SQL, incluindo joins complexos, funções de janela e tuning de desempenho.
- Proficiência em Python para manipulação de dados, scripting e automação de casos extremos.
- Familiaridade com PySpark, AWS Athena e Google BigQuery (sistemas de origem).
- Entendimento de conceitos de data warehousing, modelagem dimensional e princípios ELT.
- Conhecimento na construção de pipelines de CI/CD para deploy de código.
- Experiência com sistemas de controle de versão (por exemplo, GitHub).
- Excelentes habilidades de resolução de problemas, análise e comunicação.
- Capacidade de trabalhar de forma independente e em equipe colaborativa em ambiente ágil.
- Fluência em inglês (fala e escrita); comunicador eficaz. 🏖️ Benefícios
- Plano de saúde
- Modalidades de trabalho flexíveis
- Oportunidades de desenvolvimento profissional Candidatar-se 📊 Pontuação do Currículo Envie seu currículo para ver se ele passa pelas ferramentas de rejeição automática usadas por recrutadores Check Resume Score Vagas Similares [Vaga - 24975] Data Engineer com Expertise em Databricks, Brasil 4 horas atrás CI&T 5001 - 10000 Site LinkedIn Todas as Vagas Data Engineer projetando e mantendo pipelines de dados escaláveis e infraestrutura para analytics na CI&T. Trabalha com clientes globais para implementar soluções de dados eficazes. 🇧🇷 Brasil – Remoto 💰 $5.500.000 Venture Round em 2014-04 ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados Azure Cloud ETL Spark SQL Unity Product Manager – Data Engineering 4 horas atrás CI&T 5001 - 10000 Site LinkedIn Todas as Vagas Product Manager focusing on Data Engineering at CI&T, delivering tech solutions for clients in the automotive and retail sectors. Collaborating with Data Engineers and business teams to enhance platforms and data models. 🇧🇷 Brasil – Remoto 💰 $5.500.000 Venture Round em 2014-04 ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados AWS Azure Cloud ETL SQL Engenharia de Dados AWS - 128331 6 horas atrás GFT Technologies 10.000+ funcionários Site LinkedIn Todas as Vagas Engenheiro de Dados Sênior especializado em ferramentas de dados da AWS para transformar conjuntos de dados complexos. Atua em colaboração com equipes para otimizar desempenho e entregar insights acionáveis. 🇧🇷 Brasil – Remoto ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados AWS ETL PySpark Python Engenharia de Dados GCP - 128362 6 horas atrás GFT Technologies 10.000+ funcionários Site LinkedIn Todas as Vagas Engenheiro de Dados responsável por criar e manter pipelines de dados no GCP para diversos cenários de dados. Colabora com as áreas de negócio para garantir qualidade dos dados e conformidade. 🇧🇷 Brasil – Remoto ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados BigQuery Cloud Google Cloud Platform Python Spark SQL Vault Data Engineer (AI Platforms) 11 horas atrás OpenVPN Inc. 51 - 200 Site LinkedIn Todas as Vagas Data Engineer designing and optimizing data pipelines for AI platforms, supporting analytics and model training. Collaborate with ML teams and BI developers to enhance data systems. 🇧🇷 Brasil – Remoto 💰 Equity Crowdfunding em 2013-10 ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados Airflow Apache BigQuery Cloud Docker Java Kafka Perl PHP Postgres Python SQL Go Ver Mais Vagas de Engenheiro de Dados Desenvolvido por Lior Neu-ner. Adoraria receber seu feedback — entre em contato por DM ou pelo e-mail support@remoterocketship.com Buscar Buscar vagas por cargo Buscar vagas por stack tecnológico Vagas remotas tempo-integral Vagas remotas meio-periodo Vagas remotas contrato-temporario Vagas remotas estagio Vagas Populares Vagas remotas de analista de dados Vagas remotas de DevOps Vagas remotas de assistente executivo Vagas remotas de designer de produto Vagas remotas de engenheiro de QA Vagas remotas de recrutador Vagas remotas de vendas Vagas remotas de SDR Vagas remotas de engenheiro de software Vagas remotas de pesquisador UX Recursos Publicar vaga Afiliados Política de privacidade e termos de serviço
Benefits
- Publicar Vaga Afiliados ❌ Vagas que Você Ocultou ⭐️ Vagas Salvas ✅ Vagas Candidatadas Conta AM53 Smart Solutions Site LinkedIn Todas as Vagas hunting
- IA
- consultoria
- projetos
- desenvolvimento de sistemas A AM53 Smart Solutions é uma consultoria e fornecedora de soluções focada em otimizar processos e produtividade para o mercado de pagamentos. A empresa oferece análise técnica e de negócios, estratégia e implementação de Business Intelligence, desenvolvimento de aplicativos personalizados e serviços especializados em torno do Verifone PAYware CMS (emissão e adquirência). A AM53 também fornece serviços de recrutamento de RH para profissionais de tecnologia e oferece produtos e conectores de integração para sistemas de pagamento. 11 - 50 funcionários Fundada em 2010 💳 Fintech 🤝 B2B 🏢 Corporativo Engenheiro(a) de Dados Sênior 8 minutos atrás 🇧🇷 Brasil – Remoto ⏰ Tempo Integral 🟠 Sênior 🚰 Engenheiro de Dados Airflow Apache AWS BigQuery PySpark Python SQL Candidatar-se Check Resume Score ☆ Salvar ☑️ Marcar como candidatado ❌ Ocultar Reportar problema Descrição
- Projetar, desenvolver e implementar pipelines de dados eficientes e confiáveis para migrar dados de PySpark/Athena/BigQuery para dbt/Snowflake.
- Traduzir requisitos de dados complexos em modelos e transformações acionáveis em dbt dentro do Snowflake.
- Construir e manter DAGs do Airflow para orquestrar processos de ingestão, transformação e carregamento de dados.
- Otimizar pipelines de dados existentes quanto a desempenho, escalabilidade e custo no novo ambiente Snowflake.
- Desenvolver e manter modelos de dados robustos no Snowflake usando dbt, seguindo as melhores práticas de data warehousing e analytics.
- Escrever consultas SQL complexas para extração, transformação e carregamento de dados.
- Garantir qualidade, precisão e consistência dos dados durante a migração e nas operações contínuas.
- Identificar, diagnosticar e resolver problemas relacionados a dados, gargalos de desempenho e discrepâncias nos dados.
- Monitorar de forma proativa pipelines e sistemas de dados para garantir operação contínua e disponibilidade dos dados.
- Colaborar de perto com Lead Data Engineers, Data Analysts e demais stakeholders para entender necessidades de dados e entregar soluções eficazes.
- Contribuir para o desenvolvimento e manutenção de documentação técnica abrangente para pipelines, modelos e processos de dados.
- Participar de code reviews e contribuir para a conformidade da equipe com padrões de codificação e melhores práticas. 🎯 Requisitos
- Bacharelado ou Mestrado em Ciência da Computação, Engenharia ou área quantitativa relacionada.
- 3+ anos de experiência em engenharia de dados, com foco em construir e manter pipelines de dados escaláveis.
- Experiência sólida em projetos de migração de dados e trabalho com grandes volumes de dados.
- Experiência prática com Snowflake, incluindo carregamento de dados, consultas e otimização de desempenho.
- Proficiência em dbt (data build tool) para transformação e modelagem de dados.
- Experiência comprovada com Apache Airflow para agendamento e orquestração de fluxos de trabalho de dados.
- Nível avançado de SQL, incluindo joins complexos, funções de janela e tuning de desempenho.
- Proficiência em Python para manipulação de dados, scripting e automação de casos extremos.
- Familiaridade com PySpark, AWS Athena e Google BigQuery (sistemas de origem).
- Entendimento de conceitos de data warehousing, modelagem dimensional e princípios ELT.
- Conhecimento na construção de pipelines de CI/CD para deploy de código.
- Experiência com sistemas de controle de versão (por exemplo, GitHub).
- Excelentes habilidades de resolução de problemas, análise e comunicação.
- Capacidade de trabalhar de forma independente e em equipe colaborativa em ambiente ágil.
- Fluência em inglês (fala e escrita); comunicador eficaz. 🏖️ Benefícios
- Plano de saúde
- Modalidades de trabalho flexíveis
- Oportunidades de desenvolvimento profissional Candidatar-se 📊 Pontuação do Currículo Envie seu currículo para ver se ele passa pelas ferramentas de rejeição automática usadas por recrutadores Check Resume Score Vagas Similares [Vaga - 24975] Data Engineer com Expertise em Databricks, Brasil 4 horas atrás CI&T 5001 - 10000 Site LinkedIn Todas as Vagas Data Engineer projetando e mantendo pipelines de dados escaláveis e infraestrutura para analytics na CI&T. Trabalha com clientes globais para implementar soluções de dados eficazes. 🇧🇷 Brasil – Remoto 💰 $5.500.000 Venture Round em 2014-04 ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados Azure Cloud ETL Spark SQL Unity Product Manager – Data Engineering 4 horas atrás CI&T 5001 - 10000 Site LinkedIn Todas as Vagas Product Manager focusing on Data Engineering at CI&T, delivering tech solutions for clients in the automotive and retail sectors. Collaborating with Data Engineers and business teams to enhance platforms and data models. 🇧🇷 Brasil – Remoto 💰 $5.500.000 Venture Round em 2014-04 ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados AWS Azure Cloud ETL SQL Engenharia de Dados AWS - 128331 6 horas atrás GFT Technologies 10.000+ funcionários Site LinkedIn Todas as Vagas Engenheiro de Dados Sênior especializado em ferramentas de dados da AWS para transformar conjuntos de dados complexos. Atua em colaboração com equipes para otimizar desempenho e entregar insights acionáveis. 🇧🇷 Brasil – Remoto ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados AWS ETL PySpark Python Engenharia de Dados GCP - 128362 6 horas atrás GFT Technologies 10.000+ funcionários Site LinkedIn Todas as Vagas Engenheiro de Dados responsável por criar e manter pipelines de dados no GCP para diversos cenários de dados. Colabora com as áreas de negócio para garantir qualidade dos dados e conformidade. 🇧🇷 Brasil – Remoto ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados BigQuery Cloud Google Cloud Platform Python Spark SQL Vault Data Engineer (AI Platforms) 11 horas atrás OpenVPN Inc. 51 - 200 Site LinkedIn Todas as Vagas Data Engineer designing and optimizing data pipelines for AI platforms, supporting analytics and model training. Collaborate with ML teams and BI developers to enhance data systems. 🇧🇷 Brasil – Remoto 💰 Equity Crowdfunding em 2013-10 ⏰ Tempo Integral 🟡 Pleno 🟠 Sênior 🚰 Engenheiro de Dados Airflow Apache BigQuery Cloud Docker Java Kafka Perl PHP Postgres Python SQL Go Ver Mais Vagas de Engenheiro de Dados Desenvolvido por Lior Neu-ner. Adoraria receber seu feedback — entre em contato por DM ou pelo e-mail support@remoterocketship.com Buscar Buscar vagas por cargo Buscar vagas por stack tecnológico Vagas remotas tempo-integral Vagas remotas meio-periodo Vagas remotas contrato-temporario Vagas remotas estagio Vagas Populares Vagas remotas de analista de dados Vagas remotas de DevOps Vagas remotas de assistente executivo Vagas remotas de designer de produto Vagas remotas de engenheiro de QA Vagas remotas de recrutador Vagas remotas de vendas Vagas remotas de SDR Vagas remotas de engenheiro de software Vagas remotas de pesquisador UX Recursos Publicar vaga Afiliados Política de privacidade e termos de serviço
Applicant Tracking System Keywords
Tip: use these terms in your resume and cover letter to boost ATS matches.
Hard skills
PythonSQLPySparkdbtSnowflakeApache AirflowBigQuerydata warehousingETLCI/CD
Soft skills
problem solvinganalysiscommunicationcollaborationindependenceagile environment
Certifications
Bachelor's degree in Computer ScienceMaster's degree in Engineering
Similar jobs on JobTailor
Data Engineer – AI Platforms
OpenVPN Inc.
AirflowApacheBigQueryCloudDockerGoJavaKafkaPerlPHPPostgresPython+1 more
Engenheiro de Dados
FCamara Consulting & Training
BigQueryCloudETLGoogle Cloud PlatformPythonSparkSQLSSISTerraform
Senior Data Engineer – Sales Intelligence
Truelogic Software
AirflowAmazon RedshiftAWSBigQueryCloudETLGoogle Cloud PlatformNoSQLPythonSQL