Detalhes da Vaga
O que você irá fazer
-
Apoiar o líder da equipe de engenharia de dados para garantir a qualidade e a agilidade das atividades da equipe.
-
Trabalhar de forma colaborativa e criativa com outros engenheiros de dados para desenvolver pipelines de dados escalonáveis e de fácil manutenção usando as tecnologias mais recentes e as principais práticas do setor.
-
Crie pipelines de dados que ingerem várias fontes de dados na estrutura da malha de dados harmonizada e disponibilize os para consumo para as equipes internas de análise de dados e ciência de dados, bem como para clientes externos.
-
Depurar, testar a unidade e implantar pipelines de dados, além de otimizar, ingerir e gerenciar metadados em relação a dados e processos.
-
Gerenciar, documentar e versionar o código.
Requisitos para participar do processo
-
Inglês avançado ou fluente (mandatório, interação com time global).
-
Experiência em computação em nuvem, de preferência no azure.
-
Conhecimento profundo do armazenamento e da evolução dos dados modernos (data lake, delta lake, lakehouse).
-
Experiência em desenvolvimento de pipeline de dados usando adf, pyspark, scala, airflow.
-
Experiência de trabalho com estruturas de big data, de preferência databricks.
-
Experiência de trabalho com dados transacionais, relacionais e sql.
-
Sólida experiência em ajuste de desempenho e otimizações em pyspark e sql.
-
Forte experiência de trabalho em equipes ágeis implementando práticas de devops.
-
Forte experiência em pipelines de ci/cd.
Informações Adicionais
-
Quantidade de Vagas
1
-
Jornada
Não Informado