Vaga de parceiro

Especialista big data - Duque de Caxias / RJ

Disponível para Assinantes
Salvar nos Favoritos
  • Compartilhe:

Detalhes da Vaga

  • Escolaridade Não Informado
  • Segmento Não Informado
  • Salário Não Informado
  • Área de AtuaçãoDiversos / Outros

O que você irá fazer

  • O candidato ideal será responsável por projetar, construir e manter nossas soluções de Big Data e Data Lake, garantindo a eficiência, confiabilidade e escalabilidade dos sistemas, além de atuar ao longo de todo o pipeline de processamento e análise de dados, inclusive na administração e gestão de dados, governança de dados, monitoramento e gestão de ferramentas especializadas.
  • Conhecimentos Técnicos Obrigatórios: Experiência prévia com engenharia de dados; Implantação, administração, otimização e troubleshooting de problemas com frameworks de Big Data em ambiente ON-PREMISES: -Cluster Apache Hadoop (armazenamento distribuído com HDFS); -Cluster Apache Spark; -Construção da camada de armazenamento com Delta Lake (architecture medallion sobre o HDFS); -Apache Hive (como metadata dos objetos Delta Lake)Apache Presto (preferencialmente) ou Apache Trino como engrenagem de consultas (SQL like); Conhecimento aplicado em autenticação/segurança; Experiência em Delta Lake; Desenvolvimento em linguagem Python; Desenvolvimento em Pyspark (Apache Spark); Desenvolvimento em linguagem SQL (DDL, DML, DQL); Ter experiência com S.
  • O.
  • Linux (Red Hat Enterprise, Ubuntu Server) Ter experiência com containers (Dockerfile, build, run, compose, volumes, imagens); Ter experiência com Gitlab (ou outro versionador de código similar).
  • Conhecimentos Técnicos Desejáveis: Clickhouse (SGBD como Datawarehouse); Jupyter Hub; Processamento de informações geoespaciais com GeoPandas e Pyspark; Implantação, administração, otimização e troubleshooting do cluster manager Kubernetes (ON-PREMISES ou em cloud); Desenvolvimento de dashboards com Qlik Sense; Conhecimento em Kubernetes para administração e troubleshooting de problemas; Ter autogerenciamento; Saber estimar tarefas dentro do cenário atribuído; Ter boa comunicação; Saber negociar (prazos, expor cenários) Conhecimento da aplicação prática do SCRUM.
  • Formação: Possuir diploma de ensino superior completo nas seguintes áreas de conhecimento (e suas subáreas), de acordo com a classificação da CAPES da plataforma Sucupira: Matemática (10100008).
  • Probabilidade e Estatística (10200002).
  • Ciência da Computação (10300007).
  • Engenharias (30000009).
  • Economia (60300000).

Informações Adicionais

  • Quantidade de Vagas 1
  • Jornada Não Informado
 

Envie esta vaga para um amigo!

 

Cadastro Inicial

Preencha os campos abaixo
  • Ao criar uma conta, você aceita nossa Política de Privacidade e nosso Termo de Adesão
 

Acesse sua Conta

Preencha os campos abaixo

ou acesse com seu provedor
 

Recuperação de Dados de Acesso

Informe seu e-mail cadastrado