Vaga de parceiro

Engenheiro de dados (de) - Rio de Janeiro / RJ

Disponível para Assinantes
Salvar nos Favoritos
  • Compartilhe:

Detalhes da Vaga

  • Escolaridade Não Informado
  • Segmento Não Informado
  • Salário Não Informado
  • Área de AtuaçãoDiversos / Outros

O que você irá fazer

  • Principais Responsabilidades: Coleta de Dados: Identificar e coletar dados relevantes de várias fontes, como bancos de dados, logs, streams de dados, APIs, entre outros.
  • Armazenamento de Dados: Projetar e implementar sistemas de armazenamento de dados eficientes e escaláveis, que podem incluir bancos de dados relacionais, NoSQL, data warehouses, e sistemas de armazenamento distribuídos.
  • Processamento de Dados: Desenvolver pipelines de processamento de dados para limpar, transformar e preparar dados para análise.
  • Isso pode envolver o uso de ferramentas como, Apache Spark, ou outras soluções de processamento distribuído.
  • Integração de Dados: Garantir a integridade e a consistência dos dados ao integrar informações de diferentes fontes.
  • Segurança e Privacidade: Implementar medidas de segurança e garantir a conformidade com regulamentações de privacidade de dados.
  • Análise de Dados: Facilitar o acesso aos dados para análise, seja por meio de ferramentas de visualização, consulta direta ou outras formas de análise de dados.
  • Monitoramento e Otimização: Monitorar o desempenho dos sistemas de dados, identificar gargalos e otimizar o desempenho conforme necessário.
  • Colaboração com Equipes: Trabalhar em estreita colaboração com cientistas de dados, analistas de negócios e outros profissionais para entender e atender às necessidades de dados da organização.
  • Documentação: Manter documentação clara e abrangente sobre arquiteturas de dados, fluxos de trabalho, processos de ETL (Extração, Transformação e Carga), e outros aspectos relacionados aos sistemas de dados.
  • Resolução de Problemas: Identificar e resolver problemas relacionados a dados, como inconsistências, falhas no processamento ou questões de desempenho.
  • Treinamento e Colaboração: Colaborar com outros membros da equipe, compartilhando conhecimento e oferecendo treinamento quando necessário, especialmente para garantir que os dados sejam utilizados de forma eficaz por toda a organização.
  • Governança de Dados: Implementar práticas de governança de dados para garantir a qualidade, consistência e conformidade dos dados, além de estabelecer políticas para o uso adequado e ético das informações.
  • Gerenciamento de Projeto: Participar de projetos de dados desde a concepção até a implementação, garantindo que os prazos sejam cumpridos e que os objetivos do projeto sejam alcançados.
  • Colaboração com DevOps: Trabalhar em estreita colaboração com equipes de desenvolvimento e operações para integrar práticas de DevOps no ciclo de vida do desenvolvimento de sistemas de dados.
  • Análise de Custos: Avaliar e otimizar os custos associados à infraestrutura de dados, garantindo que os recursos sejam usados eficientemente e de maneira econômica.
  • Manutenção de Infraestrutura: Gerenciar e manter a infraestrutura de hardware e software necessária para suportar as operações de dados, garantindo a disponibilidade e o desempenho adequados.
  • Padrões e Melhores Práticas: Definir e aplicar padrões e melhores práticas para o gerenciamento de dados, garantindo consistência e qualidade em toda a organização.
  • Estratégia de Dados: Participar no desenvolvimento e implementação de estratégias de dados alinhadas aos objetivos de negócios da organização.
  •   Requisitos Técnicos: Linguagens: Python, SQL avançado.
  • Bancos de Dados: Relacionais (MySQL, PostgreSQL), Colunar (Clickhouse, BigQuery).
  • ETL e Modelagem: Airflow, dbt Cloud/dbt CLI.
  • Big Data Streaming: Apache Kafka, Apache Spark, Apache Flink (desejável).
  • Cloud e Infraestrutura: Azure, Google Cloud, Kubernetes, Docker, Helm.
  • Controle de Versão: Git.
  • Governança de Dados: Qualidade, metadados e linhagem de dados.
  • Habilidades Analíticas: Solução de problemas e otimização de processos.
  • Idioma: Inglês intermediário (desejável).
  • Esse profissional tem um papel estratégico na construção e manutenção de infraestruturas robustas, garantindo a eficiência e escalabilidade dos dados para apoiar decisões empresariais.

Informações Adicionais

  • Quantidade de Vagas 1
  • Jornada Não Informado
 

Envie esta vaga para um amigo!

 

Cadastro Inicial

Preencha os campos abaixo
  • Ao criar uma conta, você aceita nossa Política de Privacidade e nosso Termo de Adesão
 

Acesse sua Conta

Preencha os campos abaixo

ou acesse com seu provedor
 

Recuperação de Dados de Acesso

Informe seu e-mail cadastrado