Vaga de parceiro

Data engineer senior - Curitiba / PR

Disponível para Assinantes
Salvar nos Favoritos
  • Compartilhe:

Detalhes da Vaga

  • Escolaridade Não Informado
  • Segmento Não Informado
  • Salário Não Informado
  • Área de AtuaçãoDiversos / Outros

O que você irá fazer

  • Nessa posição, você irá reportar e alinhar suas atividades e entregas ao líder dessa área.
  • Este profissional será responsável pela estruturação e otimização da arquitetura de dados, atuando no processamento e orquestração de grandes volumes de dados para atender às necessidades analíticas e operacionais da empresa.
  • Nosso ambiente é colaborativo e inovador, oferecendo oportunidades de crescimento profissional, aprendizado contínuo e a possibilidade de trabalhar com tecnologias de ponta que impulsionam a eficiência e criam soluções de impacto para nossos clientes.
  • Principais AtividadesDiagnosticar, estruturar e otimizar a arquitetura de dados da empresa, garantindo eficiência e escalabilidade no processamento de informações.
  • Implementar pipelines de dados eficientes e escaláveis utilizando Glue, Spark e outras tecnologias para processar grandes volumes de dados.
  • Migrar e traduzir scripts Python para PySpark, garantindo compatibilidade com a arquitetura de processamento distribuído.
  • Trabalhar com cientistas de dados para facilitar o acesso a dados e aprimorar o desempenho de processamento.
  • Criar e gerenciar ambientes centralizados para desenvolvimento e produção, melhorando a colaboração e a confiabilidade das soluções.
  • Validar e otimizar o consumo de DPU em processos de ETL, reduzindo custos e melhorando a eficiência.
  • Explorar e recomendar soluções gerenciadas, como AWS EMR, para aumentar a performance e escalabilidade dos processos analíticos.
  • Definir boas práticas para versionamento, monitoramento e governança de dados dentro do time de BI.
  • Apoiar na criação de soluções que permitam o melhor uso de ferramentas como Google Colab e Google Cloud Platform (GCP), mitigando desafios de integração e processamento.
  • Atuamos com squads e times multidisciplinares, e a tendência é que você execute também outras tarefas além dessas, dependendo do momento de cada projeto e de cada desafio! RequisitosRequisitos e qualificações indispensáveis: Experiência sólida em engenharia de dados, com foco em arquitetura escalável e processamento de grandes volumes de dados.
  • Experiência em AWS Glue, Spark e PySpark para processamento distribuído.
  • Experiência na construção e manutenção de pipelines de dados em ambientes cloud (AWS, GCP ou Azure).
  • Conhecimento em ferramentas de automação e integração contínua (Jenkins, GitLab CI/CD).
  • Conhecimento em bancos de dados SQL e NoSQL, otimizando consultas e estruturação de dados.
  • Experiência com versionamento de código e boas práticas de desenvolvimento (Git, GitFlow).
  • Experiência em análise e otimização de custos de processamento e armazenamento na nuvem.
  • Diferenciais: Experiência com AWS EMR para processamento escalável de big data.
  • Experiência com plataformas gerenciadas de dados, como Databricks, Snowflake, Delta Lake e afins.
  • Experiência em Kubernetes e Docker para deploy de ambientes de processamento de dados.
  • Conhecimentos e visão de aplicação de ferramentas como Starburst, DuckDB, dbt, SuperSet e outros.
  • Familiaridade com ferramentas de observabilidade e monitoramento (CloudWatch, Prometheus, Grafana, Site24x7).
  • Certificações AWS Data Analytics, Big Data ou relacionadas.
  • Se você busca desafios que alinham inovação tecnológica, impacto real e um ambiente de trabalho dinâmico, venha fazer parte do nosso time! BenefíciosNo Dress Code; Horários flexíveis; Plano de Saúde e Odontológico; Convênio Farmácia; Desconto para aquisição de produtos no market4u; Auxílio Academia e TotalPass (Swile); Trilha de Carreira e Feedbacks; Auxílio Educação; Auxílio Idiomas; Seguro de Vida; Refeitório; Vale-transporte; Desconto em estacionamentos; Ações de engajamento; E muito mais! #J-18808-Ljbffr

Informações Adicionais

  • Quantidade de Vagas 1
  • Jornada Não Informado
 

Envie esta vaga para um amigo!

 

Cadastro Inicial

Preencha os campos abaixo
  • Ao criar uma conta, você aceita nossa Política de Privacidade e nosso Termo de Adesão
 

Acesse sua Conta

Preencha os campos abaixo

ou acesse com seu provedor
 

Recuperação de Dados de Acesso

Informe seu e-mail cadastrado