Hybrid Engenheiro(a) de Dados Engenheiro(a) de Dados

Ponta · Brazil · Hybrid

About the job

O propósito é o que nos guia e nos faz avançar! Conectar o nosso propósito ao seu é o que transforma a pecuária de ponta a ponta. Por isso, queremos catalisar a transformação tecnológica no agronegócio brasileiro e mundial com informação de confiança que gera sustentabilidade e inteligência estratégica. 🚀🐂Se você quer crescer junto com a gente, tem uma oportunidade que pode ser para você!Estamos com vaga para Engenheiro(a) de Dados, confira logo abaixo as informações! 👇Responsabilidades e atribuiçõesComo engenheiro(a) de dados, suas principais responsabilidades incluirão:

  • Desenvolvimento de Extratores de Dados: Criar extratores em Python para coletar dados de diversas fontes, como MySQL, PostgreSQL, Jira, Firebird, arquivos XLS e CSV.
  • Implementação e Manutenção: Desenvolver, documentar e manter os extratores de dados, garantindo que estejam sempre atualizados e funcionais, conforme as metodologias estabelecidas.
  • Gerenciamento de Fluxos de Dados: Programar extrações e cargas de dados usando o Apache Airflow, criando fluxos de DAGs eficientes.
  • Desenvolvimento de Crawlers: Criar crawlers para coletar informações de diferentes fontes, como INPI, CEPEA, B3, CQBAL, entre outras.
  • Análise de Impactos: Avaliar como mudanças nas configurações dos sistemas e dados existentes podem afetar a operação, buscando sempre minimizar problemas.
  • Segurança dos Dados: Especificar e implementar requisitos de segurança para garantir a integridade e a proteção dos dados extraídos.
  • Automação e Otimização: Automatizar e otimizar processos de integração, carga de dados, geração de tabelas e tratamento de erros, visando melhorar a performance e a visualização dos dados.
  • Pesquisa e Desenvolvimento: Participar de projetos de pesquisa e desenvolvimento, contribuindo com inovações na área de dados.
Requisitos e qualificaçõesPara essa função, é essencial que tenha:
  • Experiência em Python: Domínio na linguagem de programação Python.
  • Experiência em ETL: Conhecimento em processos de Extração, Transformação e Carga de dados.
  • Experiência com Docker: Familiaridade com contêineres Docker para desenvolvimento e implementação.
  • Experiência em SQL: Habilidade em escrever e otimizar consultas SQL.
É desejável que tenha:
  • Experiência com Apache Airflow: Conhecimento em orquestração de workflows de dados.
  • Experiência com AWS: Familiaridade com serviços como Athena, S3 e SQS.
  • Experiência em extração de dados do Jira: Habilidade em coletar e manipular dados dessa plataforma.
  • Conhecimento em Data Lake e Data Warehouse: Entendimento de conceitos e práticas em armazenamento de dados.
Informações adicionaisInformações:👩‍💻 Local de trabalho: Home Office;👉 Modelo de Contrato: CLT;🕐 Horário de trabalho: Segunda à Quinta 08h às 18h e Sextas 08h às 17h.Nossos benefícios são incríveis, olha só! 👇 🍕 Vale Alimentação/Refeição no cartão Flash: você escolhe se vai usar no mercado ou em restaurantes;💰 Ajuda de Custo Home Office;🔒 Seguro de Vida;🏥 Plano de Saúde;🦷 Plano Odontológico;🥳 Dayoff no mês do aniversário + um crédito no cartão Flash de presente pra aproveitar da forma como quiser!🧘 Wellhub (Gympass): Pra você e seus dependentes cuidarem da saúde física e mental;🎯 E a chance de você crescer aqui dentro é grande: temos plano de carreira!Deu match? Então se inscreve aí! 💚#VemPraPonta