Participar ativamente da construção da maior plataforma de dados de frete da América Latina;
Realizar o desenvolvimento e sustentação de pipeline de dados (ETL/ELT/EL), com orquestrações em estratégia Datalake/Lakehouse;
Realizar o desenvolvimento e sustentação de processos batch, real time e observabilidade, utilizando-se de arquitetura Kappa e Lambda em Cloud AWS;
Realizar automatizações em ambiente Cloud AWS;
Apoiar os times da Comunidade de Dados - ED (Engenharia de Dados), DS (Data Science) e B.I em fluxos de Analytics (levantamento de requisitos com foco em resolução de problemas);
Garantir que os códigos entregues estejam em conformidade com as boas práticas e padrões estabelecidos pelo time de Engenahria de Dados;
Quebrar as estórias em tarefas de tamanho adequado e ajuda o time fazer o mesmo;
Apoia o time na utilização das ferramentas e tecnologias homologadas dentro do time, garantindo a aderência aos processos e diretrizes de Engenahria de Dados;
Remove proativamente impedimentos nas definições das tarefas;
Entrega novas funcionalidades e projetos de alta complexidade com autonomia;
Contribui com a implementação de melhorias no processo de trabalho do time de Engenahria de Dados;
Garante que as entregas estejam de acordo com as premissas de confiabilidade estabelecidas pelo time de Engenharia de Dados e Governança de Dados.
Habilidades e pré-requisitos
Proficiência em Python;
Experiência com PySpark;
Experiência avançada em BDs (NoSQL e Relacional);
Experiência avançada em SQL para cenários de Datalake/Lakehouse e integrações com tecnologias DataViz;
Experiência com Datalake; Experiência com Kafka;
Experiência com as principais tecnologias de pipeline de dados (Airflow e/ou DMS e/ou Airbyte);
Experiência intermediário em cloud (preferencialmente AWS);
Experiência em GIT (Gitlab ou Github);
Experiência em microsserviços;
Experiência em Docker; Conhecimento em políticas de governança de dados, assim como conceitos LGPD / GDPR.
Questi cookie sono necessari per il funzionamento del sito e non possono essere disattivati nei nostri sistemi. È possibile impostare il proprio browser in modo da bloccare questi cookie, ma alcune parti del sito potrebbero non funzionare.
Sicurezza
Esperienza dell'utente
Cookie orientati al gruppo target
Questi cookie sono impostati attraverso il nostro sito web dai nostri partner pubblicitari. Possono essere utilizzati da queste aziende per profilare i vostri interessi e mostrarvi pubblicità pertinenti altrove.
Google Analytics
Google Ads
Utilizziamo i cookie
🍪
Il nostro sito web utilizza i cookie e tecnologie simili per personalizzare i contenuti, ottimizzare l'esperienza dell'utente e per indvidualizzare e valutare la pubblicità. Facendo clic su Ok o attivando un'opzione nelle impostazioni dei cookie, l'utente accetta questo.
Le migliori offerte di lavoro da remoto via e-mail
Unisciti alle oltre 5'000+ persone che ricevono notifiche settimanali sulle offerte di lavoro da remoto!