About the job
Quem somos nós…
Somos a Fiabilité e desde 2016 atuamos no mercado de tecnologia de dados aplicando nossa expertise em negócios presentes em 10 estados brasileiros.
O nosso portfólio de serviços oferece aos nossos clientes soluções efetivas para tomada de decisões estratégicas, maior controle e rentabilização dos meios de pagamentos e redução dos riscos das operações.
Vamos juntos explorar um universo de soluções para ir além!
Estamos esperando por você!
Responsabilidades e Atribuições:
Será responsável pelo desenvolvimento, otimização e manutenção de pipelines de dados em larga escala, utilizando a plataforma Databricks, garantindo a eficiência e qualidade dos processos de tratamento de dados.
Projetar, desenvolver e manter pipelines de ETL/ELT utilizando Databricks, PySpark e Delta Lake.
Trabalhar em colaboração com cientistas de dados, analistas de negócios e engenheiros de software para fornecer soluções de dados escaláveis.
Integrar diferentes fontes de dados e implementar estratégias de ingestão e processamento de dados em tempo real e em batch.
Garantir a qualidade dos dados e a automação de processos de monitoramento e validação de dados.
Otimizar pipelines de dados para melhorar desempenho, escalabilidade e custo. Implementar práticas de segurança e governança de dados, garantindo conformidade com políticas internas e regulamentações. Documentar soluções e arquiteturas implementadas para uso e referência futura.
Utilizar o Databricks Workspace para modelagem e orquestração de processos.
Para Este Desafio, é Necessário:
Diferenciais:
Experiência com arquiteturas de Lakehouse. Certificação em Databricks ou Big Data.
Experiência com MLflow e integração de dados para machine learning. Conhecimento em Power BI ou outras ferramentas de visualização de dados.
Habilidade para liderar e treinar outros membros da equipe no uso de Databricks. Experiência com APIs e integração de dados de fontes externas.
Informações Importantes: