Homeoffice Engenheiro de Dados Senior

Quem somos nós…

Somos a Fiabilité e desde 2016 atuamos no mercado de tecnologia de dados aplicando nossa expertise em negócios presentes em 10 estados brasileiros.

O nosso portfólio de serviços oferece aos nossos clientes soluções efetivas para tomada de decisões estratégicas, maior controle e rentabilização dos meios de pagamentos e redução dos riscos das operações.

Vamos juntos explorar um universo de soluções para ir além!

Estamos esperando por você!

Responsabilidades e Atribuições:

Será responsável pelo desenvolvimento, otimização e manutenção de pipelines de dados em larga escala, utilizando a plataforma Databricks, garantindo a eficiência e qualidade dos processos de tratamento de dados.

Projetar, desenvolver e manter pipelines de ETL/ELT utilizando Databricks, PySpark e Delta Lake.

Trabalhar em colaboração com cientistas de dados, analistas de negócios e engenheiros de software para fornecer soluções de dados escaláveis.

Integrar diferentes fontes de dados e implementar estratégias de ingestão e processamento de dados em tempo real e em batch.

Garantir a qualidade dos dados e a automação de processos de monitoramento e validação de dados.

Otimizar pipelines de dados para melhorar desempenho, escalabilidade e custo. Implementar práticas de segurança e governança de dados, garantindo conformidade com políticas internas e regulamentações. Documentar soluções e arquiteturas implementadas para uso e referência futura.

Utilizar o Databricks Workspace para modelagem e orquestração de processos.

Para Este Desafio, é Necessário:

• Experiência sólida com Databricks e desenvolvimento de pipelines com PySpark.
• Proficiência em SQL para manipulação de grandes volumes de dados.
• Experiência com arquiteturas de dados distribuídas (Data Lakes, Delta Lake). Conhecimentos sólidos em Spark para processamento em larga escala.
• Experiência com linguagens de programação como Python.
• Experiência com ferramentas de automação de pipeline de dados (CI/CD). Habilidade em otimizar processamento de dados para desempenho e custo.
• Familiaridade com arquitetura de nuvem (AWS) / Databricks na AWS.
• Experiência com ferramentas de versionamento de código (Git). Conhecimento em ferramentas de orquestração de dados como Apache Airflow ou Databricks Jobs.
  
  

Diferenciais:

Experiência com arquiteturas de Lakehouse. Certificação em Databricks ou Big Data.

Experiência com MLflow e integração de dados para machine learning. Conhecimento em Power BI ou outras ferramentas de visualização de dados.

Habilidade para liderar e treinar outros membros da equipe no uso de Databricks. Experiência com APIs e integração de dados de fontes externas.

Informações Importantes:

• Modelo de trabalho Remoto
• Modelo de Contrato PJ