Hybrid Engenheiro de Dados Pleno Engenheiro de Dados Pleno

About The Position

Responsabilidades

• Desenvolver e manter pipelines de dados para coleta e processamento de grandes volumes de dados usando Spark e Airflow.
• Projetar, construir e gerenciar data lakes e data warehouses escaláveis e de alta performance na AWS, utilizando S3, Lake Formation, RDS, ECS, Lambda, EMR e Athena.
• Implementar e administrar soluções de banco de dados MongoDB e Atlas MongoDB para armazenamento e consulta eficiente de dados.
• Otimizar collections e agregações no MongoDB para melhorar a performance e eficiência.
• Garantir a integridade, qualidade e segurança dos dados através da implementação de verificações e políticas adequadas.
• Colaborar com cientistas de dados, analistas de dados e outros stakeholders para entender suas necessidades de dados e fornecer suporte técnico.
• Otimizar a performance de consultas e operações de banco de dados, implementando estratégias de indexação e particionamento.
• Integrar dados de várias fontes para criar uma visão unificada e coerente.
• Documentar processos, fluxos de trabalho e arquiteturas de dados.
• Explorar e implementar novas tecnologias e ferramentas para melhorar a eficiência da gestão de dados.
• Participar na implantação de um ambiente de dados completo na AWS, seguindo a arquitetura medalion.