Vaga Interna - Pessoa Engenheira de Dados Sênior (Projeto: Itaú - Fechamento Gerencial) chez Vagas Internas

Nosso propósito é criar tecnologias que desafiam as melhores do mundo e mudam o jogo para nossos clientes. Por isso, buscamos profissionais que desejam fazer parte de uma cultura pautada pela excelência e inovação. Se você se identifica com um ambiente de trabalho colaborativo e movido por curiosidade, venha construir o futuro da tecnologia conosco.

Valorizamos o crescimento contínuo dos zuppers, incentivando cada pessoa a trilhar caminhos que impulsionem sua evolução profissional. 

O que você fará por aqui

• Projetar, desenvolver e manter pipelines de dados escaláveis e resilientes, com foco em desempenho, observabilidade e custo.

• Migrar rotinas legadas (mainframe / .NET) para soluções modernas baseadas em Python e AWS, aplicando boas práticas de engenharia de software.

• Implementar testes automatizados (unitários, integração e regressão) com frameworks como pytest e mock, garantindo qualidade contínua dos pipelines.

• Construir e orquestrar workflows de dados usando AWS Step Functions e EventBridge, garantindo rastreabilidade e tolerância a falhas.

• Desenvolver e otimizar jobs distribuídos com Apache Spark e AWS Glue, incluindo particionamento, paralelismo e tunning de performance.

• Gerenciar infraestrutura de dados como código (IaC) utilizando Terraform, com versionamento e automação via pipelines de CI/CD.

• Utilizar Athena e SQL avançado para consultas analíticas e transformação de dados em larga escala (CTEs, particionamento, otimização de scans, uso de formatos Parquet/ORC).

• Implementar boas práticas de DataOps, monitoramento, logging estruturado (CloudWatch, OpenTelemetry) e alertas proativos.

• Trabalhar em conjunto com squads multidisciplinares (dados, produto e negócio) para garantir entregas tempestivas e com alto padrão de confiabilidade.

O que esperamos que você saiba

Linguagem e Engenharia de Software

• Domínio de Python aplicado à engenharia de dados (Pandas, PySpark, boto3, typing, logging, multiprocessing, design patterns).

• Experiência com testes automatizados (pytest, unittest, mock) e boas práticas de versionamento (Git Flow, code review).

• Conhecimento em estruturas de dados, algoritmos e otimização de performance em grandes volumes.

Arquitetura e Cloud (AWS)

• Vivência sólida com serviços de dados e serverless AWS:

  • S3 (data lake, versionamento, segurança com KMS/IAM)

  • Lambda, Glue, Step Functions, EventBridge

  • Athena (SQL avançado, Parquet/ORC, otimização de consultas)

  • CloudWatch/CloudTrail (logs, métricas, auditoria)

• Conhecimento em modelagem e integração de dados em ambiente distribuído AWS.

Big Data e Processamento Distribuído

• Proficiência em Apache Spark (PySpark, SparkSQL), com tuning de memória e partições.

• Experiência com formatos otimizados (Parquet, ORC, Avro) e compressões (Snappy, Gzip).

• Entendimento de arquiteturas de dados modernas (data lake, medallion, Glue Catalog).

• Diferencial: streaming e near real-time (Kinesis, Kafka, Spark Streaming).

Infraestrutura, Automação e Observabilidade

• Terraform para infraestrutura como código (S3, Glue, Lambda, IAM, Step Functions).

• CI/CD com GitHub Actions, CodePipeline ou Jenkins.

• Monitoramento e observabilidade: logs estruturados, métricas e alertas proativos.

Banco de Dados e SQL

• SQL avançado (CTEs, window functions, otimização de queries, agregações em escala).

• Experiência com Athena e bancos relacionais de alta volumetria (PostgreSQL ou similares).