Spark Data Engineer

.

Responsabilidades e atribuições

• Analisar rotinas SAS legadas;
• Atuar na reescrita e adaptação dos programas SAS para tecnologias do ecossistema de dados;
• Executar testes necessários, identificando inconsistências e efetuando a correção;
• Atuar no processo de validação funcional e técnica, comparando resultados entre o legado SAS e a nova implementação.

Requisitos e qualificações

• Experiência sólida com Python para processamento de dados;
• Conhecimento prático em Spark para manipulação de grandes volumes de dados;
• Domínio de SQL para consultas, transformações e validações de dados.
• Desejáveis: Experiência com serviços AWS (S3, Athena, Glue, Lambda e Step Functions), orquestração de cargas batch com Control-M, versionamento de código com Git/GitHub, atuação em ambiente Linux, uso de Terraform para infraestrutura como código (IaC) e vivência em ambientes ágeis, incluindo ferramentas com...