Engenheiro(a) de Dados Sênior

  #Conheça um pouco sobre a área:

Buscamos uma pessoa experiente para liderar a fronteira de ingestão de dados na Cortex. O desafio central é construir e escalar motores de coleta (crawlers/bots) que alimentem nosso ecossistema de dados com precisão e eficiência. Você será responsável por arquitetar fluxos que transformam a web em dados estruturados prontos para análise, utilizando o que há de mais moderno em nuvem e processamento distribuído.

#Desafios que você vai encontrar:

• Arquitetura de Coleta: Desenvolver e manter crawlers/bots de alta performance e resilientes para extração de dados em larga escala.
• Engenharia de Dados: Projetar e implementar pipelines de dados complexos utilizando Databricks (Spark) para processamento em lote e streaming.
• Orquestração: Garantir a saúde e a dependência dos fluxos de dados através de ferramentas de orquestração avançadas.
• Otimização em Nuvem: Gerenciar e ...