Job Description

Job Description

Estamos buscando um Engenheiro de Dados para atuar com grandes volumes de dados em um ambiente altamente escalável, utilizando principalmente Apache Spark/Python em Databricks. Esse profissional será responsável por desenvolver, otimizar e dar manutenção em pipelines de ingestão de dados, com foco em arquiteturas modernas e eficientes.

Entre as principais atividades, destacam-se:

  • Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental, schema evolution, otimização de throughput).
  • Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL.
  • Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta Lake.
  • Conhecimento de git controle de versionamento, pull requests.
  • Análise, melhoria e otimização de custos e performance em Databricks.
  • Implementar Data Quality.
    • <...

    Apply for this Position

    Ready to join Experian? Click the button below to submit your application.

    Submit Application