AWS Data Engineer

.

Responsabilidades e atribuições

• Atuar em projeto de migração e modernização da plataforma de dados;
• Mapear, analisar e compreender notebooks e jobs existentes no Databricks (Azure);
• Definir e executar ondas de migração de workloads para AWS EMR (EC2 e/ou Serverless);
• Implementar e manter a orquestração de pipelines e jobs utilizando Apache Airflow (MWAA);
• Construir e sustentar esteiras de CI/CD para deploy, versionamento e automação;
• Estruturar e organizar catálogo de dados, metadados e governança de acessos utilizando AWS Lake Formation;
• Garantir observabilidade dos pipelines por meio da integração de logs e métricas com Grafana;
• Estruturar dados nas camadas Landing, Silver e Gold utilizando Hudi e Iceberg, assegurando aderência ao modelo atual em ADLS;
• Atuar em processos de homologação, gestão de mudanças e deploy em produção;
• Promover boas práticas e realizar transferência de c...