Engenheiro de Dados III

O que procuramos?

Atribuições principais: 

Desenvolver e manter pipelines de ingestão de dados (batch e streaming) utilizando recursos nativos (Snowpipe, Tasks, Streams) e orquestradores externos.

Implementar processos de transformação de dados dentro do Snowflake, priorizando a abordagem ELT (Extract, Load, Transform).

Gerenciar o ciclo de vida dos dados: desde a Raw Layer (Data Lake) até as camadas de Curated/Gold (Data Marts).

Monitorar e otimizar o consumo de créditos (FinOps), ajustando o tamanho dos Virtual Warehouses, configurações de Auto-suspend e Multi-cluster scaling.

Aplicar estratégias de otimização de queries, utilizando Clustering Keys, Search Optimization Service e Materialized Views.

Analisar o Query Profile para identificar gargalos de performance em SQL complexo.

Modelar dados para alta performance analítica (Star Schema, Snowflake Schema ou Data Vault).

Implementar políticas de segurança e govern...