GCP Data Engineer

.

• Projetar e implementar pipelines de ingestão, transformação e orquestração de dados na Google Cloud;
• Garantir qualidade, confiabilidade e escalabilidade no fluxo de dados (batch e streaming);
• Otimizar custos de armazenamento e processamento (BigQuery, Dataflow, Dataproc, Pub/Sub);
• Colaborar com cientistas de dados e analistas, fornecendo dados prontos para consumo.

• Experiência com SQL avançado;
• Experiência com Python para pipelines, automações e ETL;
• Experiência com Dataflow (Apache Beam) para pipelines ETL/ELT batch e streaming;
• Experiência em ingestão em tempo real via Pub/Sub;
• Experiência com integração com bancos Oracle, SQL Server e MySQL (JDBC, templates ou extrações customizadas);
• Experiência com uso de Storage Transfer para ingestão batch (GCS e S3);
• Domínio de BigQuery (modelagem, otimização de queries, particionamento...