Middle Data Engineer

Summary

Join ília, a technology, data, and design specialist, and contribute to building a robust data lake integrated with company data sources. You will design, build, and maintain efficient data pipelines for batch and streaming data processing, implement pipeline orchestration workflows, and contribute to the development and optimization of a Lakehouse architecture. This role involves managing structured and semi-structured data formats, ensuring optimal performance for data querying and storage, collaborating with cross-functional teams, and adhering to data governance, security, and compliance best practices.

Requirements

• Inglês e/ou Espanhol Avançado
• Sólida compreensão dos principais conceitos de engenharia de dados: arquitetura Medallion, modelagem dimensional, processamento de dados em lote vs. streaming e orquestração de pipeline
• Proficiência em Python e SQL para processamento e desenvolvimento de dados
• Experiência em projetar e manter pipelines de dados em ambientes de nuvem (AWS, GCP ou Azure)
• Familiaridade com ferramentas de orquestração de fluxo de trabalho de dados (por exemplo, Apache Airflow, Prefect, Step Functions)
• Fortes habilidades analíticas e de resolução de problemas

Responsibilities

• Desenvolvimento e orquestração de pipeline: Projetar, construir e manter pipelines de dados eficientes para processamento de dados em lote e streaming
• Implementar fluxos de trabalho de orquestração de pipeline usando ferramentas modernas para garantir confiabilidade e escalabilidade
• Arquitetura Lakehouse: Contribuir para o desenvolvimento e otimização de uma arquitetura Lakehouse, incluindo princípios da Arquitetura Medallion (camadas bronze, prata, ouro)
• Lidar com processos de integração, transformação e armazenamento de dados
• Armazenamento e otimização de dados: Gerencie formatos de dados estruturados e semiestruturados, como Parquet, CSV e JSON
• Garanta o desempenho ideal para consulta e armazenamento de dados
• Colaboração e governança de dados: Colabore com equipes multifuncionais para alinhar soluções de dados com objetivos de negócios
• Garanta a adesão às melhores práticas de governança, segurança e conformidade de dados

Preferred Qualifications

• Experiência prática com serviços da AWS como Glue, S3 e Athena
• Conhecimento de ferramentas de BI e visualização de dados, como AWS Quick Sight, Looker Studio
• Familiaridade com práticas de CI/CD e Infraestrutura como Código (por exemplo, Terraform, CloudFormation)
• Experiência com projetos de Data Lake ou Lakehouse
• Explore oportunidades para integrar soluções de IA generativas, particularmente usando AWS Bedrock, para aprimorar fluxos de trabalho de dados e análises
• Aplique técnicas de engenharia rápida para personalizar soluções orientadas por IA para casos de uso específicos
• Pesquise e contribua para interações potenciais com plataformas de IA do GCP e do Azure como parte de estratégias futuras

Benefits

• Plano de Saúde e Odontológico SulAmérica extensivo a dependentes
• Vale Alimentação/Refeição em cartão flexível Picpay benefícios
• Seguro de Vida
• Auxílio Home-Office em cartão flexível Picpay benefícios
• Wellhub (Gympass)
• TotalPass
• ��lia University: Universidade Corporativa com mais de 20 mil cursos disponíveis para desenvolvimento pessoal e profissional
• Language Academy: Escola de idiomas para ílians
• ��-talks e Chapter: Momentos e cerimônias em que o time compartilha práticas, estudos, projetos e ideias. Nas chapters ainda se reúnem pessoas com skills similares para compartilhamento de ideias, práticas e experiências
• Plano de Saúde PET- Guapeco
• BYOD- Alugamos o seu notebook pessoal te pagando um valor mensal para que você o use, mas disponibilizamos também máquinas de trabalho para ílians. Você quem decide!
• Seu Niver, seu bolo!
• Seu Networking Vale Prêmio- Programa de premiação a indicação de novos funcionários