Senior Data Engineer

Summary

Join ília, a technology, data, and design specialist, and contribute to the digital transformation of major market players in finance, insurance, and mobility. As a Data Engineer, you will be responsible for building a robust data lake, integrating it seamlessly with company data sources, and developing advanced data visualizations and AI-powered applications to enhance business outcomes and operational efficiency. You will lead the evolution of the Data Lake, implement and optimize the Medallion Architecture, design and maintain scalable ETL pipelines, and utilize AWS services like Glue, S3, and Athena for data storage and querying. You will also develop and maintain dashboards using tools like AWS Quicksight and Google Looker Studio to generate actionable insights. This role requires strong experience in data engineering, data lake architectures, and AWS services, as well as proficiency in ETL processes, data integration tools, and pipeline orchestration. You will collaborate with multidisciplinary teams to align data infrastructure and deliverables with business needs, ensuring robust data governance, security, and compliance. Additionally, you will explore opportunities to integrate generative AI solutions, particularly using AWS Bedrock, to enhance data workflows and analytics.

Requirements

• Experiência comprovada como Engenheiro de Dados, com especialização em arquiteturas de Data Lake e Arquitetura Medallion
• Sólida experiência prática com serviços AWS, incluindo Glue, S3 e Athena
• Proficiência no manuseio de arquivos Parquet e na otimização de seu uso para armazenamento e consultas
• Conhecimento avançado em processos ETL, ferramentas de integração de dados e orquestração de pipelines (ex.: Apache Airflow)
• Domínio em SQL e Python para processamento e automação de dados
• Experiência com ferramentas de BI, como Power BI, Tableau ou similares, para desenvolvimento de dashboards

Responsibilities

• Liderar a evolução do Data Lake, implementando e otimizando a Arquitetura Medallion (camadas bronze, prata e ouro)
• Projetar, desenvolver e manter pipelines ETL escaláveis utilizando o AWS Glue e outros serviços nativos da AWS
• Utilizar o AWS S3 para armazenamento de dados e o Athena para consulta de datasets, garantindo eficiência de desempenho
• Otimizar fluxos de trabalho com foco em arquivos Parquet para eficiência no processamento e armazenamento
• Desenvolver e manter dashboards usando ferramentas como AWS Quicksight e Google Looker Studio para gerar insights acionáveis
• Colaborar com equipes multidisciplinares para alinhar a infraestrutura de dados e entregáveis às necessidades do negócio
• Garantir governança robusta, segurança e conformidade de dados em todas as operações
• Explorar oportunidades para integrar soluções de IA generativa, especialmente utilizando o AWS Bedrock, para aprimorar fluxos de trabalho de dados e análises
• Aplicar técnicas de engenharia de prompts para personalizar soluções baseadas em IA para casos de uso específicos
• Pesquisar e contribuir para potenciais integrações com as plataformas de IA da GCP e Azure como parte de estratégias futuras

Preferred Qualifications

• Experiência prática com ferramentas de IA Generativa da AWS, especialmente o Amazon Bedrock
• Familiaridade com soluções de IA generativa na GCP (Vertex AI, PaLM) e na Azure (Azure OpenAI Service)
• Compreensão de técnicas de engenharia de prompts e suas aplicações
• Certificações em AWS (ex.: AWS Certified Data Analytics, AWS Certified Solutions Architect)
• Conhecimento em CI/CD para pipelines de dados e Infraestrutura como Código (ex.: Terraform, CloudFormation)
• Fortes habilidades de resolução de problemas e capacidade de atuar em um ambiente rápido e inovador

Benefits

• Plano de Saúde e Odontológico SulAmérica extensivo a dependentes
• Vale Alimentação/Refeição em cartão flexível Picpay benefícios
• Seguro de Vida
• Auxílio Home-Office em cartão flexível Picpay benefícios
• Wellhub (Gympass)
• TotalPass
• ��lia University: Universidade Corporativa com mais de 20 mil cursos disponíveis para desenvolvimento pessoal e profissional
• Language Academy: Escola de idiomas para ílians
• ��-talks e Chapter: Momentos e cerimônias em que o time compartilha práticas, estudos, projetos e ideias. Nas chapters ainda se reúnem pessoas com skills similares para compartilhamento de ideias, práticas e experiências
• Plano de Saúde PET- Guapeco
• BYOD- Alugamos o seu notebook pessoal te pagando um valor mensal para que você o use, mas disponibilizamos também máquinas de trabalho para ílians. Você quem decide!
• Seu Niver, seu bolo!
• Seu Networking Vale Prêmio- Programa de premiação a indicação de novos funcionários