Data Engineer Senior

Summary

Join Grupo QuintoAndar, a leading technology real estate company in Latin America, as part of the Project Crawler team. You will be responsible for extracting, structuring, and analyzing data from external websites using scraping providers and associated technologies. Ensure data quality and coverage, improve the extraction pipeline, and collaborate on validation and integration with internal sources. The role involves coordinating and monitoring scraping providers, defining crawling strategies, designing data normalization rules, implementing data ingestion processes, and participating in the evaluation of new technologies. Grupo QuintoAndar offers a hybrid work model, various benefits, and a stimulating work environment. The position requires 1-2 years of experience in data engineering and expertise in web scraping tools and technologies.

Requirements

• 1-2 años de experiencia en ingeniería de datos o roles similares
• Experiencia con scraping web: uso de herramientas como Scrapy, Selenium, BeautifulSoup, o equivalentes
• Conocimientos en protocolos de red, análisis de tráfico (inspección de requests/responses)
• Experiencia en integración y procesamiento de datos estructurados (JSON, CSV, etc.)
• Conocimientos sólidos de Python orientado a automatización de pipelines
• Manejo de bases de datos relacionales (MySQL, PostgreSQL, etc.)
• Experiencia en control de versiones con Git

Responsibilities

• Coordinar y monitorear la operación de proveedores de scraping
• Definir y validar estrategias de crawling/scraping para distintos sitios, considerando limitaciones técnicas y legales
• Diseñar, testear y documentar reglas de normalización, de duplicación y validación de datos extraídos
• Implementar y mantener procesos de ingestión de datos desde fuentes externas (APIs, scraping, archivos)
• Asegurar la cobertura geográfica y temporal de los datos recolectados
• Participar en la evaluación técnica de nuevos proveedores o tecnologías asociadas al crawling
• Documentar casos de uso, resultados esperados y anomalías detectadas en el pipeline de extracción

Preferred Qualifications

• Experiencia trabajando con proveedores de scraping o crawlers gestionados
• Conocimientos en GCP: especialmente BigQuery, Cloud Functions, Composer (Airflow)
• Familiaridad con plataformas de orquestación como Airflow, Prefect o similares
• Experiencia básica en modelado de datos y visualización (Power BI o Looker)
• Conocimiento en metodologías ágiles (Scrum)
• Inglés intermedio para lectura técnica y comunicación básica con proveedores
• Pensamiento analítico y enfoque en calidad de datos
• Buenas habilidades de comunicación para interactuar con equipos técnicos y no técnicos
• Proactividad para identificar oportunidades de mejora y anticipar problemas en la cadena de extracción
• Capacidad para adaptarse a cambios en entornos de datos dinámicos

Benefits

• Día de cumpleaños libre
• Home office
• Viernes flex
• Obra Social
• Frutas / Yogures / Snacks / Desayuno in company
• Gympass
• Fluency Academy
• Licencia parental extendida
• Múltiples descuentos en instituciones educativas y/o universidades