Contexto
Pipeline para acompanhar preços e características de imóveis anunciados em sites de imobiliárias, alimentando análises de mercado no Power BI. Diferente de projetos com API oficial, aqui o desafio central é o próprio scraping — sites de imobiliárias variam muito em estrutura e reforçam proteção anti-bot com frequência.
Fluxo da arquitetura
O Airflow orquestra o ciclo completo: dispara o scraping, valida e transforma os dados coletados, e carrega em PostgreSQL — de onde o Power BI consome direto para os dashboards de análise.
O que foi implementado
- Web scraping de múltiplos sites de imobiliárias
- Pipeline de ingestão e transformação dos dados coletados
- Orquestração completa via Airflow, do disparo do scraping à carga no banco
Maior desafio até agora: bloqueios anti-bot e a necessidade recorrente de atualizar o scraper conforme os sites mudam de estrutura — o tipo de manutenção que não aparece no código final, mas consome boa parte do tempo real de um pipeline de scraping.