Engenharia de dados · Desenvolvedora Python
Rafaella
Duarte
Construo pipelines de dados observáveis, resilientes e escaláveis - da ingestão à disponibilização, combinando cloud, infraestrutura, processamento de dados e IA aplicada.
Engenharia de dados · Desenvolvedora Python
Construo pipelines de dados observáveis, resilientes e escaláveis - da ingestão à disponibilização, combinando cloud, infraestrutura, processamento de dados e IA aplicada.
Sobre
Curiosa por natureza.
Comecei como estagiária em 2021, escrevendo meus primeiros scrapers e pipelines, e hoje atuo com engenharia de dados, utilizando diferentes tecnologias de processamento, armazenamento e cloud, com certificações em Airflow e Databricks.
Sou formada em Ciências Econômicas - o que me ajuda a estruturar problemas antes de propor soluções técnicas, e não o contrário.
Fora do trabalho, desenvolvo um projeto pessoal de catalogação de aves brasileiras, com um assistente de identificação de espécies usando RAG e LLMs. Também ensino matemática para crianças e restauro livros como hobby.
Perfil técnico
Atuo na ingestão, processamento, modelagem e disponibilização de dados, com diferentes arquiteturas e tecnologias conforme o problema e a escala.
Arquitetura
Linguagens & Processamento
Dados
Orquestração
Cloud & DevOps
IA Aplicada
Trajetória
E-xyon
Dados jurídicos: ingestão via APIs públicas e web scraping, modelagem em SQL Server (300M+ processos), Data Warehouse no BigQuery e classificação semântica com LLMs e RAG.
Flow2Go
Scrapers com bypass de captcha para portais jurídicos, enriquecimento e padronização em MongoDB, disponibilização via API REST. Migração de workload on-premise para arquitetura serverless no GCP.
Linx
Pipelines de coleta para 10+ marketplaces, catálogo de 60M+ produtos, arquitetura orientada a filas via RabbitMQ.
Nodis (Grupo StoneCo)
Pipelines ETL e scrapers para marketplaces, integração com VTEX via API, dashboards de KPIs em Data Studio.
Portfólio
Captura e replicação de dados de tráfego aéreo em tempo real utilizando Change Data Capture (CDC), com ingestão, processamento e armazenamento em um Data Lake para análise e histórico dos dados.
Integração de dados epidemiológicos e climáticos em uma arquitetura Medallion, utilizando AWS, Spark e Databricks para processamento e análise de arboviroses no Brasil.
2º lugar no Hackathon A3Data Challenge Women, com pipeline de ingestão e transformação de dados públicos de CNPJ no GCP, utilizando processamento assíncrono, persistência e visualização dos dados.
Aplicação de RAG para identificação de espécies, utilizando embeddings, recuperação semântica e LLMs a partir de descrições textuais.
Plataforma de gestão de acervo pessoal, com API em FastAPI, modelagem Star Schema e frontend em Django.
Pipeline ETL com arquitetura Medallion, ingestão via CSV e API, transformações com dbt, testes de qualidade e modelagem dimensional em Star Schema.
