Contexto
Desafio do Hackathon de Engenharia de Dados promovido pela A3Data (Challenge Women): construir, em tempo limitado, um pipeline completo sobre a base pública de CNPJs da Receita Federal (2010–2021) e responder perguntas de negócio como número de empresas ativas por mês/UF, aberturas e fechamentos por regime tributário, e qual CNAE tem o maior capital social médio no país.
Fluxo da arquitetura
Um scraper percorre o portal da Receita Federal, baixa os arquivos .ZIP e extrai os .CSV direto para o Google Cloud Storage - mantendo o dado bruto na nuvem evita reprocessar a coleta a cada rodada de tratamento. O tratamento e a análise acontecem no BigQuery, e as respostas do desafio viram visualizações no Data Studio.
Modelo de dados
No BigQuery, a carga bruta virou uma tabela única com junção de empresas, estabelecimentos e sócios via CNPJ básico, combinada com as tabelas de domínio (município, país, motivo, natureza jurídica, qualificação do sócio e CNAE).
Dashboards
As 6 perguntas-chave do desafio - empresas ativas, fechamentos, aberturas, CNPJs de educação superior, CNAE com maior capital social médio e capital médio de pequeno porte por natureza jurídica - foram respondidas em relatórios interativos no Data Studio.
O que foi implementado
- Ingestão e processamento de dados públicos empresariais direto do portal da Receita Federal
- Limpeza e organização dos dados brutos antes da carga no BigQuery
- Geração de visualizações para responder às perguntas-chave do desafio, por município e por ano