CrawlerBrazilGovData

Principais Funcionalidades:

• Extração de dados de sites oficiais:
  • Datasets da Prefeitura de São Paulo
  • Notícias do Estado de São Paulo
• Projeto feito em .NET 5;
• Onion Architecture Medium;
• AutoMapper (DTO's e entidades de Domínio);
• Swagger (Documentação em toda API);
• Helpers para salvar dados em Filas SQS AWS;
• Helpers para salvar dados em buckets S3 AWS;
• Mapeamento com Code-First pelo EF Core;
• Entrega de dados via API Rest;
• Dados salvos em base de dados MySQL;
• WEB Crawler dos sites via HTML Pack Agility;
• Tratamento Centralizado de erros (LOG);
• Implementação de Cache de Memória;
• Padrão Repositório;
• Health Check das bases de dados;
• Injeção de Dependência;
• Separação de projetos em contextos;
• Homologação dos dados via evidências de arquivos salvos.
• Implementações com Programação Paralela

Tecnologias Utilizadas

• C#