Projeto de monitoramento de publicações oficiais relacionadas a COVID-19 no Brasil.
- Ruby on Rails
- PostgreSQL
- Huginn
Alto nível, mais informações podem ser disponibilizadas caso haja interesse
O processo de scraping (ou raspagem) é feito por uma série de agentes configurados numa instância de um fork do Huginn (a configuração dos agentes pode ser encontrada aqui). Cada fonte monitorada possui um cenário do Huginn composto por diversos agentes que trabalham numa parte do processo de scraping:
Eventualmente as informações são enviadas para um Bucket do S3 que é monitorado por um outro conjunto de agentes. Estes agentes são responsáveis por notificar esta aplicação Rails (esse projeto) sobre novas publicações encontradas:
Esta aplicação é responsável por processar os dados e determinar se determinada publicação é relevante ou não. Além de servir como porta de entrada para visualização das informações.
- https://github.com/fgrehm/covid19br-pub-agents - Fork do Huginn com algumas poucas alterações
- https://github.com/fgrehm/covid19br-pub-scenarios - Gerador de cenários para o Huginn.
Para mais informações sobre como ajudar e próximas etapas basta olhar os projetos ou issues em aberto. Fique a vontade para mandar feedbacks e bug via issues também :)