Adiciona vários spider de MG - Barbacena | Carmo do Rio Claro | Onça do Pitangui | Juatuba

[lucioerlan]

Checklist - Novo spider

• Você executou uma extração completa do spider localmente e os dados retornados estavam corretos.
• Você executou uma extração por período (start_date e end_date definidos) ao menos uma vez e os dados retornados estavam corretos.
• Você verificou que não existe nenhum erro nos logs (log_count/ERROR igual a zero).
• Você definiu o atributo de classe start_date no seu spider com a data do Diário Oficial mais antigo disponível na página da cidade.
• Você garantiu que todos os campos que poderiam ser extraídos foram extraídos de acordo com a documentação.

Descrição

Adicionando vários spiders para o estado de Minas Gerais(MG) - Barbacena | Carmo do Rio Claro | Onça do Pitangui | Juatuba

---

Informações Complementares:

Barbacena, MG: 3105608

• https://www1.barbacena.mg.gov.br/portal/diario-oficial
• https://cidades.ibge.gov.br/brasil/mg/barbacena/panorama

Carmo do Rio Claro, MG: 3114402

• https://www.carmodorioclaro.mg.gov.br/portal/diario-oficial
• https://cidades.ibge.gov.br/brasil/mg/carmo-do-rio-claro/panorama

Onça do Pitangui, MG: 3151404

• https://www.oncadopitangui.mg.gov.br/portal/diario-oficial
• https://cidades.ibge.gov.br/brasil/mg/pitangui/panorama

Juatuba, MG: 3136652

• https://www.juatuba.mg.gov.br/portal/diario-oficial
• https://cidades.ibge.gov.br/brasil/mg/juatuba/panorama

[trevineju]

Parabéns pela primeira contribuição, @lucioerlan!

Precisei fazer só alguns ajustes, que você pode conferir no commit f2a59a3.

[trevineju]

@lucioerlan, fui testar e vi que o raspador para Barbacena-MG está dando muito erro 403 e 404 de arquivo que existe no site: barbacena-v1.log

Você poderia dar uma olhada nisso?
Uma possibilidade é a de experimentar diferentes custom_settings até encontrar uma que resolva (dá pra usar raspadores do repositório e a documentação do Scrapy de referência)

Os outros raspadores estão certos ;)

Found other issues after my first review

[lucioerlan]

@lucioerlan, fui testar e vi que o raspador para Barbacena-MG está dando muito erro 403 e 404 de arquivo que existe no site: barbacena-v1.log

Você poderia dar uma olhada nisso? Uma possibilidade é uma experiência diferente custom_settingsaté encontrar uma que resolva (dá pra usar raspadores do repositório e a documentação do Scrapy de referência)

Os outros raspadores são certos ;)

obrigado @trevineju, claro, estou verificando aqui ;)

[trevineju]

@lucioerlan, obrigada por ver!

Me ocorreu agora também sugerir que, como 3 dos 4 raspadores estão revisados, daria pra tirar mg_barbacena daqui, eu aprovo a PR e colocamos as três cidades validadas em produção (não tem pq a gente deixar código bom parado, sabe?). E aí você abre outra PR com mg_barbacena, talvez como rascunho, e vai trabalhando nela. O que você acha?