Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Novo spider]: Vale do Paraíba e Litoral Norte (SP) #1071

Open
almeidadm opened this issue Feb 2, 2024 · 1 comment · Fixed by #1076, #1077, #1078 or #1079 · May be fixed by #1073
Open

[Novo spider]: Vale do Paraíba e Litoral Norte (SP) #1071

almeidadm opened this issue Feb 2, 2024 · 1 comment · Fixed by #1076, #1077, #1078 or #1079 · May be fixed by #1073

Comments

@almeidadm
Copy link
Contributor

almeidadm commented Feb 2, 2024

Abaixo listo algumas cidades que podem ser novos spiders:

Caçapava - SP: https://cacapava.sp.gov.br/diario-oficial
Cunha - SP: https://www.imprensaoficialmunicipal.com.br/cunha
Jacareí - SP: https://boletinsoficiais.geosiap.net/pmjacarei/public/publicacoes
Monteiro Lobato - SP: https://imprensaoficialmunicipal.com.br/monteiro_lobato
São Sebastião - SP: https://www.saosebastiao.sp.gov.br/doem.asp
Taubaté - SP: https://plenussistemas.dioenet.com.br/list/taubate
Tremembé - SP: https://www.imprensaoficialmunicipal.com.br/tremembe

Algumas cidades demandam manutenção na spider atual, como:
São José dos Campos - SP: https://diariodomunicipio.sjc.sp.gov.br/

@trevineju
Copy link
Member

trevineju commented Mar 12, 2024

Boa, @almeidadm!

Deixando um update pra você:
Fechei #1072 e #1074 pq é melhor pra gente adicionar com o sistema base do que como raspador individual
As que usam DOSP ( #1077, #1078 e #1079 ) aprovo e coloco no ar pela semana que vem, por serem muito simples
E as outras 3 vão entrar na fila de revisão

@trevineju trevineju reopened this Mar 17, 2024
@trevineju trevineju reopened this Mar 24, 2024
rennerocha added a commit that referenced this issue Apr 19, 2024
**AO ABRIR** um Pull Request de um novo raspador (spider), marque com um
`X` cada um dos items do checklist
abaixo. **NÃO ABRA** um novo Pull Request antes de completar todos os
items abaixo.

#### Checklist - Novo spider
- [X] Você executou uma extração completa do spider localmente e os
dados retornados estavam corretos.
- [X] Você executou uma extração por período (`start_date` e `end_date`
definidos) ao menos uma vez e os dados retornados estavam corretos.
- [X] Você verificou que não existe nenhum erro nos logs
(`log_count/ERROR` igual a zero).
- [X] Você definiu o atributo de classe `start_date` no seu spider com a
data do Diário Oficial mais antigo disponível na página da cidade.
- [X] Você garantiu que todos os campos que poderiam ser extraídos foram
extraídos [de acordo com a
documentação](https://docs.queridodiario.ok.org.br/pt-br/latest/escrevendo-um-novo-spider.html#definicao-de-campos).

#### Descrição

Os boletins podem ser consultados em intervalos de datas através do site
https://cacapava.sp.gov.br/diario-oficial.

#### Logs

[log_sp_cacapava.txt](https://github.com/okfn-brasil/querido-diario/files/14151676/log_sp_cacapava.txt)

[log_sp_cacapava.csv](https://github.com/okfn-brasil/querido-diario/files/14151678/log_sp_cacapava.csv)

resolve #1071
@trevineju trevineju reopened this Apr 19, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment