Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Windows]Spiders que usam dateparser com erro : No module named 'tzdata' #962

Open
Tracked by #974
Winzen opened this issue Oct 8, 2023 · 3 comments · May be fixed by #974
Open
Tracked by #974

[Windows]Spiders que usam dateparser com erro : No module named 'tzdata' #962

Winzen opened this issue Oct 8, 2023 · 3 comments · May be fixed by #974
Labels
dependencies Atualiza arquivo de dependências

Comments

@Winzen
Copy link
Contributor

Winzen commented Oct 8, 2023

Testando 139 spiders que estão em enabled_spiders.py no windows.
Percebi que ao menos 20 estavam com um erro incomum de: ModuleNotFoundError: No module named 'tzdata.
Boa parte do sistema replicável DOEM

ba_acajutiba, ba_alagoinhas, ba_alcobaca, ba_campo_formoso, ba_canudos, ba_feira_de_santana, ba_itapetinga, ba_juazeiro, ba_mascote, ba_prado, ba_santo_estevao, ba_senhor_do_bonfim, ba_teolandia, ba_tucano, go_goiania, pe_jaboatao_dos_guararapes, pe_petrolina, rr_boa_vista, sc_florianopolis, sc_joinville, se_nossa_senhora_do_socorro

Fui dar uma olhada nas modificações que aconteceram e parece que o "tzdata" foi removido das dependência: aqui
Ao que parece todos os raspadores citados tem o dateparser como uma importação e ele parece ter ficado inconsistente com a falta do tzdata no windows.

dateparser acaba chamando zoneinfo para tenta encontrar o fuso horário pelo sistema local a partir do IANA time zone database (supostamente o windows não utiliza nativamente) e ao falhar tenta usa o tzdata que não faz mais parte do requirements-dev.txt do QD.

The zoneinfo module provides a concrete time zone implementation to support the IANA time zone database as originally specified in PEP 615. By default, zoneinfo uses the system’s time zone data if available; if no system time zone data is available, the library will fall back to using the first-party tzdata package available on PyPI.

Baixar o 'tzdata' já resolver a questão:

pip install tzdata

Alguns logs exemplo do erro:
log_ba_alcobaca.txt
log_ba_campo_formoso.txt
log_rr_boa_vista.txt
log_sc_joinville.txt
log_se_nossa_senhora_do_socorro.txt

@Winzen Winzen changed the title Spiders que usam dateparser com erro : No module named 'tzdata' [Windows]Spiders que usam dateparser com erro : No module named 'tzdata' Oct 8, 2023
@natanluiz99
Copy link
Contributor

Todas as cidades do Grupo 1 da #947 estão com o mesmo erro sendo executados os raspadores no windows
As cidades e seus logs:

log_ba_alcobaca.txt
log_ba_antonio_cardoso.txt
log_ba_banzae.txt
log_ba_barra_do_choca.txt
log_ba_barrocas.txt

@trevineju
Copy link
Member

Só pra deixar avisado que, quem usa Windows e for contribuir, não precisa deixar de enviar a PR só pq deu esse erro em específico. Como o projeto roda em linux, e não estamos tendo esse problema, confiro isso ao revisar a PR.

Obrigada @Winzen por estar cuidando da solução de problemas

@natanluiz99
Copy link
Contributor

estou conseguindo fazer a revisão das cidades do grupo 1 da issue #947 após ter instalado a biblioteca tzdata

@trevineju trevineju added the dependencies Atualiza arquivo de dependências label Oct 16, 2023
AlexJBSilva added a commit to AlexJBSilva/querido-diario that referenced this issue Oct 17, 2023
@AlexJBSilva AlexJBSilva linked a pull request Oct 17, 2023 that will close this issue
1 task
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
dependencies Atualiza arquivo de dependências
Projects
None yet
Development

Successfully merging a pull request may close this issue.

3 participants