Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Adicionar extensão ao arquivo baixado #819

Open
trevineju opened this issue Jan 13, 2023 · 2 comments · May be fixed by #946 or #1045
Open

Adicionar extensão ao arquivo baixado #819

trevineju opened this issue Jan 13, 2023 · 2 comments · May be fixed by #946 or #1045
Labels
type: enhancement Novo recurso ou ferramenta type: production Esse problema afeta o que está em produção

Comments

@trevineju
Copy link
Member

trevineju commented Jan 13, 2023 •
edited

Os arquivos baixados durante a raspagem às vezes estão sem extensão.

Isso prejudica quem estiver contribuindo com desenvolvimento e teste de raspadores em Windows.

Além disso, como os arquivos entram na infra do projeto assim, faz com que, na ponta (plataforma web) seu download também fique sem extensão (em "baixar o arquivo original") e portanto sem abrir em computadores Windows (que deve ser majoritária parte do público usuário do Querido Diário).

image

Assim, é uma limitação que prejudica usuários no front, mas que começa na etapa de raspagem potencialmente limitando desenvolvedores também.

Tarefa:
Implementar uma correção para que a extensão PDF seja adicionada automaticamente
@trevineju trevineju added the type: enhancement Novo recurso ou ferramenta label Jan 13, 2023
@trevineju trevineju mentioned this issue Apr 20, 2023
Closed
@trevineju
Copy link
Member Author

@Winzen essa issue pode ficar com vc?

@Winzen Winzen linked a pull request Sep 30, 2023 that will close this issue
Open
5 tasks
@Winzen
Copy link
Contributor

Winzen commented Sep 30, 2023

Pr feito @trevineju 🕺

@trevineju trevineju linked a pull request Oct 16, 2023 that will close this issue
Verificando falta de extensão #946
Open
5 tasks
AlexJBSilva added a commit to AlexJBSilva/querido-diario that referenced this issue Nov 30, 2023
@AlexJBSilva
Adiciona a extensão correspondente no arquivo que
9f54b7d 
está sendo baixado, quando o scrapy não consegue achar a extensão pela
url de download. Essa parte é uma implementação (com ajustes) do código
sugerido pelo @ogecece  em okfn-brasil#946 (review) .
Para resolver o problema de "nos casos onde forçamos a detecção da extensão, o arquivo sempre seria baixado novamente de forma desnecessária",
o método `stat_file` foi sobrescrito, com a inclusão da busca por um
arquivo com extensão quando o scrapy não consegue achar a extensão pela
url de download para comparar se o arquivo já foi baixado.
Resolve okfn-brasil#819
@AlexJBSilva AlexJBSilva linked a pull request Nov 30, 2023 that will close this issue
Open
5 tasks
@trevineju trevineju added the type: production Esse problema afeta o que está em produção label Mar 31, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
type: enhancement Novo recurso ou ferramenta type: production Esse problema afeta o que está em produção
Projects
[Querido Diário] Expansão de Cidades
Status: em revisão
Milestone
No milestone
2 participants
@trevineju @Winzen