GitHub - vladiscripts/importer_from_lib_ru: Импорт в Викитеку текстов с сайта az.lib.ru (раздел классики)

Проект импорта в Викитеку изи раздела классики их http://az.lib.ru.

«На 20 августа 2021 г. собрание включало в себя 3809 разделов русских авторов и 1776 разделов зарубежных писателей; 62052 файла с текстами; портреты 4021-го писателя. Общий объем текстовой информации превысил 5,0 Гб (5152 Мб, без учета иллюстраций).»

Проект весьма сложный. Там много произведений в ОД, многие с опечатками. Очень плохая html-вёрстка.

Проект начат 1 октября, разработка идёт по настоящее время.

https://ru.wikisource.org/wiki/Викитека:Проект:Импорт_текстов/Lib.ru

Name		Name	Last commit message	Last commit date
Latest commit History 42 Commits
converter_html_to_wiki		converter_html_to_wiki
db		db
drafts		drafts
lib_ru		lib_ru
src		src
LICENSE		LICENSE
README.md		README.md
__init__.py		__init__.py
add_authors_catehories.py		add_authors_catehories.py
checking_page_creators.py		checking_page_creators.py
console_from_lib_ru.sql		console_from_lib_ru.sql
db_set_titles_ws.py		db_set_titles_ws.py
delete_pages_w_images.py		delete_pages_w_images.py
images_from_parser_to_db.py		images_from_parser_to_db.py
main.py		main.py
make_author_wikipages.py		make_author_wikipages.py
make_work_wikipages.py		make_work_wikipages.py
pandoc_parser.py		pandoc_parser.py
pandoc_parser_asyn.py		pandoc_parser_asyn.py
posting_authors_pages.py		posting_authors_pages.py
posting_images.py		posting_images.py
posting_to_ws.py		posting_to_ws.py
replace_image_names.py		replace_image_names.py
replace_nameimages_in_ws.py		replace_nameimages_in_ws.py
replaces_on_pages_with_pagefromfile.py		replaces_on_pages_with_pagefromfile.py
replaces_on_pages_with_pagefromfile_center.py		replaces_on_pages_with_pagefromfile_center.py
replacing_in_db.py		replacing_in_db.py
requirements.txt		requirements.txt
scrapy.cfg		scrapy.cfg
todo.md		todo.md
wikificator.py		wikificator.py

License

vladiscripts/importer_from_lib_ru

Folders and files

Latest commit

History

Repository files navigation

About

Topics

Resources

License

Stars

Watchers

Forks

Languages