поисковик на примере каталога флибусты

термины и лицензии

• флибуста
• каталог — архив списка книг (автор, название, год, ид), находится в открытом доступе
• данный проект не аффилирован с какими-либо торговыми марками, здесь упомянутыми
• файлы из каталога /data/* не являются авторскими разработками и могут быть использованы без лицензии. Лицезию исходного файла данных (каталога) установить не удалось. Формальная лицензия проекта Unlicense License совместима с MIT, WTFPL, CC-BY

проект

Проект выполнен в исследовательских и экспериментальных целях. Были выявлены ограничения гитхаба и других хранилищ, установлено, что образы ubuntu* для gihub actions содержат множество дополнительного софта (apache, bind, mariadb, dot-net sdk, nodejs, php, python и т.п.), проверены возможности SQLite (удобно расширять внешними пользовательскими функциями). Результаты экспериментов будут учтены в проектах @metaphonia и git-acts

состав файлов

в каталоге /data

• catalog.zip, catalog.txt — исходные файлы, внутренний формат похож на CSV с разделителем ;, но таковым не является, потому что поле №5 Subtitle может содержать несколько полей с тем же разделителем
• catalog.csv.txt — исправленный и подготовленный
• catalog.sqlite — бд с закачанными данными, структура:

create table if not exists 
catalog (surname varchar(255), name varchar(255), patronymic varchar(255), 
          title text, subtitle text, language char(2), year int, series text, id integer);

• catalog.csv — дамп в правильном CSV
• catalog.sql.gz — дамп ANSI SQL

/docs

• содержит демо https://ablaternae.github.io/flibusta-catalog-indexer/
• и проиндексированные данные в формате JSON /docs/i/

/scripts

• разные скрипты преобразования данных и вспомогательные функций

todo

• придумать морфологический поиск
• проиндексировать содержимое
• написать реализацию
• прикрутить веб-интерфейс
• статистика поиска, посещения страниц
• тг-бот

немного статистики

• 

• 

• общее количество записей в первоначальном архиве более 600 000 и увеличивается

• размер исходных данных в текстовом виде более 70Мб

• SQL дамп 100Мб

• JSON дамп 120Мб

• общее количество слов длиннее двух символов более 10E6 (10 миллионов)

• размер индексных файлов 21Мб (место на диске 2,2Гб для NTFS). учтите это, клонирование репозитория может приводить к неожиданным зависаниям

• скорость поиска в индексе стремится к нулю. точнее, сравнима с пропускной способностью интернет-канала и растет не более чем линейно в зависимости от количества слов

собрано при помощи

• bash
• AWK
• SQLite
• PHP
• zepto.js
• underscore.js
• superkube
• ЧудоТекст

всем спасибо, проект завершён. если хотите на своем маленьком сайте быстрый поиск, свяжитесь со мной