БД (хранилище) для документов с GUI, ранжированием и поиском. Какие фреймворки или готовые решения есть?

Question

[imageman]

Имеются некоторые однотипные данные:

• объявления о работе;
  
• новости;
  
• персональные дела...
  

Хочется сделать систему в которой:
а) новости я добавляю через python;
б) через web интерфейс, могу всё просмотреть (с настройкой фильтрации, с поиском, ранжированием) и, главное(!), я могу оценить новость;
в) все последующие новости могут ранжироваться в зависимости от ранее поставленных оценок (к примеру методом ближайшего соседа через нечеткое сравнение). Этот пункт, пожалуй, самый важный - мне нужно малоинтересные новости задвинуть вниз, основываясь на моих предпочтениях.

Может кто-то подобное видел? Какие технологии (с прицелом на Питон) имеет смысл смотреть? К примеру наткнулся на Elasticsearch, Django Elasticsearch backend и Kibana, Arctic, Marvel для web интерфейса. Но я ни с чем подобным не сталкивался.
PS. проект домашний, будет развернут локально, больших вложений хочется избежать.

Добавка: возможно кто-то подскажет неожиданное решение через почтовый клиент, через Notion, Obsidian? Что-то готовое для работы с заметками, но так, что бы я мог добраться к заметкам через Питон. Объем заметок меньше гигабайта.

Answer 1

[Максим Припадчев]

1. pandas для манипуляций с данными и построения пайплайна.
2. nltk + scikit-learn для работы с текстом (ранжирования, трансформации в векторное пространство, алгоритмы сравнения для различных метрик и т.д)
3. plotly+dash (для веб интерфейса с возможностью собрать красивый фронт на python (react, html, css) на все это есть python обертка) + dash bootstrap components коллекция крутых готовых компонентов.

Примеры готовых качественных веб приложений Галерея код есть на гитхаб, там же найдешь.

БД тоже подсоединяется без проблем, примеры в документации. Вообще очень упрощая dash это способ превратить модели машинного обучения в веб приложение. Со всеми сопутствующими потребностями.

Answer 2

[d'Ivan]

б) через web интерфейс, могу всё просмотреть (с настройкой фильтрации, с поиском, ранжированием) и, главное(!), я могу оценить новость;
в) все последующие новости могут ранжироваться в зависимости от ранее поставленных оценок

Дополнительное поле rank
б) сохранение оценки в хранилище
в) чтение из него
Добавляешь дополнительные критерии (фильтрация и дате, названию и пр.) и должно быть достаточно для поиска.

Сущности: новости, оценки.
категории (рубрики) , для простоты, можно сделать в качестве поля в "новости".

Sphinx Search, OpenSearch/ElasticSearch, Apache Solr - с одной стороны, они на слуху, но настройка и сопровождение могут быть обременительными.
Возможно, достаточно и Postgresql. Тут надо проверить насколько эффективно будет решение с точки зрения поиска.

Компоненты:
1. DB
2. шаблоны Django (для простоты) или REST API с веб-интерфейсом отдельными приложениями

Разворачивать решение можно на Docker Compose.

Добавлено
Если нужно взять полуготовые решения, тогда Wagtail, WordPress могут подойти.

Comments

[imageman]

Postgresql в чистом виде для меня слишком жирно. Всё решение локальное однопользовательское, размер всех данных максимум гигабайт (скорее всего много меньше).

Хотелось бы что-то, что я мог бы сделать за пару дней. Т.е. полноценное написание всего кода не очень годится. Я думал что-то вроде:
1. Настройка формата хранилища (дата, заголовок, тело, ранг, оценка пользователя)
2. Настройка записи в БД через питон (тут я пишу свой скрипт сбора данных)
2.1. Скрипт должен иметь доступ к оценкам
2.2. В идеале нечеткий поиск средствами СУБД (фреймворка)
3. Пользовательский интерфейс. Приоритет - лёгкость настройки. Чтение, выставление оценки, возможно установка флажков или звёздочек, фильтрация, удаление, поиск. Т.е. что-то, что очень сильно напоминает интерфейс почтового клиента, за исключением пользовательских оценок.

[d'Ivan]

1. Настройка формата хранилища (дата, заголовок, тело, ранг, оценка пользователя)
2. Настройка записи в БД через питон (тут я пишу свой скрипт сбора данных)
2.1. Скрипт должен иметь доступ к оценкам

Скрипт работает с СУБД, где хранятся все данные. Через (обычно) фреймворк или напрямую через драйвера СУБД.

2.2. В идеале нечеткий поиск средствами СУБД (фреймворка)

фреймвор это лишь прослойка над возможностями СУБД. Он сам по себе магическим образом не сделает всю работу и кофе не сварит.

3. Пользовательский интерфейс. Приоритет - лёгкость настройки. Чтение, выставление оценки, возможно установка флажков или звёздочек, фильтрация, удаление, поиск. Т.е. что-то, что очень сильно напоминает интерфейс почтового клиента, за исключением пользовательских оценок.

Складывается впечатление, что нужно готовое решение. Увы, я здесь не помощник.

[imageman]

Складывается впечатление, что нужно готовое решение

Всё так. Даже в заголовке об этом упомянуто. И фреймворки ищутся максимально специализарованные под мои хотелки. Так-то да, я примерно представляю как это сделать, но так же представляю сколько (много, очень много) времени я буду разрабатывать вменяемый пользовательский интерфейс.

Импорт (скрейпинг) данных - относительно просто (5 часов)

Выставление ранга, ранжирование, методом ближайших соседей - наивная реализация за пару часов, FAISS подольше. Векторные БД еще подольше.

Построение пользовательского интерфейса - долго (40 часов и более).

Есть такой продукт Obsidian - локальное (или облачное) ведение заметок с markdown разметкой, все заметки хранятся в виде текстовых файлов. Для моей задачи вполне приемлемое решение. Но я не знаю как сортировать по полю Ранг.

Notion - немного прикоснулся, но не вижу может ли быть локальное решение? И будет ли нужный мне функционал?

Почтовые клиенты - почти отлично (хороший пользовательский интерфейс, возможность поиска и, у некоторых, фильтрации, разбиение по папкам и т.п.), но нет возможности выставить оценку.

Нашел упоминание Joplin, TiddlyWiki, AirTable, TreeDBNotes, KeyNote NF. Наверняка я ещё что-то упустил.

Что-нибудь ещё подобное есть?

[d'Ivan]

Тогда Wagtail, WordPress?
Наверняка плагинами можно покрыть.

Answer 3

[Alex]

А просто CMS не подойдет? По описанию она делает все что нужно. Вопрос только в кол-ве документов. Если их несколько десятков тысяч, то будет подтормаживать