Как хранить данные при работе с Apache Lucene?

Иерокопус Таманский, интересная логика... Тут вопрос должен быть другой: Как объё данных влияет на скорость чтения индексов и выдачи объектов AL в результате поиска?

Любой программист, работающий с базами данных, скажет приблизительно следующее: Чем больше таблица, тем медленнее происходит поиск и выборка полей в любой БД. Поэтому при проектировании больших таблиц, основной тип данных для объёмных (больших) данных - это ссылка на файл. Однако, в отличие от обычных БД, Lucene имеет какую-то свою систему индексов и хранения. Поэтому и возник вопрос: Нужно ли создавать отдельно (текстовые) файлы? Как хранить данные при работе с Apache Lucene?

Как хранить данные при работе с Apache Lucene?

Я могу просто ответить на вопрос

Я так и понял... Ты ничерта не знаешь, но хочешь выглядеть умным.

Если ты хочешь хранть в ДОКУМЕНТЕ вспомогательные файлы
то они будут участниками процесса поиска. Если не хранишь - не будут. Это и есть ответ на твой вопрос.

Как хранить данные при работе с Apache Lucene?

Иерокопус Таманский,
"Lucene разработан для высокоскоростного индексирования с низкими затратами, благодаря чему встроенные токенизаторы и фильтры могут быстро обрабатывать гигабайты текста, используя только мегабайты памяти".
https://www.toptal.com/database/full-text-search-o...

Как хранить данные при работе с Apache Lucene?

Иерокопус Таманский, на индексацию передаётся String, при этом он может быть сохранён вместе с построением индексов в AL, в отдельном файле или в БД.

Можно выбирать, что Lucene будет возвращать в результате поиска. Например:

Document.add(new TextField("body", text, Field.Story.NO));

В таком случае будут сохраняться только индексы; AL не вернёт сам документ. А если указать Field.Story.YES то в результате поиска будет возвращаться и text. То есть, в первом случае нужно хранить ссылку на файл, как это делают обычно с БД. А во втором случае, файл храниться в виде текстового поля в Lucene и файл в общем-то не нужен.

Как хранить данные при работе с Apache Lucene?

Что из себя представляет страница на сайте?

На Спринге + Thymeleaf, это набор разных документов и методов с которых собирается (компилируется) страница по заданному адресу.

Как хранить данные при работе с Apache Lucene?

mayton2019, https://www.tutorialspoint.com/lucene/lucene_adddo...

По ссылке пример добавления 10 файлов в индекс, при этом файлы существуют отдельно.

Как хранить данные при работе с Apache Lucene?

Иерокопус Таманский, Lucene легче и проще для понимания. Это во-первых. А во-вторых это бесплатная библиотека.

Как хранить данные при работе с Apache Lucene?

Поля могут быть Stored (просто храниться) или Indexed (участовать в генерации текстового
индекса)

В этом и есть суть вопроса: Нужно ли создавать отдельные файлы, чтоб не нагружать Lucene? Ведь он (оно) может хранить документ целиком, а может хранить только индексы к соответствующему документу... В чём разница и как это отражается на производительности?

Если поискать ответ в интернете, то основная масса, в том числе те, кто использует Elasticsearch, пишут только таблицу индексов в дополнение к базе данных. На это наверно есть какие-то причины?

Ошибка Mysql query error: (1062) Duplicate entry 'iblock-seometa_99_4062_063_99_1' for key 'UX_B_SEARCH_CONTENT' при переиндексации?

Создаёте таблицу "referenced_table" с INDEX (id), а в "referenced_column" пишите то, что вам надо. Потом выбираете пачками (списками) по id.

HTTP Status 500 Spring Thymeleaf, в чем причина ошибки?

Mizuro0, если ничего не получилось, воспользуйтесь Spring Initializr

HTTP Status 500 Spring Thymeleaf, в чем причина ошибки?

Mizuro0,

Failed to instantiate [org.thymeleaf.spring5.view.ThymeleafView]: Unresolvable class definition
org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1022)
......
java.lang.ClassNotFoundException

Сделайте: mvc -> clean; mvc -> test

HTTP Status 500 Spring Thymeleaf, в чем причина ошибки?

Mizuro0,
Проверьте в Мавен репозитории это:

<dependency><groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>

У меня spring-boot-starter-security и я вручную поправил зависимость. Возможно она пишется чуточку иначе

HTTP Status 500 Spring Thymeleaf, в чем причина ошибки?

Mizuro0, pom.xml нужно поправить. И класс - диспатчер не нужен.

В чем ошибка Spring MVC 404?

Mizuro0, Настройки по инструкции без web.xml https://www.thymeleaf.org/doc/tutorials/3.0/thymel... Так выглядит моя структура каталогов:
Всё работает.
Папка Project - временный, относительный каталог. Это я чисто для себя сделал и он не обязательный.

p.s. На фото видно даже зерно ТВ :)

Как правильно указать мультиязычные страницы для google?

Желательно, чтобы каждая страница сообщала свой язык, используя атрибут lang в html теге

А если не указывать? Например, у меня сайт на трёх языках. Я проверяю настройки браузера и выдаю страницу на том языке, который установлен в браузере пользователя. Во всех остальных случаях - на английском или в зависимости от пользовательских настроек при регистрации. При этом пользователь может менять языковые настройки в любое время.

Как отклонить запрос пользователя до завершения операции?

Evgeny Novoselov,

защита форм от csrf вам не даёт встраивать страницы подобно ютубу в iframe?

- Не только мне... Она никому не даёт. Это запросы с других доменов, которые обычно запрещены Same Origin Policy. Если я ошибаюсь, то поправьте меня пожалуйста.

Как отклонить запрос пользователя до завершения операции?

Evgeny Novoselov,

защита от csrf остаётся ведь

csrf - disable. Я хочу оставить возможность встраивать страницы в iframe на других сайтах. В идеале - шаринг страниц или отдельных функций, подобно видео с ютуба при встраивании.

Вопрос реализации - конечно отдельный вопрос, но суть от этого не меняется.

Как отклонить запрос пользователя до завершения операции?

Evgeny Novoselov,

чем не безопасно?

Запросы (в теории) можно скопировать, если политикой безопасности сервера не запрещены cors запросы.

На стороне сервера, при входе в метод, в переменную <?,?> inProcess можно записывать параметры запроса. Например IP клиента или другую информацию.

CPU загружается на 100% из за запросов mysql. Как отразить ddos?

Проверяю ресурсы сервера через htop и там куча запросов на maradb

Я не знаю что это за программа "htop" (да и битрикс я не знаю), но судя по времени запросов, это не ddos. Больше похоже на ошибку сервера (с вашей стороны).

бд на докере

если на одном устройстве с сервером, 99% ошибка на вашей стороне.

Скорей всего, вы где-то redirect установили...

Как отклонить запрос пользователя до завершения операции?

Evgeny Novoselov, с точки зрения сервера, это не безопасно. Сервер вообще не доверяет клиенту(фронту)... На стороне бэкенда, больше инструментов для 100% гарантии.

На самом деле рассматривается ситуация, когда страницу юзает не обычный пользователь, который следует правилам, а продвинутый, который отключил скрипты и каким-то образом шлёт запросы через ajax, или через API приложения.