Как избавляться от ненужных записей в бд?

Question

[1ncludeX]

Изучил данную статью и появился вопрос: https://habr.com/ru/articles/305694/
Например если пользователь начал процесс аутентификации и ушел. Запись уже появилась в бд и судя по всему будет лежать там вечно. В дальнейшем это повысит нагрузку на бд при поиске записей. Как этого можно избежать?

Comments

[Akina]

В дальнейшем это повысит нагрузку на бд при поиске записей.

При наличии правильного индекса проблема нехватки дискового пространства придёт раньше, чем проблема нагрузки при поиске.

Answer 1

[mayton2019]

Если использовать такие БД как DymanoDb, CosmosDb, Cassandra или кеш Redis, то там сразу
можно создавать записть с отметкой TTL и указывать сколько времени запись будет актуальна.
Впоследствии эту отметку можно продлить или сделать живщуей вечно.

По поводу реляционок типа Postgres.

В хранении ненужных записей я не вижу проблемы до тех пор пока вы в состоянии такие
токены идентифицировать и почистить отдельно с помощью джоба который запускается
раз в сутки например и просто удяляет их по признаку например "состояние ожидания
ввода числа из СМС". Трекайте это состояние и все будет ОК.

Answer 2

[VoidVolker]

У записи в БД есть отметка времени создания. В кроне/планировщике создается задача на запуск скрипта раз в сутки для очистки устаревших записей.

Comments

[1ncludeX]

Это единственный эффективный вариант или есть еще какие то?

[12rbah]

1ncludeX, в общем случае да, запускается скрипт/программа, ищет устаревшие записи и удаляет их, иногда скрипт учитывает нагрузку и ждет пока она не снизится или удаляет данные частями

[Василий Банников]

1ncludeX, можно ещё для таких объектов использовать другую СУБД.
Например redis - у него даже встроенная поддержка TTL у записей есть.

Но если не хочется множить сущности или нагрузка на сильно большая - вполне можно забить.

[VoidVolker]

Эффективный по каким критериям? И какие еще могут быть варианты, если задача "удалить записи соответствующие такому-то критерию"? Ну, разве что, если БД сама поддерживает в записи поле "expire" или что-то типа такого. Само собой надо выбрать данные записи и удалить их. Либо реализуется в самом приложении либо скриптом, запускаемым каким-то планировщиком. Вот стратегия удаления может быть разная - как уже сказали проверка на нагрузку и удаление пачками по сколько-то записей. Многое зависит от самого проекта, БД, характеристики данных и прочего. Все проекты уникальны.

[Dmtm]

а зачем их удалять? попытки логина это аналитика для менеджеров и безопасности

Answer 3

[ThunderCat]

В дальнейшем это повысит нагрузку на бд при поиске записей.

Когда записей будет под миллион, запустите 1 раз удаление старых неактивированных аккаунтов и выиграете еще аж 500 (а может даже 5тыщь!) записей, это сильно поможет...

Answer 4

[Freeman]

В дальнейшем это повысит нагрузку на бд при поиске записей.

БД — это не массив, а СУБД — не процедура поиска полным перебором, написанная школьником. Поэтому можно (нужно?) смотреть планы выполнения запросов, создавать индексы...