Что лучше использовать для хранения уникальных за сутки ip адресов?

Question

[Sasha333]

Хотел бы получить совет по поводу того, какой наиболее актуальный метод хранения и выборки уникальных за сутки данных.
Немного о нагрузке и данных:
На php скрипт по udp приходят ip адреса каждую минуту около 2х тысяч раз (процентов 80 это всё повторы), необходимо делать в дальнейшем запись в бд только уникальных значений за сегодня. То есть имеется 3 поля id (автогенерируемый), ip, datatime. запускается скрипт и начинается постоянный обмен пакетами.
Как я вижу это, необходимо поставить либо redis либо memcache и заносить все абсолютно адреса в кэш озу, после чего например каждые 5-10 минут вносить только уникальные за сегодня записи ip, datatime.

Comments

[Сергей Соколов]

«за сутки» – это ровно в полночь полный сброс и снова собирать с чистого листа? Т.е. два визита с одного ip в 23:59 и в 00:01 отметят этот ip и вчера и сегодня.

Или же запоминать время визита по каждому ip и писать в БД 1 не более 1 записи по 1 ip за 24 часа?

[Дмитрий]

insert ignore или уникальный ключ

[Дмитрий]

Я писал логер, файл имёновал ип адресом, если нет файла, создаём, либо дописываем в файл (можно и просто проверять есть ли файл), можно и в мемкэше такое провернуть, где ключ будет ип

[Sasha333]

Сергей Соколов, да, по поводу 23:59 и 00:01 всё верно. Необходимо вести статситику как для вебсайта с 00:00 до 00:00 с дальнейшим выстроением графиков по дням и т.д. где день считается сутки с 00:00

[Sasha333]

Дмитрий, если я верно понимаю принцип работы мемкэша, то он пишет в озу, а это на порядочно быстрей работа с озу, дальше скорость выгрузки раз в n минут меня не сильно волнует, главное чтобы вот эти быстроприходящие пакеты обрабатывались и уникальные значения их могли выгрузиться да желательно без огромной нагрузки)

[Дмитрий]

Sasha333, а сколько уникальных адресов? Может там и не нужна будет эта выгрузка вообще
Выгружая, каждый раз, надо будет искать дубли в прошлых выгрузках

[Сергей Соколов]

почему вы хотите выгружать раз в N минут, если нужны данные за сутки?

[Sasha333]

Дмитрий, в настоящий момент в сутки около 3-4 тысяч, но в перспективе эта цифра вырастет в ближайшее время хотя бы до 10-15 тыс уник ip. Выгрузка нужна, ибо в дальнейшем будет строиться график посещаемости приложения с этого дела по дням/месяцам и по времени.

[Sasha333]

Сергей Соколов, в случае атаки на эту вдс и отказа её, теряется список за например 10 минут или час, я просто поднимаю второй вдс и всё, бд будет удаленная, доступ к которой будет только у меня и у приложения, фактически положить её не смогут так-как записи на прямую не пишутся, соответственно загрузить на 100% сервер с бд не выйдет.

[Дмитрий]

Sasha333, ну я про выгрузку раз в час, раз в сутки вполне хватит, цифры не большие, можно посчитать в мегабайтах сколько займёт это все, надо данные только взвесить, ну пока это ложится на любое хранилище

[Сергей Соколов]

Sasha333, можете поднять Redis на отдельной VDS, не видной миру. И менять «атакуемые» коробочки, где только PHP, который шлёт данные в Redis. Причём лучше отказаться от php-fpm модели, а использовать что-то долгоиграющее, где однажды открытые соединения с Redis будут использованы многими запросами. Например, Swoole – такое вполне high-load эффективное решение.

Answer 1

[Сергей Соколов]

Redis вполне подходит для задачи.

К примеру, для каждого ip формировать ключ вида дата:ip. Например SET "20210205:192.168.1.5" "" — для каждого ip создавать ключ с пустой строкой.

После полуночи IP начнут сохраняться с новой датой, а PHP скрипт по крону разберёт предыдущие сутки KEYS "20210205:*" и сохранит собранные IP в БД.

Ещё лучше каждые сутки держать как хэш, где имя это дата, поля ip, и значения счетчики хитов с этого ip. Делать каждый раз HINCRBY "дата" "ip" 1 См. HINCRBY

P.S. ip, если там только IPv4, это 4 байта, можно хранить как целые числа, а не строки – компактнее.

Comments

[Sasha333]

да, ip только v4, хранить планировал как раз в целых числах через INET_ATON

[Sasha333]

благодарю, попробую предложенный Вами вариант.