Как быстро определять город и страну по IP?

Question

[Михаил]

Есть база данных maxmind (города, страны и IP)
Сейчас данные хранятся в MS SQL базе данных и проверка IP происходит при каждом запросе пользователя к API.
Соответственно огромное количество select запросов к базе для поиска IP и нагрузка на неё.
Какие есть способы быстрого определения города и страны? Какие то не реляционные базы? Или ещё что-то?

Answer 1

[romy4]

Адреса выделяются пулами и в принципе можно смело использовать список пулов /24 — это 16 мб всего. которые легко можно вмести в таблицу в памяти. Вычисляете смещение и по смещению берёте индекс страны (стран в мире не больше 255). Так что задача вполне реализуема для быстрого поиска.
В этом случае таблицу можно вообще не хранить в БД (выигрыш как минимум во времени посылки пакетов), а в векторе, тогда получите максимальный выигрыш.

Answer 2

[Дмитрий Еремин]

кэширование, например

Comments

[Михаил]

С помощью чего? Как?

[Максим]

Михаил: memcache, к примеру.

[Михаил]

Максим: т.е. только для сохранения значений, чтобы юзеры повторно в базу не слали запросы?

[Максим]

Михаил: да, получается хэш-таблица где ключ "IP", а значение "город".

[Сергей Зеленский]

Лучше redis использовать, нагрузка на бд снизиться стопроцентно, если именно эти запросы грузят ее, проверял данный метод правда на mysql

Answer 3

[Максим]

Один простой селект в БД не должен сильно нагружать ее, если база правильно спроектирована. IP представлять, например числом и сделать поле индексным( хотя может с IPv6 могут возникнуть трудности, надо проверять).
Также, если позволяет память на серваке, то можно перекинуть эту табличку в оперативку или закешировать любым удобным кешером.

Comments

[Максим]

Александр +: В вопросе слишком много неизвестных. Генерация ответа сервера тоже не бесплатная в плане нагрузок. Я имею ввиду что каждый запрос к данному сервису скорее всего сопровождается не только угадыванием города, но и какой-то еще полезной работой. И если простой запрос в бд кладет сервак, то более сложные запросы, осуществляемые для необходимой полезной работы сервера должны его убивать наповал. Поэтому у меня такие выводы. Возможно ошибаюсь. Но соглашусь, что лишняя нагрузка никогда не полезна и если есть возможность унести в кеш, то надо уносить. Если есть куда оптимизировать, то нужно разгружать "программно". Если все хорошо заоптимизировано и сервак падает, то надо расти по железу.

[Михаил]

Максим: в данном случае задача просто разгрузить базу от множества запросов, которые к ней можно и не делать, как вариант вообще не проверять IP через базу. Сами запросы её сильно не грузят, но их много и количество быстро увеличивается, в ближайшее время базе от них может стать плохо.

[Максим]

Михаил: Какая структура у таблицы городов, какой запрос совершается, сколько занимает таблица, какое железо на сервере, сколько запросов в среднем обрабатывается. Вот эти бы вопросы раскрыть хоть немного, тогда можно было бы говорить точно и давать более конкретные советы.
Например, база городов весит 5Гб, а сервер с 2Гб оперативкой. Тогда о каком кеше может быть речь? Тут надо что-то другое.

[Михаил]

Максим: 5+2, это всего 7гб данных в ОЗУ, что не много :)

[Максим]

Михаил: я к тому, что, например, 5Гб - это весит таблица, а оперативной памяти на серваке установленно всего 2 Гб. И таблица просто физически не влезет в оперативку, что потребует иного подхода к решению проблемы.

[romy4]

Михаил: Максим: вы б прислушались к моему совету

[Максим]

romy4: а я то что? Не я вопрос задал))

По поводу городов не уверен что если брать пуллами, то всегда будет достаточная точность, меня вот периодически бросает по нескольким городам на разных сайтах. Скорей всего разные базы geoip.