Как оптимально настроить сервер для безотказной работы Redis?

Question

[Anton B]

Добры день.

ОС Debian 8.6

Есть выделенный сервер 1 на котором крутится MySQL и Redis.
Есть выделенный сервер 2 на котором крутится PHP и который в каждом скрипте подключается к MySQL и Redis, с помощью MySQLi и PHPRedis соответственно.

Время от времени PHP-скриптам не удается подключиться к Redis-серверу.

$Redis = new Redis();

if ( ! $Redis->connect('x.x.x.x'))
    trigger_error('Cache connect error', E_USER_WARNING);

Одно время я думал, что проблема связана с расширением PHPRedis и писал разработчику, но оказалось никто кроме меня с подобными проблемами не сталкивался. Потому я решил смотреть в сторону конфигурации сервера.

Я должен сообщить, что правила iptables сервера 1 написаны по принципу "запрещено всё, что не разрешено". То есть, я закрываю все порты и отрываю только 3306 + 6379 для IP сервера 2.

Вот изменения, которые я внёс в базовую конфигурацию ОС

echo "net.netfilter.nf_conntrack_max = 1048576" >> /etc/sysctl.conf  
echo "net.netfilter.nf_conntrack_tcp_timeout_established = 3600" >> /etc/sysctl.conf
echo "net.core.somaxconn = 65535" >> /etc/sysctl.conf
echo "net.ipv4.tcp_max_syn_backlog = 65535" >> /etc/sysctl.conf

//добавить в /etc/rc.local до exit 0 строку
echo 262144 > /sys/module/nf_conntrack/parameters/hashsize

Изменения в redis.conf

tcp-backlog 32768

По умолчанию net.core.somaxconn было 2к, а tcp-backlog 511. Я поэтапно увеличивал эти значения в два раза и проблема с подключением на пару дней пропадала, но потом появлялась вновь.

Подскажите, как решить мою проблему?

Спасибо!

Comments

[neol]

А у вас соединения с redis закрываются вообще?

В любом случае покажите вывод

ss -nta '( dport = :6379  or sport = :6379  )' | wc -l

с обоих серверов. Это количество соединений с redis в данный момент.

Я должен сообщить, что правила iptables сервера 1 написаны по принципу "запрещено всё, что не разрешено". То есть, я закрываю все порты и отрываю только 3306 + 6379 для IP сервера 2.

А ICMP тоже заблочен? Может ещё и DROP по умолчанию?

[Anton B]

neol: спасибо за ваш отзыв.

1. вот результаты выполнения команды
сервер 1 prnt.sc/dghvo0
сервер 2 prnt.sc/dghw87

2. ответ на вопросы prnt.sc/dghyms

Answer 1

[neol]

У вас со стороны клиента висит тьма тьмущая соединений.

Для начала я бы добавил
iptables -I INPUT -p icmp -j ACCEPT

Вероятно это уже решит вашу проблему.

Comments

[Anton B]

Когда я днём писал этот вопрос у меня на обоих сервера весела тьма соединений.
Некоторое время спустя я добавил на сервер 1 следующие строки, после чего соединений стало 30-50.
А после ответа вам, я добавил этим строки на сервер 2, кол-во соединений так же упало.

echo "net.ipv4.tcp_tw_reuse = 1" >> /etc/sysctl.conf
echo "net.ipv4.tcp_tw_recycle = 1" >> /etc/sysctl.conf

Насколько правильно использовать такие настройки?

[Anton B]

Но ошибки соединения всё равно проскакивают... то есть моя проблема не решилась.

[neol]

Anton B:
> Насколько правильно использовать такие настройки?

Не припоминаю противопоказаний к их использованию.

> Но ошибки соединения всё равно проскакивают... то есть моя проблема не решилась.
А серверы далеко друг от друга находятся? В одной стойке, одном ДЦ, одном городе? Не может быть банальных проблем с сетью?

Ну и я таки рекомендую разрешить ICMP.

[Anton B]

1. Серверы находятся в одной подсети и одном ДЦ в Hetzner.
2. iptables -I INPUT -p icmp -j ACCEPT сделал на обоих серверах, всё равно ошибки проскакивают.

[neol]

Anton B: Если открытых соединений на серверах не много, то врядли вы упираетесь в какие-то лимиты…

Посмотрите количество ошибок на сетевой карте (ifconfig).

Как часто возникают ошибки? Есть ли в их появлении какая-то закономерность?

Подключение к redis происходит по IP или доменному имени?

Можно попробовать надобавлять в zabbix (он у вас вроде используется) всяких сетевых метрик типа pps, bps, количество открытых соединений. Сомневаюсь, что проблема в этом, но мало ли.

[Anton B]

neol: выполнил prnt.sc/dh962n, вроде всё нормально.

за сутки 2000 ошибок, конечно это капля в море по отношению к общему кол-ву подключений, но хотелось бы разобраться в их причинах.

закономерности я не обнаружил: ни по времени, ни по скриптам, ни по пользователям.

подключение происходит по IP.

[neol]

Anton B: Для полноты картины стоит посмотреть и на другой сервер. Тут нормально, да.