Xinetd видит только часть конфига, как это исправить?

Question

[resident]

Доброго времени суток! Поздравляю всех с зимними праздниками!

Собственно суть вопроса. Есть конфиг для xinetd следующего вида:

service redirect1
{
  disable = no
  type = UNLISTED
  socket_type = stream
  protocol = tcp
  wait = no
  port = 4461
  redirect = 107.181.161.157 5025
  user = nobody
}

service redirect2
{
  disable = no
  type = UNLISTED
  socket_type = stream
  protocol = tcp
  wait = no
  port = 4462
  redirect = 107.181.161.157 5025
  user = nobody
}

Таких редиректов в нем больше 2000 на данный момент. В будущем планируется быть еще больше. И проблема в том, что срабатывают только первые 1000 правил, остальные просто игнорятся и мне не понятно почему. Если есть здесь знатоки сетей в Linux, подскажите пожалуйста в чем может быть проблема?

Answer 1

[Владимир]

возможно уперлись в лимиты на открытые файлы для юзера nobody

Comments

[resident]

Весь конфиг находится в одном файле и получается, что первая тысяча нормально проксируется, а последующие нет.

[Владимир]

без разницы в скольки файлах конфиг
открытие сокета == открытие файла

[resident]

Владимир: Не подскажите, как его можно увеличить?

[Владимир]

echo "nobody soft nofile 10240" >> /etc/security/limits.conf
echo "nobody hard nofile 10240" >> /etc/security/limits.conf
reboot

[resident]

Получилось поднять лимиты на открытие файлов, стали прослушиваться все порты, но подключиться к ним все равно невозможно. При попытке подключение соединение висит вечно в режиме ожидания. Может еще какие то лимиты есть?

[Владимир]

не уверен, но может быть ещё
echo "nobody soft nproc 10240" >> /etc/security/limits.conf
echo "nobody hard nproc 10240" >> /etc/security/limits.conf
reboot

чего именно не хватает можно отследить по сообщениям auditd
скрипт для создания правил https://github.com/PaulDaviesC/Logging-limits.conf

вы бы лучше задачу поподробней описали
допустим если куча подряд идущих портов пробрасываются на один хост и порт, то какой реализуется в три правила iptables

[resident]

Владимир: Спасибо за наводку на auditd, буду искать причину. Хост и порт для каждого правила уникальные в этом вся и проблема. Конкретно задача стоит следующая: есть список socks5, к которым можно подсоединиться только с одного ип, но необходимо обойти это ограничение и дать возможность любому пользователю извне подсоединяться к ним.

[Владимир]

в общем случае задача решается
далее x.x.x.x - ip на который прилетают коннекты

# общее правило для всех (не повторяется)
iptables -A FORWARD -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT

# порты (по числу портов)
# Проброс x.x.x.x:4461 на 107.181.161.157:5025
iptables -t nat -A PREROUTING -d x.x.x.x -p tcp -m tcp --dport 4461 -j DNAT \
--to-destination 107.181.161.157:5025
# Проброс x.x.x.x:4462 на 107.181.161.157:5025
iptables -t nat -A PREROUTING -d x.x.x.x -p tcp -m tcp --dport 4462 -j DNAT \
--to-destination 107.181.161.157:5025

# серваки (по числу серваков)
# общее правило для конкретного сервака 107.181.161.157
iptables -t nat -A POSTROUTING -d 107.181.161.157 -j SNAT --to-source x.x.x.x
# общее правило для конкретного сервака 107.181.161.157
iptables -A FORWARD -p tcp -m tcp -d 107.181.161.157 -j ACCEPT

[resident]

Владимир: Добавил эти правила в iptables с подстановкой ip адреса, но на порты 4461 и 4462 не коннектит. Других правил, кроме этих в iptables нет. Правила добавились точно, я проверил. iptables запущен и работает. Буду очень благодарен, если вы поможете решить задачу. Готов оплатить помощь.

[Владимир]

разрешить форвардинг
echo 1 > /proc/sys/net/ipv4/ip_forward

[resident]

Владимир: Все работает, спасибо! Добавил для теста 5к записей, все отлично проксируется. Остался только небольшой вопрос по iptables раз уж получилось сделать с его помощью. Как оптимальней удалять правила для неактуальных соксов из iptables? Я не сильно знаток iptables просто. Есть ли вариант лучше, чем iptables -t nat -L PREROUTING --line-numbers | grep to:IP:PORT с последующим удаление по номеру?

[resident]

Владимир: По поводу удаления уже нашел вариант, просто поменять -A на -D в правиле. Напишите wmz кошелек, пришлю монет за помощь.))

[Владимир]

отвечаю когда есть время, а не за вознаграждение

[resident]

Владимир: Еще раз большое спасибо! Вы очень помогли!

[Влад Животнев]

resident:
чтобы управлять всей это марахайкой, кстати, могу посоветовать делать так:
/sbin/iptables-save > /etc/iptables # сохраняем текущее состояние iptables
Потом редактируем файл как нужно (удаляем порты/добавляем порты)
Потом конфиг применяем так:
cat /etc/iptables | /sbin/iptables-restore

Если будете делать из крона/rc.local - не потеряйте /sbin/ , иначе не сработает.

Есть ещё iptables-persistent пакет, но проще по старинке.

Answer 2

[Армянское Радио]

Есть мнение, что эту задачу стоит решать при помощи iptables

iptables -t nat -I PREROUTING --src $SRC_IP_MASK --dst $DST_IP -p tcp --dport $portNumber -j REDIRECT --to-ports $rediectPort

Comments

[resident]

Приведите конкретный пример пожалуйста, как это сделать с помощью iptables.

[Армянское Радио]

resident: я дополнил свой ответ.

[Владимир]

Армянское Радио, не пройдет такой фокус с REDIRECT если на другом хосте

Answer 3

[Влад Животнев]

Эту задачу лучше решать при помощи rinetd.

Comments

[resident]

Приведите пожалуйста пример, как это можно сделать.

[Влад Животнев]

resident: https://debian.pro/523
Там я писал пример.

[resident]

Влад Животнев: Большое спасибо! Не подскажите еще, как его установить на CentOS 6.6? Не могу нагуглить. В стандартном репозитории его нет.

[resident]

Хотя уже нашел.

Create the repository config file /etc/yum.repos.d/nux-misc.repo:

[nux-misc]
name=Nux Misc
baseurl=li.nux.ro/download/nux/misc/el6/x86_64
enabled=0
gpgcheck=1
gpgkey=li.nux.ro/download/nux/RPM-GPG-KEY-nux.ro

Install rinetd rpm package:
# yum --enablerepo=nux-misc install rinetd

[Влад Животнев]

resident: Всё там получилось настроить?

[resident]

Влад Животнев: К сожалению rinetd на 2000 правил тоже спотыкается и выдает ошибку rinetd: couldn't create server socket! При это перестают работать вообще все правила.

[Влад Животнев]

resident: тогда ulimit -n пробуйте поднять.

[resident]

Влад Животнев: Поднял до 65000, теперь почему то rinetd просто падает, если правил 2-3к. xinetd при таком кол-ве правил не падает, но при попытке подключения оно как будто зависает. И не обрывается и коннекта нет, в состоянии ожидания как то. Как это можно исправить? Может тоже в какие то лимиты упирается? lsof | grep xinetd показывает, что все правила отрабатывают и порты слушаются, но подключиться к ним нормально не получается.

[Влад Животнев]

resident: посмотрите ещё, что у вас порты не попадают в пул портов для исходящих коннектов:
$ sysctl -a | grep net.ipv4.ip_local_port_range
net.ipv4.ip_local_port_range = 32768 61000

Ну и strace бы от него в этот момент посмотреть.

[resident]

Влад Животнев: В этот диапазон портов и попадает. Но насколько я понимаю это весь возможный диапазон портов, а не только для исходящих соединений. Да и если поставить только 1000 правил, все работает на этих портах. Дело явно не в номерах портов. Весь strace: https://gist.githubusercontent.com/resident/d23641... . Помимо прочего там 65000 строк вида "close(3) = -1 EBADF (Bad file descriptor)". ulimit -n установлен в 65000. Правил в xinetd 2000.

[Влад Животнев]

resident: бгы... судя по всему, у него переполнение буфера случается в этом месте какого-то.
сча попробую, может у меня воспроизведется.

[Влад Животнев]

resident: оно может, кстати, падать, ровно в том случае, если система попытается открыть исходящий порт из диапазона портов rinetd. На малом количестве портов такое может не воспроизводиться.
Всё же попробуйте взять большой диапазон портов, но не из local_range

[Влад Животнев]

resident: у вас там не openvz, кстати?

[Влад Животнев]

resident: https://debian.pro/375 и вот я через iptables писал, вспоминается)
Хоть и неудобно, конечно.

[resident]

Влад Животнев: Проблему выше помогли решить с помощью iptables, поэтому сражаться с xinetd уже не стоит.)) Спасибо за помощь!

[Влад Животнев]

resident: аок) Удачи