Тюнинг freebsd?

Question

[xandr0s]

На FreeBSD поднят балансировщик HaProxy, временами в логах появляются сообщения

Proxy *** reached system memory limit at 67 sockets. Please check system tunables.

По истечении короткого промежутка времени после ряда подобного рода сообщений сервер теряет связь с внешним миром до перезагрузки. Вот вывод netstat -m:

2004/2991/4995 mbufs in use (current/cache/total)

2001/1803/3804/32768 mbuf clusters in use (current/cache/total/max)

2001/1583 mbuf+clusters out of packet secondary zone in use (current/cache)

0/135/135/12800 4k (page size) jumbo clusters in use (current/cache/total/max)

0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)

0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
4503K/4893K/9396K bytes allocated to network (current/cache/total)

0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)

0/0/0 requests for jumbo clusters denied (4k/9k/16k)

0/0/0 sfbufs in use (current/peak/max)

0 requests for sfbufs denied

0 requests for sfbufs delayed

0 requests for I/O initiated by sendfile

0 calls to protocol drain routines

Если количество mbuf, сокетов и кластеров я нашел как увеличить с помощью sysctl, то под выделение памяти (выделенное жирным) не получается найти переменных. Подскажите, в какую сторону копать? Есть мысли, что проблема заключается именно в этом.

Answer 1

[Владислав]

Еще

kern.ipc.nmbclusters=400000
kern.ipc.maxsockbuf=83886080

У меня вот:

21502/10887/32389 mbufs in use (current/cache/total)
20464/7831/28295/400000 mbuf clusters in use (current/cache/total/max)
20464/7823 mbuf+clusters out of packet secondary zone in use (current/cache)
0/0/0/253036 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/74973 9k jumbo clusters in use (current/cache/total/max)
0/0/0/42172 16k jumbo clusters in use (current/cache/total/max)
92607K/36767K/129374K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines

Comments

[xandr0s]

129374K bytes

вот это вы как изменили? из вышеперечисленных первый уже сдвигал, второй щас тоже увеличил.

[Владислав]

и перегрузили сервер?

[xandr0s]

да, стало меньше тут:

3311K/4144K/7455K bytes allocated to network (current/cache/total)

[Владислав]

Покажите:

uname -a
egrep -v '#|^$' /etc/sysctl.conf

[xandr0s]

# uname -a
FreeBSD HF1 8.3-RELEASE FreeBSD 8.3-RELEASE #0: Mon Apr 9 21:23:18 UTC 2012 [e-mail]:/usr/obj/usr/src/sys/GENERIC amd64
# egrep -v '#|^$' /etc/sysctl.conf
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
kern.ipc.somaxconn=4096
net.inet.tcp.sendspace=65536
net.inet.tcp.recvspace=65536
net.inet.tcp.msl=15000
net.inet.icmp.icmplim=50
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
net.inet.tcp.drop_synfin=1
kern.ipc.nmbclusters=400000
net.inet.tcp.maxtcptw=40960
kern.ipc.maxsockets=204800
net.inet.ip.portrange.first=1000
net.inet.ip.portrange.last=65535
net.inet.ip.portrange.randomized=0
kern.ipc.maxsockbuf=83886080

вроде понял, выделенная память увеличивается по мере надобности

[Владислав]

Еще повысьте значения, тогда больше памяти зарезервируется под сеть.

kern.ipc.shmmax=67108864
kern.ipc.shmall=67108864
net.inet.tcp.rfc3465=0
net.graph.maxdgram=8388608
net.graph.recvspace=8388608
net.route.netisr_maxqlen=4096
kern.ipc.maxsockbuf=83886080
net.inet.tcp.recvbuf_inc=524288
net.inet.tcp.recvbuf_max=16777216
net.inet.tcp.sendbuf_inc=524288
net.inet.tcp.sendbuf_max=16777216
net.inet.tcp.sendspace=65536

[xandr0s]

Хорошо, спасибо. Почти все применил. Ядро без NETGRAPH_SOCKET (нагуглил, что именно это требуется для управления net.graph.x параметрами).

[Владислав]

Сделайте еще грязный хак:

- edit /usr/src/sys/sys/select.h and /usr/include/sys/select.h files and
modify there FD_SETSIZE value from 1024U to 16384U:

#ifndef FD_SETSIZE
#define FD_SETSIZE 16384U

Перед сборкой мира.
И потом пересобирите приложения, требующих более 1024 открытых сокетов.

Answer 2

[nochkin]

ipf используется? Если да, то там тоже надо лимиты поднять.
Например:
net.inet.ipf.fr_statemax
net.inet.ipf.fr_statesize

Comments

[xandr0s]

нет, не пользуем