Спасибо за помощь
chupasaurus и
arheops.
Чтобы ошибок не возникало нужно в /etc/sysctl.conf добавить строки
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.nf_conntrack_tcp_timeout_established = 3600
В /etc/rc.local перед exit 0 добавить строки
echo 262144 > /sys/module/nf_conntrack/parameters/hashsize
sysctl -p
Таким образом мы увеличиваем максимальное количество контролируемых соединений до 1048576, просим не отслеживать соединения по которым в течении часа (3600) не было пакетов, увеличиваем размер hash-таблицы по принципу 1048576 / 4 = 262144, и заставляем всё это работать после перезагрузки сервера.
arheops предложил вообще отключить контроль соединений, это позволит увеличить производительность, но на текущей нагрузке я пока в этом не нуждаюсь. Но такая возможность есть.