Сергей Петриков

На первый взгляд все правильно, единственное попробуйте в строках

IpOut=`ifconfig ${LanOut} | grep inet | cut -d " " -f 2`
IpIn=`ifconfig ${LanIn} | grep inet | cut -d " " -f 2`

указать полные пути к ifconfig, grep и cut, либо поместите PATH в начале скрипта.

Начните с man man вы не умеете работать с мануалами даже базово, справка по самой команде man откроет для вас много нового.

Apache, Nginx, Mysql, PHP, PostgreSQL, Redis, node - самое базовое, иметь представление что такое HA, CDN, маршрутизация, как работают фаирволы, что такое виртуализация, хорошо знать 3-4 распространенных гипервизора, ну а так практика и опыт, в хостинге очень много разных задач, все перечислять бессмысленно, есть на сетях, есть на серверах, есть по безопасности, есть по архитектуре и планированию развития, есть мониторинг, да много чего есть. Самое простое - устройтесь на первую линию к любому хостеру да посмотрите сами.

Сидел с пол года, чисто по фану, надоело - снес. Если секса в жизни не хватает - самое оно.

В /etc/rc.conf добавить
gateway_enable="YES"
В /etc/sysctl.conf
net.inet.ip.forwarding=1
применить или бутнуть.

portsnap fetch
portsnap update
cd /usr/ports/misc/zoneinfo/ && make install clean

Все, обновлял в прошедшее воскресенье 9.0, полет нормальный.

Если не считать того что на 8.1 IPFW глючней некуда, то примерно так:
В /etc/sysctl.conf добавить:

net.inet.ip.fw.one_pass=1               #пакеты, прошедшие пайпы вылетают из фаервола, и дальше не идут по нему
net.inet.tcp.blackhole=2                #ядро убивает tcp пакеты, приходящие в систему на непрослушиваемые порты
net.inet.udp.blackhole=1                #ядро убивает udp пакеты, приходящие в систему на непрослушиваемые порты
net.inet.icmp.drop_redirect=1           #не обращаем внимания на icmp redirect
net.inet.icmp.log_redirect=0            #(N) и не логируем их
net.inet.icmp.maskrepl=0                #не отдавать по icmp маску своей подсети
net.inet.icmp.icmplim=100
net.inet.icmp.bmcastecho=0              #(N) защита от SMURF атак
net.inet.ip.redirect=0                  #(N) не реагируем на icmp redirect
net.inet.ip.sourceroute=0               #(N) отключение маршрутизации от источника
net.inet.ip.accept_sourceroute=0        #(N) старый и бесполезный механизм
net.inet.ip.ttl=226                     #(N)почему бы не поставить ttl побольше было 64 ;)
net.inet.tcp.drop_synfin=1              #(N)небольшая защита
net.inet.tcp.syncookies=1               #(N)от доса
kern.ipc.somaxconn=32768                #(N)увеличиваем размер очереди для сокетов
kern.maxfiles=204800                    #(N)увеличиваем число открытых файловых дескрипторов
kern.maxfilesperproc=200000             #(N)кол-во ф.д. на каждоый процесс
kern.ipc.nmbclusters=524288             #(N)увеличиваем число сетевых буферов
kern.ipc.maxsockbuf=83886080            #(N)
kern.random.sys.harvest.ethernet=0      #(N)не использовать трафик и прерывания
kern.random.sys.harvest.interrupt=0     #(N)как источник энтропии для random'a
net.inet.ip.intr_queue_maxlen=10240     #(N)размер очереди ip-пакетов
net.route.netisr_maxqlen=4096

Если используете еще и dummynet, то

net.inet.ip.dummynet.io_fast=1          #заставляет dummynet работать побыстрее
net.inet.ip.dummynet.max_chain_len=2048 #(N)
net.inet.ip.dummynet.hash_size=65535    #(N)Было 256
net.inet.ip.dummynet.pipe_slot_limit=2048 #

Дальше в зависимости от сетевых, для em

dev.em.0.rx_int_delay=200
dev.em.0.tx_int_delay=200
dev.em.0.rx_abs_int_delay=4000
dev.em.0.tx_abs_int_delay=4000
dev.em.0.rx_processing_limit=4096

cat /boot/loader.conf

hw.em.rxd=4096
hw.em.txd=4096
hw.em.max_interrupt_rate=32000

для igb
dev.igb.0.rx_processing_limit=4096

Ядро соберите с HZ побольше.

Проблема в фаирволе, скорее всего связана с nat на ipfw, но есть варианты. Вероятно это происходит из-за того, что при наличии нескольких апнутых сетевых интерфейсов система их пытается задействовать. Но так как к одному из интерфейсов не подключен кабель и соответственно он ничего никуда послать не может, пакеты, которые должны быть отправлены через него, переполняют mbuf, что и приводит к вышеуказанным ошибкам. Еще такое бывает при использовании mpd, например пока пакет проходил обработку тунель успел умереть. В принципе можно забить. Если сильно не нравится, а сетевая говно, можно отключить хардварную проверку чексум, примерно так:
ifconfig interface -TXCSUM -RXCSUM -VLAN_HWCSUM

Если оперативы достаточно, можно неплохо ZFS приспособить под такую задачу да и мигрировать удобно целыми пулами.

На вашем скрине роутера LAN порт в дауне, проверьте есть ли физика. Ну и с фри ifconfig -a покажите за одно.

На циске может быть открыт snmp только для определенных IP и это правильно, чтоб не допускать amplification атак с использованием циски. Смотрите фаирвол и ACL. Также приложите вывод:
show running-config | i snmp

Очень зависит от оптимизации движка, можно 10К подключений и на дешевой VDSке обработать, если правильно приготовить фронтенд и все что можно закешировать. Возьмите для начала облако у любого хостера, сможете наращивать мощности пока не будет хватать, и тогда ориентировочно поймете какое железо вам нужно на дедик. Что оптимизировать тоже от движка зависит, где-то это iops, где-то количество RAM, где-то процессор, где-то сеть, смотреть надо индивидуально. А чем если не секрет обусловлен выбор именно FreeBSD в качестве ОС, система специфична и требует глубокого тюнинга, у вас же я не вижу, судя по вопросу, соответствующих знаний.

Поставить любой коллектор и завернуть копию пакетов на него фаирволом в режиме tee. Из простых в освоении коллекторов могу посоветовать ipcad.

Можно использовать monit
Попробуйте вручную послать SIGTERM на run-loop.sh, какова реакция? В Вашем варианте есть вертушка, перезапускающая процесс, но нет контроля работы самой вертушки, ну и не плодите велосипеды, все давно придумано (см. выше про monit)

Не совсем. По данному манулу мне придется поднять на виртуалке FreeBSD а в ней уже сделать поддиректорию типа чрута, откуда отдавать образы по NFS, как-бы виртуалка в виртуалке, я такой вариант знаю, но хотел обойтись без оверхеда. Пока смотрю возможные варианты, этот и RAW по ISCSI еще выходные поищу, а уже в понедельник определюсь что выбрать.