Freebsd софтроутер?

Question

[mafet]

Имею сервер Intel® Pentium® D CPU 3.00GHz на серверной материнке. На борту сетевухи Intel Corporation 82573V, Intel Corporation 82541GI. Ось freebsd 8.2

На вход 41 vlan.

Статистика по пакетам

input (em0) output<br/>
 packets errs idrops bytes packets errs bytes colls<br/>
 18324 0 0 14542391 19034 0 12394248 0

Загрузка CPU

last pid: 51647; load averages: 2.31, 2.52, 2.64 up 0+07:24:25 23:05:33<br/>
140 processes: 6 running, 118 sleeping, 16 waiting<br/>
CPU 0: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle<br/>
CPU 1: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle<br/>
Mem: 92M Active, 14M Inact, 111M Wired, 192K Cache, 22M Buf, 1779M Free<br/>
Swap: 2048M Total, 2048M Free<br/>
<br/>
PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND<br/>
 13 root 76 - 0K 16K sleep 0 167:03 49.66% {ng_queue0}<br/>
 13 root 76 - 0K 16K RUN 1 165:46 37.21% {ng_queue1}<br/>
 0 root -68 0 0K 72K - 1 145:16 29.83% {dummynet}<br/>
 0 root -68 0 0K 72K - 0 150:11 26.81% {em1 taskq}<br/>
 0 root -68 0 0K 72K - 1 96:55 14.94% {em0 taskq}<br/>
 11 root 171 ki31 0K 16K RUN 0 33:00 14.75% {idle: cpu0}<br/>
 6707 root 52 0 3292K 960K RUN 0 37:02 10.55% meoip<br/>
 11 root 171 ki31 0K 16K RUN 1 27:15 5.22% {idle: cpu1}<br/>
51310 root 44 -15 39056K 32592K select 0 0:06 1.42% {ipcad}<br/>
 22 root 45 - 0K 8K flowcl 1 4:20 1.12% flowcleaner<br/>
51310 root 44 -15 39056K 32592K select 0 0:03 0.44% {ipcad}

meoip — штука которая держит лёгкий тоннель до микротиковского роутера — временное решение.
Конфиг ядра
sysctl.conf

[root@gate rc.d]$ ipfw list|wc<br/>
 189 1822 22843<br/>
[root@gate rc.d]$ ipfw table 1 list | wc<br/>
 534 1068 10539<br/>
[root@gate rc.d]$ ipfw table 2 list | wc <br/>
 151 302 2529

Роутер выполняет стандартные функции nat(ng_nat)+ipfw+netflow(ipcad)+shaping

Что ещё можно выжать из системы?

Answer 1

[equand]

У Вас и так 100+100 на ядрах, что Вы еще от нее хотите? :)
Оптимизируйте правила, 189 правил в студию. Попробуйте ng_nat на kernel_nat сменить, может быстрее будет, хотя неизвестно.
Отключите inflight
Поиграйтесь со значениями isr
Еще вот это чтобы не мешало локально:
net.inet.tcp.fast_finwait2_recycle=1
net.inet.tcp.maxtcptw=5120
net.inet.tcp.nolocaltimewait=1

Comments

[equand]

Понятно, что там в /boot/loader.conf?

[equand]

net.isr.bindthreads: 1
net.isr.maxthreads: 2
net.isr.direct: 1
net.isr.direct_force: 1
Это смотри как удобнее, я не знаю что за дрова у тебя. Если яндекс, то isr можно отключить
Гипертрединг в данном случае неизвестно как он с сетевым траффиком работать будет, лучше не трогай, разница от выключения или включения незаметна в принципе для таких задач.

[mafet]

Дрова штатные, которые в комплекте с ядром.
/boot/loader.conf:
kern.coredump=0
kern.hz=2000

# Intel network cards
hw.em.rxd=4096
hw.em.txd=4096
hw.em.enable_msi=1
hw.em.rx_int_delay=600
hw.em.tx_int_delay=600
hw.em.rx_abs_int_delay=1000
hw.em.tx_abs_int_delay=1000

# lists.freebsd.org/pipermail/freebsd-net/2009-June/022227.html
hw.bge.rxd=512
autoboot_delay="2"

[equand]

msi врублен, так что не нужно.
Я б на твоем месте еще бы с таймаутами разнообразными поиграл
Ну и настройками ether — т.к. это важнее для тебя.
Еще em.*int_delay потрогай, имхо 600-1000 многовато.
hz поменьше тоже иначе в интераптах утонет при троганьи делея.
Дальше смотри по процессам. с ng я еще особо не общался, а вот dummynet в sysctl довольно обширно представлен. И еще check-state иногда полезно использовать, с setup, чтобы одни и теже правила не проходить. И все таки попробуй сменить ng_nat на kernel_nat. Не знаю как отреагирует если честно, но сам факт отсутствия свитча контекста будет хорошо влиять, т.к. все в ipfw будет.

Answer 2

[mafet]

Хочу чтоб меньше нагрузка была и что-нибудь ещё выжать =) кстати одно ядро — следствие гипертрединга. может стоит выключить гипертрединг? есть в нём смысл вообще?
net.inet.tcp.inflight.enable: 0 — вроде выключен.
А как крутить isr? там что-то всё readonly…
Вот правила www.mafet.ru/ipfw