Безвестно падает Debian с pve на борту?

Question

[fso]

Попался на глаза пост про пакет смерти для сетевых Intel, подозреваю примерно аналогичный баг у себя на сервере.

Буквально недавно, 18 января, взял сервер в Hetzner EX4.



С помощью installimage поставил готовую сборку

Debian + Proxmox, ядро 2.6.32-17-pve, pve-manager 2.2-32, сетевая  RTL8111/8168B PCI-E (rev 09).

Пустил трафик с боевого приложения около 60-80 Мбит/с, в логах пошла ругань

kernel: TCP: time wait bucket table overflow (CT0)

в sysctl

net.ipv4.tcp_max_tw_buckets=3800000

эффекта не дало



В произвольные, как показалось, моменты времени, через 5-10 минут после подачи трафика, сервер самопроизвольно зависал (по крайней мере сетевой интерфейс) после холодного ресета, в логах — ничего, то есть обычный рабочий лог просто прерывается логом начала загрузки (ресет).



После снятия нагрузки по трафику, с практически нулевым трафиком, сервак продолжил зависать, но раз в несколько дней — симптомы абсолютно теже, хотя ругани в логах нет вообще никакой (bucket table overflow тоже пропало)



Кто-нибудь сталкивался с таким поведением? Что это может быть?



PS: в том же хетзнере, на другом сервере RTL8111/8168B PCI-E (rev 02) держится под этой нагрузкой наура (собственно с него и думал переносить)

Comments

[fso]

Грешу именно на зависание сети. Еще немного информации по сетевой карточке
configuration: autonegotiation=on broadcast=yes driver=r8168 driverversion=8.035.00-NAPI

Answer 1

[fso]

Подведу итоги. После обновления биоса — падения полностью прекратились. Сейчас месяц аптайма полностью без артефакта.
Может кто еще столкнется с такой проблемой — обновить биос и поставить драйвер r8168 (это я сделал до обновления и возможно будет работать без r8168).

Comments

[Пума Тайланд]

Реально больше нет проблем до сих пор?

[fso]

opium, нет. все стабильно. аптайм большой.

Answer 2

[LightFalcon]

Была точно такая же проблема, решилась заменой сетевых карт на Intel'овские PCE-Express.
Программными средствами вылечить не получилось.

Comments

[fso]

Тоже в Hetzner?

[LightFalcon]

Нет, десктопное железо. Gigabyte Z77, Intel core i5. Работает в качестве шлюза + веб сервер + файлопомойка + backup…
На борту Debian 6. До этого стоял CentOS 5.2, был те же проблемы.

[fso]

Спасибо, в Хетзнере тоже десктопы. Поэкспериментирую еще, врядли бесплатно поменяют если точно не доказать что в сетевухе дело, да и проблема наверное единичная, если бы повально с этой карточкой сервера висли, они бы ее нигде и не ставили.

Answer 3

[Пума Тайланд]

У меня аналогичная проблема с серверами на ex4s
Начиналось все с proxmox 2.1 сейчас последняя версия 2.2
сейчас оставил только тестовые окружения там
зависания происходят как у вас
черный экран на клаву не реагирует, помогает ресет из панели управления.
мне кажется сервера линейки ex4 отличаются по железу, так как я спросил у суппорта проксмокса, что не так, они ответили что у них есть несколько серверов в хетзнер ex4 и таких зависаний нет, говорят делайте тесты хардваре, а я уже дважды заказывал тест памяти и всей системы.
Сейчас работают только openvz окружения, зависает от нескольких раз в неделю до 1 раза в месяц, заметил что если запускаю терминальный windows сервер то зависает стабильно в течении трех дней.
В логах как всегда чисто, если не намертво зависает ядро, то думаю может как то проблема связана с дисками на три террабайта и выравниваением.

один юзер в личку посоветовал
В биосе попробуйте:
1) отключить все ненужные устройства — USB/звуковую карту
2) Поиграться с настройками ACPI
3) отключить энергосбережение процессора

думаю взять лару и потыкать биос.

Comments

[fso]

Сетевухи тоже реалтек? Думаю загрузить сервак с обычным ядром (не pve) и протестировать нагрузочно (на выходных скорее это сделаю). Если дело в железе, то скорее в сетевухе и можно попробовать попросить заменить (она вроде pci-e). Смущает что другой сервак в том же хетзнере (старый ex4 с 8 гб памяти и 2х500Гб винтами) на той же реалтек с rev 0.2 (rev 0.9 стоит на зависающем) под такой же нагрузкой держится отлично — никакой ругани и подвисаний.

[Пума Тайланд]

03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 09)

[fso]

Ага. Точно такой же, Проблемный. Смысл написать в саппорт хетзнеру с просьбой замены железки, увеличивается

[Пума Тайланд]

Сетевуха встроенная.

[Пума Тайланд]

Материнка там P8H77-M PRO

[Пума Тайланд]

Только что попросил обновить биос с версии 1003 на 1005, сказали сделают бесплатно.

[fso]

без лары как-то можно глянуть параметры/модель материнки и биоса?

[fso]

ага, нагуглил.
lshw выдал материнку P8H77-M PRO и биос 0922 (09/10/2012)

[Пума Тайланд]

Быстро обновили, подождем до следующего зависания.

[Пума Тайланд]

Ещё можно глянуть через dmidecode

[fso]

Тоже обновил биос до 1005 (12/10/2012). Сейчас немного нагрузочки подам и точно станет известно, зря ли мы гоняли немцев :)

[Programmer]

У меня та же самая проблема. Стоит чистый debian 6.0.
Сравнивал версии bios, на 3-х из 4-х серверах — они отличаются. Причем замечено следующее: на самом старом сервере,-- самый старый BIOS и при этом ни одного зависания (драйвер оригинальный). На самом новом сервере в кластере стоит самый новый BIOS. Он зависает чаще всего. На оставшихся 2-х версия отстает на 2 релиза и зависают они примерно раз в 2-3 недели. Кроме того на все сервера в качестве эксперимента ставились разные сетевые драйвера, но успеха это не принесло. Ьак же во время работы под синтетической сетевой нагрузкой проблема не проявлялась

[fso]

Дал 10% от номинального трафика, больше пока не получилось. После обновления биоса, вдобавок с трех серверов запустил ab, удалось поднять до 30Мбит/с трафик, ничего не зависло. Но пока рано о чем-либо говорить.

[Programmer]

У меня не зависало при 900 Мбит/с. Да и обычно зависает в периоды низкой сетевой активности.
А какие прерывания использует карта можете сказать?

[fso]

сетевуха

на 32-ом

. порт 100Мбит/с, гигабит никак не выжму)

[Пума Тайланд]

У меня там только тестовые окружения висят и нагрузка там близкая к нулю, мне кажется зависания не связаны с нагрузками.

[fso]

я могу только сказать что при повышении нагрузки оно зависало чаще.
Пока, после обновления биоса, сбоев небыло (тьфу-тьфу-тьфу)

[Пума Тайланд]

У меня не зависало с декабря и пол января, я уже обрадовался, что в апгрейде proxmox починили мою проблему, а с середины января стало стало зависать намного чаще.

[Пума Тайланд]

Таже самая фигня сервер тока что упал.

[Пума Тайланд]

У кого нибудь есть идеи, что можно сделать ещё?

[fso]

У меня аптайм 5 дней. Трафик небольшой, 1-7 мегабит. нагрузка процессора до 30%. полет вообще полностью нормальный, никаких аномалий.
opium, драйвер 8168 стоит?

[Пума Тайланд]

Пять дней не показатель к сожалению, как глянуть драйвер?

[fso]

lsmod | grep 816

[Пума Тайланд]

r8169 51723 0
mii 5351 1 r8169

[fso]

тогда можно попробовать habrahabr.ru/qa/34245/#comment_164697 и где-то у Хетзнера в вики была подробная инструкция даже со скриптом установки. Внутри download.hetzner.de/drivers/r8168-8.035.00.tar.bz2 скрипт есть, я именно им ставил.

[Пума Тайланд]

Драйвер накатил, будем ждать.

[fso]

10 дней продержался. только что упал.
upd/ ложнгая тревога. сеть падала

[Пума Тайланд]

У вас дрова на 8168 стоят?

[fso]

Да. Я просто на коленке сделал скриптик (когда еще выяснял, что именно зависает сетевуха или сам серв), который должен был перезагружать сервер если яндекс становится недоступным.
Вот в тот момент где-то по пути до России сеть падала, сервер и был перезагружен этим скриптиком.

 cat ./network-reboot.sh
#!/bin/sh -

ScriptName=`basename $0`
PID=$$
PIDFile="/var/run/${ScriptName}.pid"

if [ -f $PIDFile ]; then
    exit 0;
fi;

if [ "$1" != "start" ]; then
    echo "`date` started" >> /var/log/${ScriptName}.log
    $0 start &>/dev/null &2>/dev/null
    exit 0;
fi;

trap "rm -f $PIDFile" 0 1 2 5 15
echo $PID > $PIDFile

sleep 30;

while true
do
    sleep 90;
    Req=`/usr/bin/curl -f --head --silent http://ya.ru/ | grep '200 Ok'`
    if [ "$Req" = "" ]; then
        echo "`date` reboot by timeout" >> /var/log/${ScriptName}.log
        /sbin/ifconfig eth0 down
        sleep 2
        /sbin/ifconfig eth0 up
        sleep 3
        Req=`/usr/bin/curl -f --head --silent http://ya.ru/ | grep '200 Ok'`
        echo "`date` eth0 up - [${Req}]" >> /var/log/${ScriptName}.log
        sleep 30
        /sbin/reboot
    fi
done;

[Пума Тайланд]

Все таки точно падает только сеть? Почему тогда в логах пусто?
У вас ex4 или ex4s?
Аналогично тестовый сегодня завис.

[fso]

В предыдущем сообщении я имел ввиду падение канала до России на несколько минут.
А сервер зависал целиком (до обновления биоса), и для того, чтобы это выяснить я и писал скриптик.
Он и сработал когда яндекс стал недоступен. То есть падения по первопричине небыло, все штатно, после обновления биоса еще ниразу не падал. Cервер ex4.

Answer 4

[script88]

Сетевая карта у вас r8169 с накатаннымы дровами от r8168 или все таки r8168?

Comments

[fso]

lspci выдает
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 09)
так что видимо 8168

[script88]

Попробуйте пересобрать драйвер

aptitude install build-essential linux-headers-`uname -r`
download.hetzner.de/drivers/r8168-8.035.00.tar.bz2
tar xjf r8168-8.035.00.tar.bz2
cd r8168-8.035.00.tar.bz2
make all
depmod -a
echo «r8168» >> /etc/initramfs-tools/modules
update-initramfs -v -u -k `uname -r`
reboot

[fso]

вообще, после установки в системе был 8169, менял как раз по инструкции хетзнера именно на тот, что по ссылке.

[script88]

После установки чего?

[fso]

системы (Debian + Proxmox). ставил в Hetzner удаленно, с помощью их скрипта installimage

[script88]

Загрузитесь через rescue, после приглашения, Вы увидите точно модель своей карты, не зависимо от установленных драйверов.

[fso]

ок. не вопрос, сейчас сделаю. и отпишусь.

[fso]

Hardware data:

   CPU1 Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz (Cores 8)
   RAM  15758 MB
   Disk /dev/sda: 3000.6 GB  (=> 2861 GIB)
   Disk /dev/sdb: 3000.6 GB  (=> 2861 GIB)

Network data:
   eth0  LINK: yes
         MAC:  50:46:5d:xx:xx:xx
         IP:   144.76x.xxx.xxx
         IPv6: 2a01:xxxx:xxxx:xxxx::x/64
         RealTek RTL-8169 Gigabit Ethernet driver

тут только драйвер.

а вот lspci по прежнему

root@rescue ~ # lspci
00:00.0 Host bridge: Intel Corporation Device 0150 (rev 09)
00:01.0 PCI bridge: Intel Corporation Device 0151 (rev 09)
00:02.0 VGA compatible controller: Intel Corporation Device 0162 (rev 09)
00:14.0 USB Controller: Intel Corporation Device 1e31 (rev 04)
00:16.0 Communication controller: Intel Corporation Device 1e3a (rev 04)
00:1a.0 USB Controller: Intel Corporation Device 1e2d (rev 04)
00:1c.0 PCI bridge: Intel Corporation Device 1e10 (rev c4)
00:1c.4 PCI bridge: Intel Corporation Device 1e18 (rev c4)
00:1d.0 USB Controller: Intel Corporation Device 1e26 (rev 04)
00:1f.0 ISA bridge: Intel Corporation Device 1e4a (rev 04)
00:1f.2 SATA controller: Intel Corporation Device 1e02 (rev 04)
00:1f.3 SMBus: Intel Corporation Device 1e22 (rev 04)
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 09)
r

[script88]

У Вас сетевуха все таки RealTek RTL-8169
Пересоберите дрова 8168

[fso]

Да почему 8169? Это просто в rescue драйвер 8169 (вы сами написали У Вас сетевуха все таки RealTek RTL-8169 Gigabit Ethernet driver.). Вывод lspci говорит что RTL8111/8168B, и драйвер, после установки был 8169, который я заменил на 8168 как-раз по инструкции хетзнера, Тоесть прям то что вы советуете. поправьте, если что-то упускаю.

[script88]

хм… Странно, у меня даже после установки драйвера в rescue показывал все равно 8169 хотя драва ставил от 8168

[fso]

Так и у меня тоже в rescue показывает драйвер 8169, хотя в боевой системе стоит 8168, при этом вывод lspci в обеих системах не отличается (что и должно быть) и показывает что на железном уровне сетевуха значится как RTL8111/8168B

[ValdikSS]

lspci -nn и в гугл с VID/PID

[Пума Тайланд]

Замена драйверов устойчивости серверу на добавила.

Answer 5

[Влад Животнев]

echo «deb backports.debian.org/debian-backports squeeze-backports main contrib non-free» >> /etc/apt/sources.list
apt-get update
apt-get install -t squeeze-backports linux-image-3.2.0-0.bpo.2-amd64

Ну или какое там поновее найдете.

Comments

[fso]

ядро у меня pve, на серваке proxmox стоит. но, спасибо, гляну, может и подходящее ядро поновее есть

[Влад Животнев]

Забудьте про sandy bridge + openvz. Они настолько слоупоки (в т.ч. и под CentOS), что 90% чипсетов SB в их ядре работает никак.
Если нужен только KVM — смело ставьте 3.2
Мноооого машин в hetzner я уже этим путем «починил».

Ещё bridge-utils может глючить, если у вас бриджи. Но вряд ли — там нужно сильно больше сотни мегабит. А по pps нужно столько, что hetzner сразу тушит порт/ip.

[fso]

Да, использую только kvm, и виртуалки за натом, но с использованием моста — всех прицепил в мост в серую сеть и высунул натом нужные. Спасибо, попробую ядро проапгрейдить если ничего другого не останется.

Answer 6

[fso]

Плохо дело. Значит за бесплатно не поменяют, а две недели теста уже прошли и двойную абонентку уже отдал.
Но мириться с пропадающим внезапно сервером — не дело. На втором серве аптайм два года — доволен полностью.
Пробую значит загрузить обычное ядро, подать нагрузку. Если падения не будет, то дело в pve ядре и копать в ту сторону (оставить только kvm).
Если продолжит падать, попробовать обычное ядро поднять до 3.х и повторить тест.
Уж если совсем ничего не поможет, брать другой сервак или писать в саппорт чтобы поменяли. Таки неделю парился.

Answer 7

[van]

Спасибо всем кто так или иначе отписался в этой ветке. Проблема идентичная на 100%
также имеем сервер 4s на хетцнере, также время от времени сервер без каких либо логов «исчезает» и помогает
лишь перезагрузка через панель.
Умаялся, месяц уже воюю, самое обидное что на одном форуме постоянно пропадают таблицы при падении,
в общем полный абзац.

Большое спасибо за инструкцию которую выложил скрипт, благодаря ей обновил сетевуху и теперь жду, посмотрим на эффект.
Биос 1005, сетевуха такая же как в инструкции, в общем следим и надеемся на лучшее.

Answer 8

[van]

проработал сервер неделю и снова повис ((((( я в полной растерянности, ребутнул его еще раз и посмотрим что теперь будет. Но если и дальше будет виснуть то видимо переезд будет неизбежен… как он меня достал ((((((((((

Answer 9

[van]

в общем народ советует еще ядро обновить до 3.2, сейчас дождусь очередного падения и буду пробовать ядро обновить как написано тут
unixforum.org/index.php?showtopic=133288&st=0&gopid=1240511&#entry1240511

Answer 10

[van]

обновление ядра не помогло, сервер по прежнему виснет. Биос 1005, сейчас попробую еще его обновить до 1105, но даже не знаю если стоит овчинка выделки

Comments

[fso]

Странно. А в хетзнер писали с _описанием_ проблемы? Они там всяко знают решение. Ну или накрайняк поменяют сервер, к клиентам они довольно лояльны.

Answer 11

[van]

писал уже раз пять, первый раз они целиком на 12 часов выключали сервер тестируя и проверяя железо, второй раз поменяли блок питания, далее тестировали часа четыре оперативную память, сейчас они уже разводят руками греша на программные ошибки, причем не уточняя какие именно.
Сейчас заказал обновить биос хотя у меня 1005 уже стоит, поэтому даже не знаю как быть… если только новый сервер просить, но вот тут unixforum.org/index.php?s=&showtopic=133288&view=findpost&p=1228920 пишут о такой же проблеме и о ответах поддержки хетцнера а у одного товарища даже переезд на другой сервер не помог ))

Answer 12

[van]

в общем похоже локализовал и решил проблему. У кого подобное случится прошивайте биос. Где то там проблема где именно не удалось выяснить да это и не нужно, в общем добивайтесь прошивки после которой все сразу станет нормально.

Что интересно у меня и у еще одной «жертвы» есть машинки этой же линейки EX4 но с более старым биосом взятые год назад так вот там все отлично работает. В общем вот так :) Всем удач!