Ошибки сети linux при подключении в датацентре?

Question

[Евгений Гапченко]

Здравствуйте уважаемые . Возникла проблема при подключении сервера в дата центре.
ОС Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2+deb7u1 x86_64
сейчас там работает сервер на CentOS но нужно его заменить. Айпи адреса выделенные статические. ip 178.222.80.34 mask 255.255.255.252 getwey 178.222.80.33
в файле прописали /etc/network/interfaces

# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

# The loopback network interface

auto lo
auto eth0
iface lo inet loopback
#Главный интерфейс
allow-hotplug eth0
iface eth0 inet static

address 178.222.80.34
netmask 255.255.255.252
gateway 178.222.80.33
ip пингуется в датацентре, локалхост тоже
Весь парадокс в том что в домашних условиях все работает прекрасно. :o Для проверки в роутере назначили айпи geteway и маску указанную выше. И отключили DHCP для верности. При включении сервера в сеть с такой конфигурацией сервер сразу подключился как положено к интернет и все заработало. При подключении в дата центре с теми же настройками, поверх консоли всплывает ошибка и сервер не может подключится к интернету. В чем может быть беда? Подключаем старый сервер на место все подключается и работает
вот строчки из лога ошибок:
Dec 6 03:16:16 1000ukg kernel: [ 25.930706] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:20 1000ukg kernel: [ 29.210375] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:24 1000ukg kernel: [ 33.928163] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:28 1000ukg kernel: [ 37.175837] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:32 1000ukg kernel: [ 41.925585] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:36 1000ukg kernel: [ 45.289266] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:40 1000ukg kernel: [ 49.923040] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:41 1000ukg ntpdate[1929]: Can't find host 0.debian.pool.ntp.org: Name or service not known (-2)
Dec 6 03:16:43 1000ukg kernel: [ 53.146770] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:47 1000ukg kernel: [ 56.920793] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:50 1000ukg kernel: [ 60.092592] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:54 1000ukg kernel: [ 63.918601] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:58 1000ukg kernel: [ 67.190304] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Попытка прописать маршруты командой route тоже ничего не дала. ifconf показывало что все в норме. Если понадобится то смодэльирую ситуацию дома и покажу. Пытались уже дважды подключить сервер одно и то же. В домашних условиях все работает.
Уже голову поломал. Помогите разобраться. Какая инфа нужна для решения данного вопроса? Предоставлю.
Проблема решена! Было сделано вот что, и что из этого помогло точно не могу сказать, времени в ДЦ на проверку не было!
1. Исправить в файле /etc/default/grub строку
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off" добавив через пробел pcie_aspm=off
2. Запустить update-grub
Все операции естественно от рута
3. Добавьте в /etc/rc.local
Для вступления изменений можно перезапустить sh /etc/rc.local
#disable pause autonegotiate
#/sbin/ethtool -A eth0 autoneg off
#/sbin/ethtool -s eth0 autoneg off
/sbin/ethtool -A eth1 autoneg off
#/sbin/ethtool -s eth1 autoneg off
/sbin/ethtool -s eth1 speed 100 duplex full autoneg off # # Отключение автоматического определения параметров скорости и дуплекса, установка скорости
#change tx ring buffer
#/sbin/ethtool -G eth0 tx 4096 #maybe too large(consider 512). To increase inte$
#interrupts per second>
/sbin/ethtool -G eth1 tx 4096 #maybe too large(consider 512). To increase inter$
#interrupts per second>

#change rx ring buffer
#/sbin/ethtool -G eth0 rx 128
/sbin/ethtool -G eth1 rx 128

#disable wake on line
#/sbin/ethtool -s eth0 wol d
/sbin/ethtool -s eth1 wol d

#turn off offload
#/sbin/ethtool -K eth0 tx off rx off sg off tso off gso off gro off
/sbin/ethtool -K eth1 tx off rx off sg off tso off gso off gro off

#enable TX pause
#/sbin/ethtool -A eth0 tx on
/sbin/ethtool -A eth1 tx on

#disable ASPM
#/sbin/setpci -s 02:00.0 CAP_EXP+10.b=40
#/sbin/setpci -s 00:19.0 CAP_EXP+10.b=40
Если у вас несколько адаптеров, то добавьте аналогичные команды для других ethX
Всем спасибо за помощь!

Comments

[Евгений Гапченко]

Сравнил показания вывод команды ethtool текущего сервера и того что хотим ставить Увидел одну любопытную картину.
текущий сервер
[e-mail]:~# ethtool eth0
Settings for eth0:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Half 1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Half 1000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Link partner advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Link partner advertised pause frame use: No
Link partner advertised auto-negotiation: Yes
Speed: 100Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: off
Supports Wake-on: g
Wake-on: g
Current message level: 0x000000ff (255)
drv probe link timer ifdown ifup rx_err tx_err
Link detected: yes
Хотим ставить
[e-mail]:~# ethtool eth1
Settings for eth1:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: on
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
В итоге вижу что оба сервера поддерживают 1000 mb а текущий сервер работает на 100 mb. и у текущего выключен MDI-X: off -Это как то могло повлиять?

[Евгений Гапченко]

Евгений Гапченко: Данные Bios
Сервер HP ProLiant DL120 G7
Сетевой контроллер PCI Embedded Intel 82574 network kontroller 1

Версия драйвера думаю последняя
[e-mail]:~# ethtool -i eth1
driver: e1000e
version: 2.3.2-k
firmware-version: 2.1-0
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no
ОС Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2+deb7u1 x86_64 -это последняя стабильная версия на сколько я знаю.

[Ilya Evseev]

В итоге, что помогло? Замена сетевой карты или обновление драйвера?

[Евгений Гапченко]

Ilya Evseev: 1. Исправить в файле /etc/default/grub строку
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off" добавив через пробел pcie_aspm=off

2 . Добавил в /etc/rc.local
#disable pause autonegotiate
#/sbin/ethtool -A eth0 autoneg off
#/sbin/ethtool -s eth0 autoneg off
/sbin/ethtool -A eth1 autoneg off
#/sbin/ethtool -s eth1 autoneg off
/sbin/ethtool -s eth1 speed 100 duplex full autoneg off # # Отключение автоматического определения параметров скорости и дуплекса, установка скорости
#change tx ring buffer
#/sbin/ethtool -G eth0 tx 4096 #maybe too large(consider 512). To increase inte$
#interrupts per second>
/sbin/ethtool -G eth1 tx 4096 #maybe too large(consider 512). To increase inter$
#interrupts per second>

#change rx ring buffer
#/sbin/ethtool -G eth0 rx 128
/sbin/ethtool -G eth1 rx 128

#disable wake on line
#/sbin/ethtool -s eth0 wol d
/sbin/ethtool -s eth1 wol d

#turn off offload
#/sbin/ethtool -K eth0 tx off rx off sg off tso off gso off gro off
/sbin/ethtool -K eth1 tx off rx off sg off tso off gso off gro off

#enable TX pause
#/sbin/ethtool -A eth0 tx on
/sbin/ethtool -A eth1 tx on

#disable ASPM
#/sbin/setpci -s 02:00.0 CAP_EXP+10.b=40
#/sbin/setpci -s 00:19.0 CAP_EXP+10.b=40
Если у вас несколько адаптеров, то добавьте аналогичные команды для других ethX

Вот эти два действия помогли. Какое конкретно помогло не знаю, времени на проверку там не было. Все подготовил заранее перед поездкой в ДЦ
Всем спасибо за помощь!

Answer 1

[Ilya Evseev]

Проблема в этом:

Dec 6 03:16:50 1000ukg kernel: [ 60.092592] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:54 1000ukg kernel: [ 63.918601] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:58 1000ukg kernel: [ 67.190304] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None

1) Попробуйте обновить драйверы
2) Попробуйте другую сетевую карту.

Comments

[Евгений Гапченко]

на сервере имеется две встроенных сетевых карты пробовали обе. Другие драйвера дадут эффект? Ведь через обычные ADSL модэмы все работает. Сеть работает и пингуется норм.

[Ilya Evseev]

Евгений Гапченко: новые драйверы могут помочь, могут не помочь. adsl-модемов в датацентрах не бывает, поэтому на них ссылаться бессмысленно.

[Евгений Гапченко]

Ilya Evseev: как подбирать драйвера? В датацентре подключения не будет, а на месте их перебирать не видя решилась ли проблема тоже весьма утомительно. установил драйвер отвез сервер в датацентр и попробовал, не получилось опять дома поставил драйвера -попробовал, а если проблема вообще не в этом? )))

[Ilya Evseev]

Евгений Гапченко:
1) Драйвер подбирать не надо. Он всего один - официальный от Интела.
Нужна самая свежая версия.
Ищите в Гугле "debian e1000e driver".
Тут же найдёте кучу описаний.
Например, rootslan.com/e1000e

2) Есть вероятность, что обновление драйвера не поможет.
Поэтому резервная сетевая карта не помешает.
Оптимальный вариант - Intel CT на чипе 82574L.

[Евгений Гапченко]

Ilya Evseev: Евгений Гапченко: Данные Bios
Сервер HP ProLiant DL120 G7
Сетевой контроллер PCI Embedded Intel 82574 network kontroller 1

Версия драйвера думаю последняя
[e-mail]:~# ethtool -i eth1
driver: e1000e
version: 2.3.2-k
firmware-version: 2.1-0
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no
ОС Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2+deb7u1 x86_64 -это последняя стабильная версия на сколько я знаю.

[Ilya Evseev]

Евгений Гапченко: судя по всему, достаточно было поискать в Гугле "e1000e Reset adapter unexpectedly".

Дело решается не обновлением драйвера и не заменой карты (это я погорячился), а изменением параметров: serverfault.com/a/616623/228027

Либо в параметры загрузки ядра надо добавить pcie_aspm=off
Либо выключить offloading: ethtool -K eth1 gso off gro off tso off
(если поможет, то добавить в /etc/network/interfaces!)

[Евгений Гапченко]

Надо попробовать. Интересно на сколько упадет производительность... А добавить в интерфейс как правильно прописать? Надеюсь поможет

[Ilya Evseev]

Евгений Гапченко: в конец раздела под строкой "iface eth1 ..." добавьте строку "pre ethtool ..."

[Евгений Гапченко]

Ilya Evseev: не могу найти файл /boot/grub/menu.lst Чтобы отключить pcie_aspm = off, где отключаются параметры загрузки я дра

[Ilya Evseev]

Евгений Гапченко:
1) скорее всего, /boot/grub/grub.cfg
2) редактировать его вручную не надо, он перезатрется при первом же обновлении ядра. Надо отредактировать /etc/default/grub и запустить update-grub

[Евгений Гапченко]

Ilya Evseev: После какой строчки нужно добавить pcie_aspm = off, и как включить функцию Flow-control чтобы проверить и этот вариант.

[Ilya Evseev]

Евгений Гапченко: pcie_aspm=off надо добавить в /etc/default/grub в переменную GRUB_CMDLINE_LINUX_DEFAULT. Flow control трогать не надо. Прочесть про него можно в "man ethtool".

[Евгений Гапченко]

Ilya Evseev: Как убедится, что pcie_aspm действительно выключен?

[Ilya Evseev]

Евгений Гапченко: неужели так трудно самостоятельно поискать в Гугле "linux pcie_aspm"?? Тут же найдёте: https://wiki.archlinux.org/index.php/Power_saving#...
Читайте, проверяйте, какие файлы есть в /sys/module/pcie_aspm и что они содержат.

[Евгений Гапченко]

Ilya Evseev: Не нашел по дебиан в основном CentOS

Answer 2

[Владимир]

в логе eth1, а в конфиге eth0

если после
echo "nameserver 8.8.8.8" > /etc/resolv.conf
всё чудным образом заработает, добавьте в конфиг
dns-nameservers 8.8.8.8

уберите
allow-hotplug eth0
и если есть
allow-hotplug eth1
auto eth1

возможно на свиче включен flowcontrol, если так попросите отключить

Comments

[Евгений Гапченко]

На тот момент в дата центре, что только не пробовали и днс гугла в resolv.conf добавляли, подключали в разные сетевые карты и правили /etc/network/interfaces. На самом деле в датацентре прямое подключение выделенный ip , mask и gateway параметр DNS там ни как не должен учитываться шлюза должно быть вполне достаточно.

[Владимир]

DNS системе нужен в любом случае

[Евгений Гапченко]

Владимир: пинговали gateway - не пинговался. На компьютерах для выхода в интернет конечно нужен, но доступ к компьютеру из вне имеется сразу только лишь стоит указать шлюз. В датацентре из вне доступ к сайту тоже не получили. Шлюз в нашем случае не пинговался.

[Владимир]

поставьте ядро из бекпорта

[Евгений Гапченко]

Владимир: как это сделать? Что такое бекпорт?
Евгений Гапченко: Данные Bios
Сервер HP ProLiant DL120 G7
Сетевой контроллер PCI Embedded Intel 82574 network kontroller 1

Версия драйвера думаю последняя
[e-mail]:~# ethtool -i eth1
driver: e1000e
version: 2.3.2-k
firmware-version: 2.1-0
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no
ОС Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2+deb7u1 x86_64 -это последняя стабильная версия на сколько я знаю. Или есть другая?

[Владимир]

cat >> /etc/apt/sources.list << EOF
deb ftp.debian.org/debian wheezy-backports main
EOF

apt-get update
apt-get -t wheezy-backports install linux-image-amd64

Answer 3

[Арчи Кузнецов]

Доброго времени суток!
Вас "Reset adapter unexpectedly" не смущает?
На сколько помню - хардварная проблема. Советую обновить драйвера.
На счет того, что "дома работает, в датацентре не работает", возможно, связано с типом подключения, и настройкой порта на коммутаторе со стороны дата-центра

Comments

[Евгений Гапченко]

Да, смутило, явно указав на аппаратную ошибку. Некую проблему совместимости. Но когда начали танцы с бубнами, ошибка перестала всплывать поверх консоли. Но доступ gateway так и не поучили. О типах подключений по подробней. Точно не знаю как работает подключение в датацентре, какое оборудование там стоит. Вероятно там выделенная линия. Которая постоянно поддерживает канал открытым. Должно было быть достаточным указать gateway. О портах могу сказать, там вообще все должно быть открыто, подобные вещи защищаются на уровне Сервера. По крайней мере так утверждали сопровождающие лица от казахтелекома, что нет ни каких ограничений ни по мак адресам и прочие ограничения. О технологиях NAT как в ADSL модэме тоже рeчи быть не может. Постараюсь выяснить какое оборудование там стоит и что оно вообще из себя представляет. Драйвера... Подключал сервер уже к 3-м разным модэмам и везде работает без танцов с бубнами.

[Арчи Кузнецов]

я не совсем корректно выразился, говоря о "типах подключения" в данном случае я имел ввиду просто full/halt-duplex. Подключаетесь то как? Медью к ним на ADSL модем?

[Евгений Гапченко]

[e-mail]:~# ethtool eth1
Settings for eth1:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: on
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
дуплекс полный поддерживает карта сетевая. Подключение через кабель RJ45. там выделенная линия ip сервера становится внешним, без посредников. К нему можно обращаться на прямую с любой точки планеты.

[Арчи Кузнецов]

хм... тогда я бы хотел видеть логи оконечного устройства дата-центра...

[Евгений Гапченко]

Арчи Кузнецов: Простите, какой именно лог вам нужен? И какого сервера, того который хотим поставить или тот который стоит на данный момент. Я пару логов сохранил, остальные уже перезаписались

[Арчи Кузнецов]

нет, я про оборудование на другом конце провода - оборудование дата-центра. Скорее всего там коммутатор, его логи, настройки...

[Евгений Гапченко]

Этот вопрос я уже задал провайдеру. Завтра просили с ними связаться. Всю новую инфу добавлю. Кстати я там выше добавил сравнение показаний текущего сервера и того что хотим поставить. Прочтите пожалуйста, может это тоже что нибудь для вас откроет. Новые факты так сказать. Каждому приходится писать коментарии отдельно. Другие участники ведь тоже могут их почитать. Обсуждения идут довольно активно За это всем спасибо.

Answer 4

[Spetros]

Ядро ОС обновите.
Что за мат.плата и сетевые?

Comments

[Евгений Гапченко]

Евгений Гапченко: Данные Bios
Сервер HP ProLiant DL120 G7
Сетевой контроллер PCI Embedded Intel 82574 network kontroller 1

Версия драйвера думаю последняя
[e-mail]:~# ethtool -i eth1
driver: e1000e
version: 2.3.2-k
firmware-version: 2.1-0
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no
ОС Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2+deb7u1 x86_64 -это последняя стабильная версия на сколько я знаю.