Здравствуйте уважаемые . Возникла проблема при подключении сервера в дата центре.
ОС Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2+deb7u1 x86_64
сейчас там работает сервер на CentOS но нужно его заменить. Айпи адреса выделенные статические. ip 178.222.80.34 mask 255.255.255.252 getwey 178.222.80.33
в файле прописали /etc/network/interfaces
# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).
# The loopback network interface
auto lo
auto eth0
iface lo inet loopback
#Главный интерфейс
allow-hotplug eth0
iface eth0 inet static
address 178.222.80.34
netmask 255.255.255.252
gateway 178.222.80.33
ip пингуется в датацентре, локалхост тоже
Весь парадокс в том что в домашних условиях все работает прекрасно. :o Для проверки в роутере назначили айпи geteway и маску указанную выше. И отключили DHCP для верности. При включении сервера в сеть с такой конфигурацией сервер сразу подключился как положено к интернет и все заработало. При подключении в дата центре с теми же настройками, поверх консоли всплывает ошибка и сервер не может подключится к интернету. В чем может быть беда? Подключаем старый сервер на место все подключается и работает
вот строчки из лога ошибок:
Dec 6 03:16:16 1000ukg kernel: [ 25.930706] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:20 1000ukg kernel: [ 29.210375] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:24 1000ukg kernel: [ 33.928163] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:28 1000ukg kernel: [ 37.175837] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:32 1000ukg kernel: [ 41.925585] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:36 1000ukg kernel: [ 45.289266] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:40 1000ukg kernel: [ 49.923040] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:41 1000ukg ntpdate[1929]: Can't find host 0.debian.pool.ntp.org: Name or service not known (-2)
Dec 6 03:16:43 1000ukg kernel: [ 53.146770] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:47 1000ukg kernel: [ 56.920793] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:50 1000ukg kernel: [ 60.092592] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:54 1000ukg kernel: [ 63.918601] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:58 1000ukg kernel: [ 67.190304] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Попытка прописать маршруты командой route тоже ничего не дала. ifconf показывало что все в норме. Если понадобится то смодэльирую ситуацию дома и покажу. Пытались уже дважды подключить сервер одно и то же. В домашних условиях все работает.
Уже голову поломал. Помогите разобраться. Какая инфа нужна для решения данного вопроса? Предоставлю.
Проблема решена! Было сделано вот что, и что из этого помогло точно не могу сказать, времени в ДЦ на проверку не было!
1. Исправить в файле /etc/default/grub строку
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off" добавив через пробел pcie_aspm=off
2. Запустить update-grub
Все операции естественно от рута
3. Добавьте в /etc/rc.local
Для вступления изменений можно перезапустить sh /etc/rc.local
#disable pause autonegotiate
#/sbin/ethtool -A eth0 autoneg off
#/sbin/ethtool -s eth0 autoneg off
/sbin/ethtool -A eth1 autoneg off
#/sbin/ethtool -s eth1 autoneg off
/sbin/ethtool -s eth1 speed 100 duplex full autoneg off # # Отключение автоматического определения параметров скорости и дуплекса, установка скорости
#change tx ring buffer
#/sbin/ethtool -G eth0 tx 4096 #maybe too large(consider 512). To increase inte$
#interrupts per second>
/sbin/ethtool -G eth1 tx 4096 #maybe too large(consider 512). To increase inter$
#interrupts per second>
#disable wake on line
#/sbin/ethtool -s eth0 wol d
/sbin/ethtool -s eth1 wol d
#turn off offload
#/sbin/ethtool -K eth0 tx off rx off sg off tso off gso off gro off
/sbin/ethtool -K eth1 tx off rx off sg off tso off gso off gro off
#enable TX pause
#/sbin/ethtool -A eth0 tx on
/sbin/ethtool -A eth1 tx on
#disable ASPM
#/sbin/setpci -s 02:00.0 CAP_EXP+10.b=40
#/sbin/setpci -s 00:19.0 CAP_EXP+10.b=40
Если у вас несколько адаптеров, то добавьте аналогичные команды для других ethX
Всем спасибо за помощь!
Сравнил показания вывод команды ethtool текущего сервера и того что хотим ставить Увидел одну любопытную картину.
текущий сервер
root@1000ukg.kz:~# ethtool eth0
Settings for eth0:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Half 1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Half 1000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Link partner advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Link partner advertised pause frame use: No
Link partner advertised auto-negotiation: Yes
Speed: 100Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: off
Supports Wake-on: g
Wake-on: g
Current message level: 0x000000ff (255)
drv probe link timer ifdown ifup rx_err tx_err
Link detected: yes
Хотим ставить
root@1000ukg.kz:~# ethtool eth1
Settings for eth1:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: on
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
В итоге вижу что оба сервера поддерживают 1000 mb а текущий сервер работает на 100 mb. и у текущего выключен MDI-X: off -Это как то могло повлиять?
Евгений Гапченко: Данные Bios
Сервер HP ProLiant DL120 G7
Сетевой контроллер PCI Embedded Intel 82574 network kontroller 1
Версия драйвера думаю последняя
root@1000ukg.kz:~# ethtool -i eth1
driver: e1000e
version: 2.3.2-k
firmware-version: 2.1-0
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no
ОС Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2+deb7u1 x86_64 -это последняя стабильная версия на сколько я знаю.
Ilya Evseev: 1. Исправить в файле /etc/default/grub строку
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off" добавив через пробел pcie_aspm=off
2 . Добавил в /etc/rc.local
#disable pause autonegotiate
#/sbin/ethtool -A eth0 autoneg off
#/sbin/ethtool -s eth0 autoneg off
/sbin/ethtool -A eth1 autoneg off
#/sbin/ethtool -s eth1 autoneg off
/sbin/ethtool -s eth1 speed 100 duplex full autoneg off # # Отключение автоматического определения параметров скорости и дуплекса, установка скорости
#change tx ring buffer
#/sbin/ethtool -G eth0 tx 4096 #maybe too large(consider 512). To increase inte$
#interrupts per second>
/sbin/ethtool -G eth1 tx 4096 #maybe too large(consider 512). To increase inter$
#interrupts per second>
#disable wake on line
#/sbin/ethtool -s eth0 wol d
/sbin/ethtool -s eth1 wol d
#turn off offload
#/sbin/ethtool -K eth0 tx off rx off sg off tso off gso off gro off
/sbin/ethtool -K eth1 tx off rx off sg off tso off gso off gro off
#enable TX pause
#/sbin/ethtool -A eth0 tx on
/sbin/ethtool -A eth1 tx on
#disable ASPM
#/sbin/setpci -s 02:00.0 CAP_EXP+10.b=40
#/sbin/setpci -s 00:19.0 CAP_EXP+10.b=40
Если у вас несколько адаптеров, то добавьте аналогичные команды для других ethX
Вот эти два действия помогли. Какое конкретно помогло не знаю, времени на проверку там не было. Все подготовил заранее перед поездкой в ДЦ
Всем спасибо за помощь!
Dec 6 03:16:50 1000ukg kernel: [ 60.092592] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec 6 03:16:54 1000ukg kernel: [ 63.918601] e1000e 0000:03:00.0: eth1: Reset adapter unexpectedly
Dec 6 03:16:58 1000ukg kernel: [ 67.190304] e1000e: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
1) Попробуйте обновить драйверы
2) Попробуйте другую сетевую карту.
на сервере имеется две встроенных сетевых карты пробовали обе. Другие драйвера дадут эффект? Ведь через обычные ADSL модэмы все работает. Сеть работает и пингуется норм.
Ilya Evseev: как подбирать драйвера? В датацентре подключения не будет, а на месте их перебирать не видя решилась ли проблема тоже весьма утомительно. установил драйвер отвез сервер в датацентр и попробовал, не получилось опять дома поставил драйвера -попробовал, а если проблема вообще не в этом? )))
Евгений Гапченко:
1) Драйвер подбирать не надо. Он всего один - официальный от Интела.
Нужна самая свежая версия.
Ищите в Гугле "debian e1000e driver".
Тут же найдёте кучу описаний.
Например, rootslan.com/e1000e
2) Есть вероятность, что обновление драйвера не поможет.
Поэтому резервная сетевая карта не помешает.
Оптимальный вариант - Intel CT на чипе 82574L.
Ilya Evseev: Евгений Гапченко: Данные Bios
Сервер HP ProLiant DL120 G7
Сетевой контроллер PCI Embedded Intel 82574 network kontroller 1
Версия драйвера думаю последняя
root@1000ukg.kz:~# ethtool -i eth1
driver: e1000e
version: 2.3.2-k
firmware-version: 2.1-0
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no
ОС Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2+deb7u1 x86_64 -это последняя стабильная версия на сколько я знаю.
Евгений Гапченко: судя по всему, достаточно было поискать в Гугле "e1000e Reset adapter unexpectedly".
Дело решается не обновлением драйвера и не заменой карты (это я погорячился), а изменением параметров: serverfault.com/a/616623/228027
Либо в параметры загрузки ядра надо добавить pcie_aspm=off
Либо выключить offloading: ethtool -K eth1 gso off gro off tso off
(если поможет, то добавить в /etc/network/interfaces!)
Евгений Гапченко:
1) скорее всего, /boot/grub/grub.cfg
2) редактировать его вручную не надо, он перезатрется при первом же обновлении ядра. Надо отредактировать /etc/default/grub и запустить update-grub
Евгений Гапченко: pcie_aspm=off надо добавить в /etc/default/grub в переменную GRUB_CMDLINE_LINUX_DEFAULT. Flow control трогать не надо. Прочесть про него можно в "man ethtool".
На тот момент в дата центре, что только не пробовали и днс гугла в resolv.conf добавляли, подключали в разные сетевые карты и правили /etc/network/interfaces. На самом деле в датацентре прямое подключение выделенный ip , mask и gateway параметр DNS там ни как не должен учитываться шлюза должно быть вполне достаточно.
Владимир: пинговали gateway - не пинговался. На компьютерах для выхода в интернет конечно нужен, но доступ к компьютеру из вне имеется сразу только лишь стоит указать шлюз. В датацентре из вне доступ к сайту тоже не получили. Шлюз в нашем случае не пинговался.
Владимир: как это сделать? Что такое бекпорт? Евгений Гапченко: Данные Bios
Сервер HP ProLiant DL120 G7
Сетевой контроллер PCI Embedded Intel 82574 network kontroller 1
Версия драйвера думаю последняя
root@1000ukg.kz:~# ethtool -i eth1
driver: e1000e
version: 2.3.2-k
firmware-version: 2.1-0
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no
ОС Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2+deb7u1 x86_64 -это последняя стабильная версия на сколько я знаю. Или есть другая?
Доброго времени суток!
Вас "Reset adapter unexpectedly" не смущает?
На сколько помню - хардварная проблема. Советую обновить драйвера.
На счет того, что "дома работает, в датацентре не работает", возможно, связано с типом подключения, и настройкой порта на коммутаторе со стороны дата-центра
Да, смутило, явно указав на аппаратную ошибку. Некую проблему совместимости. Но когда начали танцы с бубнами, ошибка перестала всплывать поверх консоли. Но доступ gateway так и не поучили. О типах подключений по подробней. Точно не знаю как работает подключение в датацентре, какое оборудование там стоит. Вероятно там выделенная линия. Которая постоянно поддерживает канал открытым. Должно было быть достаточным указать gateway. О портах могу сказать, там вообще все должно быть открыто, подобные вещи защищаются на уровне Сервера. По крайней мере так утверждали сопровождающие лица от казахтелекома, что нет ни каких ограничений ни по мак адресам и прочие ограничения. О технологиях NAT как в ADSL модэме тоже рeчи быть не может. Постараюсь выяснить какое оборудование там стоит и что оно вообще из себя представляет. Драйвера... Подключал сервер уже к 3-м разным модэмам и везде работает без танцов с бубнами.
я не совсем корректно выразился, говоря о "типах подключения" в данном случае я имел ввиду просто full/halt-duplex. Подключаетесь то как? Медью к ним на ADSL модем?
root@1000ukg.kz:~# ethtool eth1
Settings for eth1:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: on
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
дуплекс полный поддерживает карта сетевая. Подключение через кабель RJ45. там выделенная линия ip сервера становится внешним, без посредников. К нему можно обращаться на прямую с любой точки планеты.
Арчи Кузнецов: Простите, какой именно лог вам нужен? И какого сервера, того который хотим поставить или тот который стоит на данный момент. Я пару логов сохранил, остальные уже перезаписались
Этот вопрос я уже задал провайдеру. Завтра просили с ними связаться. Всю новую инфу добавлю. Кстати я там выше добавил сравнение показаний текущего сервера и того что хотим поставить. Прочтите пожалуйста, может это тоже что нибудь для вас откроет. Новые факты так сказать. Каждому приходится писать коментарии отдельно. Другие участники ведь тоже могут их почитать. Обсуждения идут довольно активно За это всем спасибо.
Евгений Гапченко: Данные Bios
Сервер HP ProLiant DL120 G7
Сетевой контроллер PCI Embedded Intel 82574 network kontroller 1
Версия драйвера думаю последняя
root@1000ukg.kz:~# ethtool -i eth1
driver: e1000e
version: 2.3.2-k
firmware-version: 2.1-0
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no
ОС Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2+deb7u1 x86_64 -это последняя стабильная версия на сколько я знаю.
