Как заставить работать CentOS 8 через два сетевых интерфейса?

Question

[RoffDaniel]

Всех приведствую! Скажите пожалуйста, как мне правильно настроить два или более сетевых интерфейсов в CentOS 8? В моем случае, два интерфейса. Моя сеть настроена таким образом. Есть локальный IP 10.0.20.0/24 со шлюзом 10.0.20.251 (ens18), и 10.0.30.0/24 со шлюзом 10.0.30.251 (ens19). При установке операционной системы, я настраваю сетевые интерфейсы статическими (Manual). Редактирую только одну вкладку, IPv4. Далее идёт установка системы. После установки я включаю опцию "Автоматические включение при запуске". Перезапускаю, пытаюсь зайти по SSH через IP адрес 10.0.20.20, подключаеться, ввожу логин (root), и тут начинаеться. Я где-то минуту жду, пока мне программа (PuTTY) даст ввести пароль. Если я захочу подключиться через 10.0.30.30, мне попросту не подключает, и я не понимаю, почему?

Я прошу прощения заранее, скорее всего это банальные и простые вопросы, но я с CentOS работаю впервые... Если я плохо объяснил, надеюсь хоть скриншоты помогут.

spoiler

Answer 1

[shurshur]

Всё верно, потому что пакет приходит в один интерфейс, а потом по default route пытается уйти через другой с неверным для этого интерфейса адресом. В принципе, это даже может работать, если выключить rp_filter. Но вообще правильно говорят: не надо два шлюза, ничего из этого хорошего не выйдет.

В общем случае задача "ответить на запрос через тот же интерфейс в обход default route" решается с помощью policy routing. Нужно сделать ещё две разных таблицы маршрутизации с нужными роутами и затем выбирать их через ip rule.

Что касается тормозов при логине, то это сервер пытается проверить в DNS PTR-запись подключающегося. Соответственно, если на сервере с DNS сделать всё хорошо, то и тормозов не будет.

Comments

[RoffDaniel]

Все эти три часа, после написания Вашего ответа, я пытался сделать что-то подобное. В итоге - ничего не получаеться. Перечитал несколько статтей на хабре, на иностранных форумах и ресурсах. Вы можете показать как это можно сделать правильно?

Спасибо!

[shurshur]

RoffDaniel, полезная теория описана в документе Linux Advanced Routing and Traffic Control HOWTO. Лучше всего все возможности современной маршрутизации iproute2 описаны там.

Вот что нужно сделать:

1. Описать новые таблицы маршрутизации в файле /etc/iproute2/rt_tables. В принципе, это необязательный шаг, так как можно использовать числа вместо имён, но с именами будет удобнее. Имена можно выдать по смыслу. Например, добавим туда:

20 lan1
30 lan2

2. После этого можно смотреть таблицы маршрутизации по имени командой ip ro[ute] l[ist] t[able] имя_таблицы (имена параметров можно сокращать), например:

ip route list table lan1
ip ro l t lan2

Кстати, обычная (дефолтная) таблица маршрутизации называется main, если не указывать table, то подразумевается именно она.

Нам нужно добавить в эту таблицу маршруты для нужного интерфейса. Их должно быть два: один - маршрут до местной сети этого интерфейса, другой - default через шлюз.

Смотрим какие уже есть в main:

ip ro l|grep ens18

Видим что-то типа (я взял у себя по своему Wi-Fi-интерфейсу wlp4s0, а не стал сочинять возможный вывод под задачу):

default via 10.7.8.1 dev wlp4s0 proto dhcp src 10.7.8.174 metric 303
default via 10.7.8.1 dev wlp4s0 proto dhcp metric 600
10.7.0.0/24 via 10.7.8.2 dev wlp4s0 proto zebra metric 20
10.7.8.0/24 dev wlp4s0 proto dhcp scope link src 10.7.8.174 metric 303
10.7.8.0/24 dev wlp4s0 proto kernel scope link src 10.7.8.176 metric 600

Первый маршрут - это который scope link, второй - default. В нашем случае надо будет добавить что-то типа такого:

ip ro add 10.0.20.0/24 dev ens18 scope link src 10.0.20.251 table lan1
ip ro add default via 10.0.20.254 table lan1
ip ro add 10.0.30.0/24 dev ens19 scope link src 10.0.30.251 table lan2
ip ro add default via 10.0.30.254 table lan2

3. Теперь у нас есть две таблицы, в которых есть нужные маршруты, но система всё равно выбирает маршруты main. Для управления этим процессом есть другая команда - ip ru[le]. По умолчанию она показывает:

0: from all lookup local
32766: from all lookup main
32767: from all lookup default

Тут видны ещё 2 таблицы, которые существуют всегда - local и default. Можно на досуге посмотреть, что в них есть. Сейчас наша задача - вставить перед lookup main выбор наших таблиц при некоторых условиях.

ip ru add from 10.0.20.251 lookup lan1
ip ru add from 10.0.30.251 lookup lan2

Теперь правила выглядят так:

0: from all lookup local
32764: from 10.0.30.251 lookup lan2
32765: from 10.0.20.251 lookup lan1
32766: from all lookup main
32767: from all lookup default

Теперь система при маршрутизации для трафика с исходящим адресом 10.0.30.251 будет сначала заглядывать в таблицу lan2, а если там не будет подходящего маршрута (с чего бы ему не быть, если там есть default?) - пойдёт дальше по правилам в main.

Для нашей истории с ssh это будет выглядеть так:

клиент: ip_клиента ---> 10.0.30.251:22
сервер: 10.0.30.251:22 --таблица_lan2--> ip_клиента

Если трафик инициируется на самом сервере (исходящие соединения), то он пойдёт по маршрутам таблицы main, где по-хорошему должен быть только один default route (или больше, но с разными метриками, чтобы при падении одного default route был запасной).

Остаётся вопрос, как это всё поднять вместе с настройкой интерфейса, ведь все наши действия относятся только к рантайму, они исчезнут при перезагрузке, а в случае интерфейсов с настройкой по DHCP - и при временном пропадании связи либо при смене IP.

В centos7 можно было создавать статические роуты (в том числе с указанием таблиц) в файлах route-ИНТЕРФЕЙС, а правила - в rule-ИНТЕРФЕЙС - в каталоге /etc/sysconfig/network-scripts. Насколько мне известно, в centos8 network-scripts выпилили, но я пока с ним не имел дела и не изучал, чем их можно заменить.

В случае с DHCP я в своё время просто сделал скрипт, который вызывался из DHCP hook, определял IP и создавал все недостающие правила. У меня там ещё и маршрутизация по fwmark использовалась (чтобы правильно роутить транзитный трафик, серверу недостаточно маршрутизации по source address, нужно также "красить" коннекты с помощью connmark).

[RoffDaniel]

shurshur, добрый день. Я прошу прощеня, но у меня все равно ничего не выходит. Со вчерашнего вечера пытаюсь сделать. При выполнении команды выше, вылазят ошибки, хотя я вроде всё делаю правильно...

spoiler

Что я делаю не так? Так же вот на хабре нашёл статтейку, она может подойти? https://habr.com/ru/post/225965/

[shurshur]

RoffDaniel, в той статье примерно такие же манипуляции делаются.

Ошибка говорит, что 10.0.20.251 не является собственным IP этого сервера. Что написано в адресе интерфейса? Смотреть командой ip addr list dev ens18

[RoffDaniel]

shurshur,

2: ens18: mtu 1500 qdisc fq_codel state UP group default qlen 1000
link/ether ea:87:8e:61:0d:fb brd ff:ff:ff:ff:ff:ff
inet 10.0.20.20/24 brd 10.0.20.255 scope global noprefixroute ens18
valid_lft forever preferred_lft forever
inet6 fe80::e887:8eff:fe61:dfb/64 scope link
valid_lft forever preferred_lft forever
[root@server ~]# ip addr list dev ens19
3: ens19: mtu 1500 qdisc fq_codel state UP group default qlen 1000
link/ether fa:1b:c9:2d:cc:e9 brd ff:ff:ff:ff:ff:ff
inet 10.0.30.30/24 brd 10.0.30.255 scope global noprefixroute ens19
valid_lft forever preferred_lft forever
inet6 fe80::f81b:c9ff:fe2d:cce9/64 scope link
valid_lft forever preferred_lft forever

[shurshur]

Вот, в src надо прописать 10.0.20.20 и 10.0.30.30. Я использовал .251, так как в исходном вопросе были указаны такие IP.

[RoffDaniel]

shurshur, спасибо большое, добрый человек! Ваше решение подошло.
На счет сохранения настроек, чтобы они не сбрасывались после перезапуска, я нашёл один вариант - это файл /etc/sysconfig/network.

# Created by anaconda
ip ro add 10.0.20.0/24 dev ens18 scope link src 10.0.20.20 table lan1
ip ro add default via 10.0.20.251 table lan1
ip ro add 10.0.30.0/24 dev ens19 scope link src 10.0.30.30 table lan2
ip ro add default via 10.0.30.251 table lan2

ip ru add from 10.0.20.20 lookup lan1
ip ru add from 10.0.30.30 lookup lan2

Получается, я туда вписал эти команды, и все вроде как работает. Но, мне настарожило это:

[root@server ~]# ip rule
0: from all lookup local
32746: from 10.0.30.30 lookup lan2
32747: from 10.0.20.20 lookup lan1
32748: from 10.0.30.30 lookup lan2
32749: from 10.0.20.20 lookup lan1
32750: from 10.0.30.30 lookup lan2
32751: from 10.0.20.20 lookup lan1
32752: from 10.0.30.30 lookup lan2
32753: from 10.0.20.20 lookup lan1
32754: from 10.0.30.30 lookup lan2
32755: from 10.0.20.20 lookup lan1
32756: from 10.0.30.30 lookup lan2
32757: from 10.0.20.20 lookup lan1
32758: from 10.0.30.30 lookup lan2
32759: from 10.0.20.20 lookup lan1
32760: from 10.0.30.30 lookup lan2
32761: from 10.0.20.20 lookup lan1
32762: from 10.0.30.30 lookup lan2
32763: from 10.0.20.20 lookup lan1
32764: from 10.0.30.30 lookup lan2
32765: from 10.0.20.20 lookup lan1
32766: from all lookup main
32767: from all lookup default
[root@server ~]#

Это он автоматически создать столько правил. Хотя я на процентов 80 уверен в том, что я просто неправильно ввожу сами команды, именно в этот файл.

По этому, я прибегнул к костылю - через bash скрипт и rc.local.

#!/bin/bash
/sbin/ip ro add 10.0.20.0/24 dev ens18 scope link src 10.0.20.20 table lan1
/sbin/ip ro add default via 10.0.20.251 table lan1
/sbin/ip ro add 10.0.30.0/24 dev ens19 scope link src 10.0.30.30 table lan2
/sbin/ip ro add default via 10.0.30.251 table lan2

/sbin/ip ru add from 10.0.20.20 lookup lan1
/sbin/ip ru add from 10.0.30.30 lookup lan2
exit 0

Но что-то оно не совсем корректно работает...

Спасибо Вам огромное!

[shurshur]

RoffDaniel, чтобы не плодились правила в ip rule при каждом вызове скрипта, можно явно указывать preference правил - то число, которое написано в начале правила:

ip ru add from 10.0.20.20 p 20 lookup lan1
ip ru add from 10.0.30.30 p 30 lookup lan2

Тогда на существующие правила будет выдаваться ошибка и они не будут добавляться ещё раз.

Answer 2

[Keffer]

Два шлюза не надо прописывать никогда. А вы скорее всего прописываете сразу оба. Вот и задумываются сетевые программы.

Comments

[RoffDaniel]

Если я пропишу статику через DHCP сервера на роутере, это будет тоже самое? Потому что, я сейчас так сделал, все равно, по второму интерфейсу не пускает

Answer 3

[Sergey Ryzhkin]

Шлюз оставляете на одном из интерфейсов, после чего в конф.файле каждого из сетевого интерфейса прописываете route, чтобы задать ему в какие сеть они смотрит.

Comments

[Keffer]

Именно так и делается, прописываются роуты для нужных сетей. Шлюз прописывается только в один интерфейс.

[DDwrt100]

шлюз , если переводить на язык сетей это маршрут 0.0.0.0/0 via ip addr.
Два шлюза по умолчанию, создают так сказать логическое противоречие, оно обычно разруливается метрикой. Но в один момент времени это будет один шлюз. Поэтому у вас должен быть один шлюз по умолчанию, а остальное разруливается специфичными маршрутами.