Могут ли сетевые устройства работать параллельно?

Question

[Данил Тунев]

Всех с новым годом! Я создал несколько потоков с помощью pthreads (столько, сколько логических ядер у проца.) настроил в каждом socket ориентированный на отдельные сетевые подключения и одновременно во всех потоках стал писать в открытые tcp-сессии. На прикладном-программном уровне это выглядит как параллельная переда данных. Позволят ли провернуть такой фокус операционная система, драйвера, железо и сетевые карты? Т.е. в одну единицу времени из всех карт будут сочиться биты данных?
В приделах процессора и оперативной памяти я знаю что параллельность вычислений не псевдопараллельная, сам проверял с помощью старого-доброго замера времени выполнения, как поведут себя в этой ситуации вся остальная периферия для меня загадка!

Answer 1

[rPman]

Вы используете tcp, значит организовать можно как угодно, 'биты будут сочиться'

Мало того, чтобы утилизировать несколько сетевых устройств, потоки создавать не обязательно, если использовать асинхронные сокеты (в linux это зовется неблокирующие, флаг socket() - SOCK_NONBLOCK), любым удобным для вас инструментом, то простая передача данных не потребует особых ресурсов и спокойно отработает на одном ядре (исключение - 10+гбитный поток, ну может речь уже должна идти о 100+гбит? это на грани возможностей железа и для него нужно использовать специализированные инструменты, предоставляемые сетевой картой, а значит про tcp придется забыть, хотя хз может там все уже удобно сделали)

Answer 2

[asmelnik]

Практически любой современный физический интерфейс на компьютере --ПОСЛЕДОВАТЕЛЬНЫЙ: USB, Ethernet (100/1000/2500/5000/10000 Мбит), PON, SATA... (параллельные LPT и IDE(PATA) давно сошли со сцены)
Т.е. сколько физически (Но не логически) интерфейсов вы задействуете, столько и получите одновременных потоков.
При этом если USB -- то это шина, т.е.в каждый момент времени только одно устройство передает данные. И сколько бы вы устройств на одну шину не повесили -- физически это один поток данных.
Если что-то хотите передавать в сеть в реальные 16 или 32 потока -- вам надо соответствующее количество физических интерфейсов.
Но возникает вопрос "зачем"??
Не просто так от параллельных интерфейсов перешли на последовательные :)

Comments

[Данил Тунев]

А почему перешли на последовательные интерфейсы ведь это горлышко в бутылке?

[asmelnik]

Данил Тунев,
На самом деле "горлышко в бутылке" -- параллельный.
В двух словах - главная проблема на принимающей стороне правильно "собрать" блок данных.
Это как бегуны на беговой дорожке.
Они должны бежать ровной шеренгой, пока пауза между стартом 2-х разных групп достаточно высока легко различить шеренгу, но при росте скорости паузы сокращаются.
Представьте, если на параде парадная колонна будет не маршировать красиво, а нестись бегом, причем с каждым годом скорость пробегания должна быть все выше,а колонна все "плотнее", вот примерно то же самое и с параллельными интерфейсами. в IDE 133 уже нужен был шлейф не 40 проводов (как в 66), а 80 и значение имело даже то, насколько "одинаковый" контакт разных проводников на 2-х концах шлейфа. И следующий шаг стал SATA.

Answer 3

[Sanes]

Bonding (port channel) интерфейсы

Comments

[Данил Тунев]

У меня немного другая ситуация.

Answer 4

[ky0]

Я правильно понимаю, что ваше приложение биндится на всех интерфейсах и в несколько потоков через них передаёт данные? Если с другой стороны такое поведение нормально обрабатывается приложением - почему бы и нет. На сетевом уровне это в любом случае будет выглядеть просто как несколько TCP-коннектов.

Другое дело, что реализовывать это на прикладном уровне - лютый низкопроизводительный велосипед. Хотите агрегацию пропускной способности каналов - для этого уже давно придумали бондинг или mptcp.

Comments

[Данил Тунев]

Почему низкопроизводительный велосипед?

[ky0]

Данил Тунев, потому что ваше решение неуниверсально - как минимум, оно не учитывает характеристик каналов, того факта, что их количество и работоспособность может со временем меняться. Оставьте распределение трафика по интерфейсам на уровне ядра, а себе, раз уже так хочется, оставьте только количество параллельных потоков.

[Данил Тунев]

ky0, Т.е. мне для написания приложения нужно использовать в два раза меньше потоков, чтоб остальными пользовался драйвер для пересылки?