Может ли приложение слушать несколько портов?

Question

[Eugene Usachev]

Допустим у меня есть компьютер с n ядер. Я хочу использовать их как можно эффективнее. Могу ли я прослушивать n портов?

Вопрос стоит не в том, способен ли я. Вопрос в том, нет ли здесь каких-нибудь подводных камней для пользователей (например, нельзя развернуть такое приложение, или к нему сложно подключиться)?

Answer 1

[Алексей Черемисин]

Может! Проблем никаких нет. Можно разнести воркеры и привязать их к конкретным ядрам, но все зависит от модели и дизайна вашего ПО.
Емли в линуксе, испольщуйте треды и epool.

Answer 2

[Everything_is_bad]

Не понятно какая связь между ядрами и портами? компьютер с один ядром может слушать N портов, компьютер с N ядрами так же может слушать N портов. Эффективность вообще тут боком, а для ее измерения минимум нужно установить критерий по которому ее фиксируем.
ЗЫ взять тот же event loop в питоновском asyncio (на самом деле в остальных языках тоже дофига подобного), он без проблем может держать и обрабатывать 10к коннектов на одному порту, на одном процессе (считай ядре), но если кривыми руками там вызвать тяжелый синхронный код, то всё.

Comments

[Eugene Usachev]

Everything_is_bad, связь есть. Можно разбить приложение на низком уровне (я не уверен, можно ли так сделать в питоновском asyncio, поэтому не могу привести понятный вам пример) на n самодостаточных потоков и дать каждому потоку свой порт. Это позволит приложению работать без блокировок и межпроцессорного взаимодействия. Можно слушать и один порт с любым event loop и работать быстро, но в таком случае будут накладные расходы на синхронизацию потоков. Вариант с портом на ядро работает быстрее по той причине, что не требует никаких примитивов синхронизации.

[Everything_is_bad]

Eugene Usachev, а ты уже уперся в какие-то ограничения? или просто сейчас пытаешь решить выдуманную проблему? Ну а так да, как только упираются в производительность одного процесса, то поднимают еще один и так далее, это не проблема, главное чтобы приложение было написано с учетом этого. А количество портов тут вообще ни при чем.

[Eugene Usachev]

Everything_is_bad, я понимаю Ваше недоумение по этому вопросу, так как не стал описывать Вам контекст. У меня приложение по сути только и делает, что принимает состояние и отдаёт его. Я могу слушать один порт и разбивать состояние на части. Но в таком случае у меня потоки будут "гоняться" за этими частями. Иными словами, при увеличение числа потоков в 2 раза, производительность будет повышаться в меньшее число раз, так как потоки вынуждены "устраивать гонки" за ресурсы. Однако, я могу разбить состояние по числу ядер и отдать каждому ядру свой порт. В таком случае каждый поток работает только с один портом (хотя для одного потока можно выставить и больше, главное чтобы порты были уникальны для каждого потока) и одной частью состояния. В этой схеме у меня нет блокировок, что улучшает способность к масштабированию до почти линейной.

[Everything_is_bad]

Eugene Usachev, ну так тут проблема в реализации, раз каждый поток вызывает такие проблемы с производительностью. Да, ты без проблем можешь каждому процессе (ядру) привязать порт, но смысл? Тоже самое, ну запусти на одном порту обработку в несколько процессов (ядер). В итоге опять приходим, при чем тут порты?

[Eugene Usachev]

Everything_is_bad, если Вам правда интересно, попробуйте в голове быстро представить себе такую ситуацию:
1 - приложение слушает один порт;
2 - приложение обрабатывает запросы параллельно;
3 - вам надо вернуть значение из словаря в ответе.
Как будете такое реализовать? Если вы знаете способ реализовать это без блокировок и каналов, опишите в двух словах такое решение. Мне будет интересно его почитать.

[Everything_is_bad]

Eugene Usachev,

1 - приложение слушает один порт;
2 - приложение обрабатывает запросы параллельно;
3 - вам надо вернуть значение из словаря в ответе.

я где тут нужны блокировки? я конечно понимаю что это от ЯП же зависит, но вот на питоне я без проблем верну значение из словаря, для этого не нужны блокировки

[Eugene Usachev]

Everything_is_bad, я не использовал Python дальше школьного курса, поэтому не могу с Вами поспорить. Но не существует других способов решить эту задачу (или через полное деление состояния, даже портов, или нужны примитивы синхронизации). Скорее всего, Python скрывает от Вас эту работу.

[Everything_is_bad]

Eugene Usachev, вот тут мы внезапно пришли к какой-то специфичной задачи, решаемой на каком-то специфичном языке, но всё равно, при чем тут порты? я изначально ответил, нет никакой разницы сколько портов может слушать приложение и это не зависит от количества ядер.

[Eugene Usachev]

Everything_is_bad, я с Вами полностью согласен, что и одно ядро может слушать множество портов. Вы были правы. Я вступил с Вами с дискуссию, потому что хотел объяснить для чего мне более одного порта в приложении. Если Вы до сих пор не понимаете, для чего я собираюсь использовать более одного порта, я боюсь, что не смогу Вам это объяснить, так как Вы не понимаете самой проблемы, которую я пытаюсь решить. Если Вам всё ещё интересно, можете поискать информацию в интернете о shared-nothing архитектуре и поискать её реализации (например, SeaStar).

Answer 3

[Saboteur]

Приложение может слушать сколько угодно портов.
Можно даже один порт слушать двумя приложениями, есть даже такой вариант, но он редко используется.

Но вот совершенно не обязательно разбивать листенеры по ядрам - в большинстве случаев, если у вас предполагается нагрузка, то после того, как на порт приходят данные, проверяется есть ли уже установленная сессия, и если нет, создается отдельный поток для нового юзера/подключения. А уже какое ядро - ОС сама разберется с многопоточностью.

Comments

[Eugene Usachev]

Saboteur, я именно поэтому и начал вопрос с слов: "Вопрос стоит не в том, способен ли я." Приложение то может, но нет ли потом подводных камней по типу, что его трудно развернуть или что-то подобное. Поскольку никто не предупреждает меня о подобном, я полагаю, что подводных камней всё же нет. Поправьте меня, если они есть.

[Saboteur]

Ну смотри, стандартный веб-сервер обычно сразу слушает два порта http 80 и https 443

все зависит от того, собираешься ли ты открыть условно несколько портов, или несколько сотен портов. Со вторым будут сложности чтобы не конфликтовать с другими сервисами.

В идеале для кастомного приложения, открывать порты выше 1024, потому что первые могут оказаться для чего-то заняты, и, например на Линукс, для открытия приложения на порту ниже 1024 нужны привилегии или запуск от рута.

Answer 4

[Drno]

можно. только количество портов как совмещается с ядрами то?

Comments

[Eugene Usachev]

Drno, я хочу отдать каждому ядру уникальный порт. Это позволит разбить приложение, не используя никаких примитивов синхронизации (в такой системе одному потоку нет смысла взаимодействовать с другим).

[Everything_is_bad]

Eugene Usachev, преждевременная оптимизация зло. Ты же уже нашел узкое место своего приложения, да?

[Drno]

Eugene Usachev, а у тебя будет такая нагрузка, чтобы на 1 порт нагрузить аж целое ядро? вообще так обычно не делают. система распределяет потоки лучше

[Eugene Usachev]

Everything_is_bad, к несчастью гонка за улучшения подходит к концу и ускорять уже почти нечего.

[Eugene Usachev]

Drno, вот именно это я и хочу проверить. Если я не забуду, я напишу Вам в ответе результаты теста. Но я бы не ждал этого рано, скорее всего потребуется значительное время для написания такого прототипа и его испытания.

Answer 5

[CityCat4]

Может. Нет никаких проблем :) Портов 65535 :)