Реализация своего TCP(UDP)/IP стека, как получить ответ?

Question

[yanchumak]

Добрый день. Так получилось,что нужно реализовать свой TCP(UDP)/IP стек. Логика приложения обитает на сетевом уровне OSI (OSI level 3), т.е. есть дескриптор файла с которого я могу прочитать\записать IP дейтаграммы, далее каждый кадр могу обработать в соответствии с протоколом TCP/UDP (а это уже транспортный уровень OSI - 4). Собственно вопросы:
1. Для TCP протокола нужно установить соединение и держать "где-то" связку ip/port str/dst и его сокет? (соединяемся банально - создаем сокет через socket и тупа connect?)
1.1 В отдельном потоке (форке) долбить сокетом recv для получения данных?
1.2 Как бы с флагами протокола?
2. Тоже самое, но для UDP, интересуют пока только TCP/UDP (дай бог и до ICMP дойду, но это уже другая история, при том,что он работает параллельно с IP)

p.s. перерыл готовые реализации,как то непонятно, как они обрабатывают соединения. Наверно привычка из работы с сокетами в приложениях,где ты не заботишься об этом.
p.p.s Смотрел в сторону dunkels.com/adam/miniweb в качестве примера, но там жесть какая-то, они получают пакеты с tun-a и назад отправляют в него, это какой-то фокус?

Comments

[brutal_lobster]

Может быть вы не совсем представляете как работает сетевой стэк?
Рекомендую почитать CCNA и посмотреть реализацию стэка в ядре и mtcp.
www.amazon.com/Linux-Kernel-Networking-Implementat...

[yanchumak]

возможно, если интересно, вот схема,того что мне надо pikucha.ru/idL1o

[jcmvbkbc]

brutal_lobster: реализация стека в ядре -- это клёвый совет. Как раз для начинающего.
Вот эти реализации стоит посмотреть на самом деле: KA9Q TCP/IP, uIP.

[yanchumak]

jcmvbkbc: дурацкий вопрос, но: а проще нету?)) мне бы сам механизм понять. открыл сорцы - чуть не умер)

[jcmvbkbc]

yanchumak: KA9Q -- куда уж проще, мне кажется. Чтобы понять механизм -- прочитайте RFC: RFC 791 (IP), RFC 768 (UDP), RFC 793 (TCP) и RFC 792 (ICMP).

Answer 1

[MrFrizzy]

Александ Колесень - Внедрение open-source TCP/IP с...
Посмотрите, тут человек реализовывал tcp стек поверх userspace на android

Comments

[yanchumak]

большое спасибо

Answer 2

[Сергей Протько]

дай бог и до ICMP дойду

Как вы собираетесь имплементить TCP без ICMP? Вам же как-то нужно подтверждать доставку пакетов.

Соединение обрабатывается довольно просто. Производим тройное рукопожатие и по завершению оного создаем какой-то объект/структурку где хранятся все нужные нам данные, адрес второй оконечной точки, буферы записи/чтения (если вы решитесь реализовывать контроль насыщения и контроль потока ну или просто последний пакет сохранять и блокировать отправку пока не подтвердится доставка этого пакета).

Вообще мне кажется что вы просто придумали себе неподъемную проблему... Зачем вам TCP имплементить если у вас IP дейтаграммы есть? Кому адресованы эти IP дейтаграммы? Кому вы их отправлять собираетесь? С кем соединяться? Мне кажется вам просто нужно сделать перепаковку данных из IP дейтаграммы в TCP пакет.

Comments

[neolink]

Как вы собираетесь имплементить TCP без ICMP? Вам же как-то нужно подтверждать доставку пакетов.

ICMP не для этого

[yanchumak]

Насчет ICMP neolink прав. а вот "Мне кажется вам просто нужно сделать перепаковку данных из IP дейтаграммы в TCP пакет" - Вы правы наверно, можете подсказать,что для этого нужно, при условии,что ОС - linux, и как быть с UDP?

[Сергей Протько]

yanchumak: да, по поводу ICMP это я сморозил конечно.

Перепаковка - зависит от того что вы имеете. С UDP итого проще. Вы из IP пакета все можете вытащить из заголовков. А с TCP у вас соединение должно быть. Ну либо вы опять же вытаскиваете из заголовков к кому подключаться а дальше по старинке через сокеты.

Далее достаем из дэйтаграмм данные и пишем их в сокет в цикле.

[yanchumak]

Сергей Протько: это интересно, сокет будет один,верно? просто на каждый фрагмент из IP конфигурируем и делаем отправку? а как данные с UDP принять? тот же DNS по 53 порту. а почему в цикле бегаем и отправляем? из-за кол-ва данных? нужно отправлять не больше MTU?

[yanchumak]

вот схема моей "штуки" pikucha.ru/idL1o

[Сергей Протько]

yanchumak: любопытства ради, а что внутри IP датаграммы то? Сомневаюсь просто что там просто данные какие-то... может быть там уже есть внутри сформированный TCP пакет?

[yanchumak]

Сергей Протько: обычный IP пакет согласно RFC, в хедере у него версия IP - 4 или 6, протокол TCP/UDP, ip src/dst что-то еще есть и данные, в данных уже в зависимости от протокола свои поля

[Сергей Протько]

yanchumak: ну это как бы важно, вы хотите мол заменить транспорт со своего протокола на TCP? Или приложение собиралось использовать IP как транспорт?

[Сергей Протько]

yanchumak: я к тому что в пакете который внутри должен быть прописан порт или что-то в этом духе.. у протокола который используется приложением должен быть свой формат заголовков как я понимаю... и что в нем... и тд.

Вообще чем приложение занимается?

В целом адрес целевой можно из IP пакета достать, просто вопрос куда что слать то. Вы знаете на какой порт? Порт указывается в TCP пакете который уже заварачивается в IP пакет. Так что тут больше нужно смотреть на то что же внутри у этих IP датаграмм и что они по итогу шлют.

[yanchumak]

Сергей Протько: порты? конечно знаю, я же разбираю IP пакет полностью, у них внутри TCP или UDP (писал об этом выше). Оправить тот же TCP могу, но возникают трудности,которые я описал в самом первом сообщении:(

[Сергей Протько]

yanchumak: ну так что ж вы... То есть если упростить, у вас есть приложение которое ловит трафик в файловый дискриптер и вам нужно перепослать его на другой эндпоинт. Эдакий прокси.

Перепослать пакет вы можете при помощи raw сокетов. То есть берем IP датаграмму, выковыривае из нее TCP пакет, достаем из заголовков IP адрес адресата и из TCP пакета порт, коннектимся (на той стороне должны же слушать порт) и затем отправляем даные из TCP пакета. Только их. Вот и все. Соединения можно хранить в какой хэш-мэпе.

С UDP такая же история только не нужно даже соединения хранить... бо их нет.

Разруливать что у нас внутри можно по заголовкам.

Если все же хотите приключений можно создать raw сокет и отправлять через них все.

[yanchumak]

Да,всё верно - этакий прокси:) Вы гений! Не поверите, минут 10 назад перед прочтением вашего сообщений, в голове я нарисовал такую же схему (без сырых сокетов), но у меня возник опять вопрос, а как быть со служебной инфорй в пакете? например: когда мы конектимся по TCP, мы тупа дёргаем метод connect (при котором на уровне IP прошло рукопожатие и установился коннект)и дальше отправляем через сокет данные, вся магия SYN ACK остается на уровне IP,как тут быть? ведь моё приложение со стороны IP и вижу я эти пакеты с рукопожатием, отправлять назад фиктивные пакеты назад? а самому по тихому создавать коннект и уже в него отправлять данные, если пришли данные, а не служебная инфа (рукопожатие SYN ACK и другие флаги)

[Сергей Протько]

yanchumak: ух, вот тут походу придется самому формировать пакеты и заварачивать их в дейтаграммы...

По сути у вас эдакий програмный маршрутизатор выходит... Может в эту сторону смотреть? Ну мол... если у нас IP трафик просто нужно отправлять то может стоит просто форвардить его и отправлять назад что с другой оконечной точки пришло? Я просто не подумал что на приложеньку тоже слать что-то надо.

[yanchumak]

Сергей Протько: форвардить нельзя - банально прав нет:) нужно разруливать "руками", в принципе это не проблема, мне главное нужно было понять с чего начинать. А вот как насчет UDP? к примеру, при запросе домена по 53 порту у DNS сервера ,каким образом ответ идет, не подскажите?

[Сергей Протько]

yanchumak: по идее просто слушать входящие датаграммы на 53-ем порту, если честно тут не подскажу.

Если вам сильно интересно вы всегда можете посмотреть все в деталях через wireshark какой.

[Дэн Иванов]

yanchumak: а в чем сложности с отправлением по UDP ? Точно также и отправляете. Транспорт у Вас в обоих случаях IP, просто в ip пакет укладываете UDP и ставите в ip пакете в поле протокола UDP.

[yanchumak]

ptchol: это понятно, начал я с UDP, отправляю,принимаю, всё складываю,считаю контрольную сумму IP заголовка и UDP. но банальный gethostbyname - не рабит:(((
прогоняю свои пакеты через WireShark - всё ок, или лыжи не едут или я..

Answer 3

[neolink]

Реализация своего TCP(UDP)/IP стека

Для TCP протокола нужно установить соединение и держать "где-то" связку ip/port str/dst и его сокет? (соединяемся банально - создаем сокет через socket и тупа connect?)

Вы сами-то определитесь что вы хотите делать толи свой tcp стек, толи вы используете сетевые функции linux.

Comments

[yanchumak]

знал бы на 100 % :( Один товарищ сказал - "тебе нужно реализовать свой TCP/IP" - без проблем, гугл и давать смотреть примеры и тут пошла каша полная, как работает сам стек на уровне теории я знаю и понимаю, но как эти знания применить конкретно к моей задачи - проблема. Что вы думаете насчет "перепаковать IP в TCP" ?

[neolink]

yanchumak: все зависит от задачи, если вы снифер/анализатор делаете берите libpcap, там уже реализованы стандартные структуры для пакетов и их разбор. тамже можно из этих структур обратно собрать пакет
если вы некоего демона пишите (для примера web сервер) то используйте сокеты, за вас все сделает os

[yanchumak]

neolink: cнифер/анализатор, верно. разбор пакетов уже могу делать закрытыми глазами, не понимаю,что дальше делать. Пакет разобрал, ок - это к примеру TCP все хедеры и флаг попарсил,ок ....и всё, дальше висну. пробовал отправить данные из TCP пакета через обычную схему: создаем сокет (socket()), конект к серверу (connect()) и send данных и опять те самые вопросы - что делать с сокетом? что делать с конектом в целом? как получать данные назад? ну и практически тоже самое с UDP? Спасибо вам за конструктивный диалог. Надеюсь, Вы направите меня на хоть какой-то путь истины.

[neolink]

yanchumak: а с какой целью у вас в сниффере отправка сделана, что вы этим хотите получить?
как пример посмотрите отправку пакета через raw socket https://gist.github.com/austinmarton/1922600

для того чтобы вам получить ответ нужно будет сохранить связку ip:port источника и куда вы отправили и когда придет очередной пакет если он соответствует этим данным обработать его (тройное рукопожатие, перезапросы и т.п.).

[yanchumak]

neolink: отправлять нужно, потому как весь трафик завернут через этот туннель, сырые сокеты не пойдут - они рут требуют

[thatskriptkid]

yanchumak:к сожалению, вам для своего протокола потребуются именно raw сокеты.