Как написать прикладной протокол?

Question

[historydev]

Уровень 7 OSI или 4 TCP/IP.

Не могу найти никаких толковых инструкций или хотя-бы списка требований (нашёл только спецификации RFC но мне пока тяжело).

Условно если я поверх tcp допишу на сервере правило, что перед данными нужно указать ABC, а сами данные должны быть в формате JSON - это уже "протокол"?

Задача: Разобраться из чего состоят прикладные протоколы и закрепить на практике (саморазвитие)

Comments

[shurshur]

По описанию - да, это L7. И да, это можно назвать протоколом.

В чём собственно вопрос? Если хочется понять живые протоколы, то рекомендую попробовать руками из telnet делать HTTP-запросы, поиграться с ftp-сервером или отправить письмо по SMTP.

[historydev]

shurshur,
Нашёл на stackoverflow вопрос, где в ответе советуют почитать RFC smtp т.к. это вроде как самый примитивный протокол и для новичка очень понятен будет.
А допустим http, где гипертекст, там уже сложнее всё.

По поводу telnet, хорошо, попробую, спасибо.

[shurshur]

historydev, ну если есть возможность, предлагаю попробовать также pop3 и imap, прочитать те самые отпрвленные по smtp письма :) Про ftp я уже говорил. Можно ещё irc, например.

[shurshur]

historydev, гипертекст (html), кстати, не часть протокола http. Он просто отдаёт некоторый контент в байтах. Какой - протоколу неважно. Это может быть html, xml, json, pbf, txt, jpg и вообще любой текстовый или бинарный файл. Отдельная фича - websocket поверх http-запроса.

http тоже интересно потыкаться в особенности, например, в chunked encoding.

[historydev]

shurshur, возможность нет, т.к. пока нет понимания, я в от прочитал оглавление smtp, всё на абстракциях, в целом вроде как понятно, но непонятно как это применить.

Допустим у меня сейчас пробел в двоичной системе, а здесь нужно делить запрос на двоичные фрагменты по N бит/байт как я понял, допустим в первых 4-8 байтах id, для примера себе нашёл боль-мень понятную краткую статью:
https://product-help.schneider-electric.com/Machin...

Разбираюсь на её примере и пытаюсь реализовать, пишу на node.js т.к. есть опыт, потом относительно легко на любой-другой язык перенесу без проблем, который шустрее.

По документации быстро набросал вот такое:

server.js:

const net = require('node:net');
const server = net.createServer((c) => {
    // 'connection' listener.
    console.log('client connected');
    c.on('end', () => {
        console.log('client disconnected');
    });

    // c.pipe(c);

    c.on('data', (data) => {
        c.write('start' + data.toString() + 'end');
    });

    server.getConnections((err, count) => {
        console.log(count);
    });

});

server.on('error', (err) => {
    console.log(err);
});
server.listen(8124, () => {
    console.log('server bound');
});

client.js:

const net = require('node:net');

const dataStr = 'body';
const dataSize = dataStr.length+1;
const dataSizeStr = dataSize.toString();
const transferId = String(50); //Math.floor(Math.random() * 5555).toString();
const transferIdBuff = Buffer.from(transferId);
const dataSizeBuff = Buffer.from(dataSizeStr);
const dataBuff = Buffer.from(dataStr);
const resultBuff = Buffer.concat([transferIdBuff, dataSizeBuff, dataBuff]);

const client = net.createConnection({ port: 8124 }, () => {
    // 'connect' listener.
    console.log('connected to server!');

    console.log(transferId + ' ' + dataSize + ' ' + dataStr);

    client.write(resultBuff);

});
client.on('data', (data) => {
    console.log(data.toString());
    // client.end();
});
client.on('end', () => {
    console.log('disconnected from server');
});

Пока не понимаю как побитово извлекать информацию и нужно ли, условно 16/32 бит id запроса вначале как достать.

Где-то слышал что двоичные данные быстрее передаются, вроде как пока читал про http.

[CityCat4]

historydev,

где в ответе советуют почитать RFC smtp т.к. это вроде как самый примитивный протокол

Нифига подобного. Почитай RFC и удивись :)

[shurshur]

historydev, протокол smtp очень простой. Делаем telnet адрес_сервера 25 и пишем команды протокола:

$ telnet *** 25
Trying ***...
Connected to ***.
Escape character is '^]'.
220 mx.***.ru ESMTP server
HELO mx.***.ru
250 mx.***.ru
MAIL From:<***@***.ru>
250 2.1.0 Ok
RCPT To:<***@***.ru>
250 2.1.5 Ok
DATA
354 End data with .
Subject: Hello
From: [e-mail]
To: [e-mail]

Hello!
.
250 2.0.0 from MTA(smtp:[127.0.0.1]:10025): 250 2.0.0 Ok: queued as C1C5A70B207

Тут жирным шрифтом выделено то, что я сам вводил.

[historydev]

shurshur, Как сервер обрабатывает эти данные?

Я попробовал telnet на разные сервисы и местами очень важно определённое кол-во пустых строк, как здесь:
Subject: Hello
From: [e-mail]
To: [e-mail]

Hello!

В каком виде данные дойдут до сервера? Что-то вроде?:

Subject: Hello\nFrom: [e-mail]\nTo: [e-mail]\n\nHello!

[historydev]

shurshur, только что пробовал telnet на этот ресурс: https://www.wpoven.com/tools/free-smtp-server-for-...

На последнем шаге:

Subject: Hello
From: [e-mail]
To: [e-mail]

Hello!

Ошибку поймал, на предыдущих тоже, но там разобрался, а здесь непонятно, может у них модифицирован он или я допустил ошибку?

[historydev]

shurshur, А, я почитал, я забыл команду data, она не выделена, я обратил внимание изначально, но подумал что это ответ т.к. не выделено, спасибо

Answer 1

[Евгений Шатунов]

Первое что стоит понять: модель OSI не является строгой и не ограничивает разработчиков своими рамками.
Например, верно, стек TCP/IP задает самостоятельную модель. Делается это через отождествление групп уровней OSI на уровни TCP/IP.

Этап следующий. 4-й уровень модели TCP/IP эквивалентен группе из 5-7 уровней OSI. Что это означает.
Базируясь на некотором транспортном протоколе 4-го уровня OSI, тебе потребуется поднять 5-й, 6-й и 7й уровни самостоятельно.

На 7-м уровне у тебя должен быть прикладной код, с которым клиент твоего протокола будет общаться через DTO/VO.
На 6-м уровне должна обеспечиваться трансляция данных между DTO/VO 7-го уровня и JSON для передачи по сети.
На 5-м уровне нужно обеспечить гарантию сессии через проверку и внедрение в трафик маркера сессии, т.е. того самого ABC.

Разведи свой код на такие уровни и тебе все станет ясно.

Comments

[historydev]

Спасибо, попробую.

Answer 2

[mayton2019]

Тебе на самом деле нет смысла строить протокол поверх TCP.
Не будет никакого сильного преимущества. HTTP достаточно
удобен чтобы гонять запрос-ответ.

И тогда можешь описать свой протокол как надмножество REST/SOAP/GraphQL и прочее.

Comments

[historydev]

Дело не в удобстве и смысле, просто хочется иметь такой опыт, а уже после можно будет подумать где и как имеет смысл это применять.

[mayton2019]

historydev, почитай про AVRO, Protobuf, Thrift еще. Это - бинарные протколы.

Answer 3

[CityCat4]

Если хочешь непременно свой протокол - ну так просто возьми и напиши :) Да, он будет у тебя L7 и тебе самому придется его спроектировать - придумать заголовок, хвост, назначение оного протокола...