Как правильно читать с помощью boost::asio::read до определенного символа?

Question

[lightalex]

Всем привет!
Есть следующий код на C++ для приема ответов на POST запросы:

boost::asio::write(*socket, request);
std::vector<char> response(10 * 1024);
boost::system::error_code ec;
auto bytes_received = boost::asio::read(*socket, boost::asio::buffer(response), boost::asio::transfer_all(), ec);
std::cout << response.data() << std::endl;

Проблема в том что я пытаюсь сохранить соединение (connection: keep-alive) и в связи с этим сервер не сообщает конец, а response задан по размерам больше чем ожидаемое сообщение
Так что ответ он принимает до таймаута, что довольно долго...
Я пытаюсь сделать чтобы он принимал ответ до определенного символа и не ждал конца
Увы пока ничего не получилось :(
Это вообще возможно?
Если да, то помогите пожалуйста! Буду очень благодарен!

Comments

[15432]

Не используйте transfer_all, вручную обрабатывайте весь входящий поток. например, заголовок HTTP запроса имеет явные начало и конец, в заголовке же указывается точный размер тела запроса. уже из этого вы точно можете определить, когда следует прекращать приём данных. Когда я писал взаимодействие по HTTP, сложным моментом была организация собственного буфера данных, когда принимается больше одного запроса, и первый нужно обрабоать немедленно, а другой поставить в очередь на дозагрузку и обработку. Вам это тоже придётся учитывать.

[lightalex]

15432: фишка в том что content-length не возвращается
Но возвращаемый тип данных - JSON
То есть при посимвольном переборе можно точно определить конец сообщения с помощью символа "}"

[romy4]

lightalex: JSON это POST запрос, без content-length это невалидный запрос
точнее, это требуемое поле до некоторых моментов (например multipart)

[lightalex]

romy4: вот что возвращается:

Я хз валидный или невалидный, но вот он такое есть, без content-length :(

[romy4]

Так у вас же серверная сторона возвращает Connection: close - зачем что-то ждать ещё?
Нужно в таком случае считывать с таймаутом в пару секунд. Ничего не пришло - давай досвидания

[lightalex]

romy4: упс, скрин не тот
Это я просто тестил один момент
На самом деле там должно быть keep-alive

[15432]

lightalex: ну вообще он сказал, что закроет соединение после передачи (Connection: close), потому content-length не обязателен (принимать всё до закрытия сокета). Возможно, у вас не просто по таймауту вылетает, а сокет давно закрыт, но программа ждёт данных? Проверьте в том же Wireshark, закрывается ли соединение сразу после передачи JSON. Если да, то усилия напрасны.
в случае keep-alive соединений без content-length никак (чтоб разделить порции данных).

[lightalex]

15432: да не, это мой фейл, скрином ошибся
Вообще там должно быть keep-alive
Так как надо ещё отправлять запросы

[15432]

lightalex: я б принимал данные в буфер и парсил уже его.
1) как только в сокете появляются данные -> читаем в буфер
2) после каждого чтения проверяем, не сформировался ли в буфере полный HTTP заголовок
3) как только наберется заголовок, парсим и выкусываем его
4) аналогично по частям ждём, собираем и парсим JSON
5) повторяем всё с начала - ждём новый HTTP заголовок и так далее

примерно таким образом я делал)

[lightalex]

15432: хмм, надо будет попробовать
Вроде бы именно то что мне нужно :)
Может откопируйте совет в ответы чтобы я смог потом выбрать его правильным?
Если у вас сохранился код где вы так делали, может сможете опубликовать нужный кусок?
Спасибо за помощь)

Answer 1

[15432]

я б принимал данные в буфер и парсил уже его.
1) как только в сокете появляются данные -> читаем в буфер
2) после каждого чтения проверяем, не сформировался ли в буфере полный HTTP заголовок
3) как только наберется заголовок, парсим и выкусываем его
4) аналогично по частям ждём, собираем и парсим JSON
5) повторяем всё с начала - ждём новый HTTP заголовок и так далее

моя прокся на сях, где чёрт ногу сломит
(сомневаюсь, что сильно поможет xD)

Comments

[lightalex]

А не подскажите как можно очистить буфер и подготовить сокет к новому запросу?
А то у меня от старого запроса остаются заголовки -_-

[15432]

Отправка и получение данных ведь независимо ведутся. В один буфер всё приходит, из другого отправляете.
Может быть ситуация, когда в входящем буфере окажется полтора ответа. Один ответ следует обработать и удалить из буфера, остаток оставить и ждать, пока будет получена оставшаяся часть.

здесь ответ как из вектора оставить только часть данных
stackoverflow.com/questions/421573/best-way-to-ext...

я использовал кольцевой буфер для минимизации операций копирования и выделения памяти. данные всегда принимались в один и тот же блок памяти, менялся лишь указатель (ходил "по кругу")

[Дмитрий]

lightalex: а зачем его очищать? у вас же есть маркер конца этого буфера. Просто читаете или пишете то, что реально нужно, мусор при этом никак не затрагивается.

[lightalex]

Дмитрий: прошу прощение за глупый вопрос, что за маркер?

[Дмитрий]

lightalex: ну в азио вам в колбеки приходит всегда bytes_transferred или bytes_written. Вот от них и отталкивайтесь, используя один и тот же буфер, несмотря на то, что у него за границами этих bytes_transferred и bytes_written находится мусор.

Answer 2

[Дмитрий]

https://github.com/boostorg/asio/tree/develop/exam...

Answer 3

[Andrey_1984]

Извините пожалуйста, к сожалению не смог понять совет от 15432:

я б принимал данные в буфер и парсил уже его. 
1) как только в сокете появляются данные -> читаем в буфер
2) после каждого чтения проверяем, не сформировался ли в буфере полный HTTP заголовок

Подскажите пожалуйста, если не сложно, а как это сделать ?
1)То есть, вот п.1, как только в сокете появляются данные читаем их в буффер. Но функция read сама их будет читать в предоставленный ей к примеру streambuf автоматически. Мы же не вручную читаем ?
2)А второй пункт вообще к сожалению не смог понять. Вот к примеру, как и писал ТС с сервером поддерживается соединение keepalive, то есть сервер передал вме данные, но соединение не закрываетмя, а значит функция read заблокирована. То есть read все еще ждет. Как можно прочитать что то из буффера, если еще выполняется функция read ??