Feof, wss почему проскальзывает 2 значения, а расшифровывается только первое?

Question

[Gias]

while (!feof($fp)) {
            $stat = fstat($fp);
            $fp2 = fread($fp, 8192);
            $new = time();
            $fp2 = decode($fp2);
            if ($fp2['opcode'] == 9) {
                fwrite($fp, encode($new, 'ping'));
                echo "\nPING\n\n";
            };
            if (isset(json_decode($fp2['message'])->data->p)) $fp3 = json_decode($fp2['message'])->data->p;
            if (isset($fp3)) echo $fp3."\n";
        }

В большинстве случаев всё нормально, но иногда цепляется второй пакет с символами для шифрования wss в начале. Думаю, что проблема на стороне сервера, проскальзывает без окончания строки, но может есть ещё что-то? Например из-за sleep-а

UPD: Проблема была в декодировании, неправильно считало длину тела.

Answer 1

[toxa82]

Вы неправильно читаете, в начале пакета идет размер текущего сообщения, нужно смотреть этот размер и после этого читать нужное кол-во байт. Лишнее оставлять для следующего пакета. Пакеты не всегда приходят в целом виде.

Comments

[Gias]

Так он и думает, что это всё один пакет. Думаю, только как то выискивать внутри пакета разделитель.

[toxa82]

Нет, грубо говоря, вы путаете вебсокет пакеты и сетевые пакеты. Вам в одном сетевом пакете может прийти полтора вебсокет пакета. Нет там разделителя, нужно читать первые 2 байта пакета и дальше танцевать от размера, типа.

[Gias]

toxa82, Так всё есть?

Decode($data)
{
    if ($data == false) return;
    $bytes = $data;
    $dataLength = '';
    $mask = '';
    $coded_data = '';
    $decodedData = '';
    $secondByte = sprintf('%08b', ord($bytes[1]));
    $masked = ($secondByte[0] == '1') ? true : false;
    $dataLength = ($masked === true) ? ord($bytes[1]) & 127 : ord($bytes[1]);

    if($masked === true)
    {
        if($dataLength === 126)
        {
            $mask = substr($bytes, 4, 4);
            $coded_data = substr($bytes, 8);
        }
        elseif($dataLength === 127)
        {
            $mask = substr($bytes, 10, 4);
            $coded_data = substr($bytes, 14);
        }
        else
        {
            $mask = substr($bytes, 2, 4);
            $coded_data = substr($bytes, 6);
        }
        for($i = 0; $i < strlen($coded_data); $i++)
        {
            $decodedData .= $coded_data[$i] ^ $mask[$i % 4];
        }
    }
    else
    {
        if($dataLength === 126)
        {
            $decodedData = substr($bytes, 4);
        }
        elseif($dataLength === 127)
        {
            $decodedData = substr($bytes, 10);
        }
        else
        {
            $decodedData = substr($bytes, 2);
        }
    }

    return $decodedData;

[toxa82]

У меня аллергия на неформатированный код. Но этот метод будет работать только если придёт целый пакет, если придет пол пакета или полтора пакета, он уже будет работать не корректно. Не нужно читать сразу $fp2 = fread($fp, 8192); Нужно читать частями нужной длины.

[toxa82]

public function read(): Message
    {
        $msg = new Message();
        do {
            // Read header
            $header = $this->stream->read(2);
            $first = \ord($header[0]);
            $second = \ord($header[1]);
            $msg->type = $first & 0x0F; // 15/1111
            $msg->fin = $first & 0x80; // 128/10000000
            $msg->isMasked = $second & 0x80;
            $msg->length = $second & 0x7F; // 127/1111111
            // Get payload length extensions
            if ($msg->length >= 0x7E) { // 126/1111110
                $lengthExt = $msg->length == 0x7F ? 8 : 2;
                $header = $this->stream->read($lengthExt);
                // Set extented paylod length
                $msg->length = 0;
                for ($i = 0; $i < $lengthExt; $i++) {
                    $msg->length += \ord($header[$i]) << ($lengthExt - $i - 1) * 8;
                }
            }
            // Get Mask key
            if ($msg->isMasked) {
                $mask = $this->stream->read(4);
            }
            // Get payload
            $page = '';
            while ($msg->length > 0) {
                $frame = $this->stream->read($msg->length);
                $msg->length -= \strlen($frame);
                $page .= $frame;
            }

            switch ($msg->type) {
                case Message::TYPE_PING:
                    $this->write(Message::create('', Message::TYPE_PONG, true));
                    break;
                case Message::TYPE_CLOSE:
                    $this->stream->close();
                    break;
                case Message::TYPE_BINARY:
                case Message::TYPE_TEXT:
                case Message::TYPE_CONTINUE:
                    if ($msg->isMasked) {
                        // Unmask data
                        for ($i = 0, $l = \strlen($page); $i < $l; $i++) {
                            $msg->data .= $page[$i] ^ $mask[$i % 4];
                        }
                    } else {
                        $msg->data .= $page;
                    }
                    break;
            }
        } while (!$msg->fin);
        return $msg;
    }

[Gias]

toxa82, Извини при вставке, что-то сломалось.

[Gias]

toxa82, и всё таки здесь снова высчитывается полученный объём. Проблема из-за слипа. После задержки конец файла успевает сдвинуться на несколько строк, в связи с чем он и отсчитывает их совместно, но не разделяет. wss пакеты Надо поискать как разделить эти сообщения.

[toxa82]

Нет, проблема не в слипе. Даже без слипа вам сервер может отправить сразу несколько пакетов подряд и они тоже будут без разделителя. Что вы вообще делаете с вэбсокетами?

[Gias]

toxa82, на данный момент стараюсь просто добиться нормального сообщения со сторонним rest api. Пробовал через браузер, но там проблема с CORS-ом, при get/post запросах к этому api.

[Gias]

toxa82, Не пойму, что здесь происходит

if ($msg->length >= 0x7E) { // 126/1111110
                $lengthExt = $msg->length == 0x7F ? 8 : 2;
                $header = $this->stream->read($lengthExt);
                // Set extented paylod length
                $msg->length = 0;
                for ($i = 0; $i < $lengthExt; $i++) {
                    $msg->length += ord($header[$i]) << ($lengthExt - $i - 1) * 8;
                }
            }

Если длина больше 126, то сравниваем её с0x7F или 8 : 2 и присваиваем к lengthExt, Потом с этой длиной перевыполняем данную функцию? Обнуляем длину и собираем её?

[toxa82]

Не знаю. Видать в больших сообщениях отличается формат. Я этот код брал из какой-то библиотеки и адаптировал для себя, в специикации вэбсокет сообщений не углублялся.

[Gias]

Длина тела всегда 126 выходит.

[toxa82]

Та с чего это вдруг? Оно и меньше может быть. Там длина получается из данных пакета "$msg->length = $second & 0x7F;" и потом уже используется. Или меняется если больше 127, иои читается нужное кол-во байт из сокета "$frame = $this->stream->read($msg->length);".

Слип кстати не корректно использовать в коде чтения вэбсокетов, это будет засыпать ваша обработка сообщений, но сервер при этом посылать их не перестанет. И если он посылает чаще чем вы обрабатываете, то у вас потом появиться отставание в получении данных, потому что когда ваш скрипт проснётся он будет читать их всё равно в порядке получения. Например для обработки данных с бирж это очень печально будет ))))

[Gias]

toxa82, Не, по факту у меня первая длина тела 22, а потом по 126 присылает, а в них уже и двойные проскальзывают.

[Gias]

toxa82, тильда здесь это как раз шифр wss, а 126 длина тела.

126 {"тело"}

126 {"тело"}~{"тело"}

[toxa82]

aspirantes, А дайте урл к которому вы конектитесь, надеюсь он публичный

[toxa82]

aspirantes, Урл должен быть вроде что-то типа

ssl://stream.binance.com:9443/stream?streams=bnbbusd@kline_5m

, если вы на лету там подписки не меняете.

[Gias]

toxa82, Ну да, прикрепил и запрос поэтому.

[toxa82]

Ну когда писал свою обертку я тоже на бинансе тестировал, у меня работает и с kline_* и с aggTrade. Тот код что я вам показал он правильный и должен быть внутри while

while (!$this->stream->eof()) {
            $data = $this->read(); // метод что я публиковал выше.
            \call_user_func($callback, $data);
        }

[Gias]

toxa82, у меня код идентичный, у bnbbusd не такой сильный поток вот и проблем нет. А btcusdt приходится слипом ограничивать, иначе банит по "слишком много запросов". И из-за этого слипа походу и проскальзывает двойное тело.

Проверил по get запросу, и btcusdt тоже не сильный поток, при пост запросе там дикий поток.

А нет, это из-за btcusdt@aggTrade

19 Too many requests

[toxa82]

Он не может вас банить. Вы подключаетесь к сокету один раз, дальше вы ничего не запрашиваете, а только читаете входящий поток. У вас по-идее не должно ничего туда спамить. Я только что запустил у себя в консоли btcusdt@aggTrade, и меня не банит, та поток постоянный, но слип там точно не нужен потому что вы только читаете.

[toxa82]

toxa@acer:mylib.acer$ php bin/cli.php websocket runner client btcusdt aggTrade
[2022-05-22 12:28:59]    0.4Mb | [2022-05-22 12:28:59] Start websocket runner client
[2022-05-22 12:29:00.954361] BTCUSDT | Price: 29588.430000 | Quantity: 0.013
[2022-05-22 12:29:01.577557] BTCUSDT | Price: 29588.420000 | Quantity: 0.001
[2022-05-22 12:29:01.712629] BTCUSDT | Price: 29588.420000 | Quantity: 0.004
[2022-05-22 12:29:01.918114] BTCUSDT | Price: 29588.420000 | Quantity: 0.001
[2022-05-22 12:29:02.803572] BTCUSDT | Price: 29588.430000 | Quantity: 0.001
[2022-05-22 12:29:03.644207] BTCUSDT | Price: 29588.430000 | Quantity: 0.035
[2022-05-22 12:29:03.837587] BTCUSDT | Price: 29588.420000 | Quantity: 0.001
[2022-05-22 12:29:04.235999] BTCUSDT | Price: 29588.430000 | Quantity: 0.004
[2022-05-22 12:29:04.569596] BTCUSDT | Price: 29588.430000 | Quantity: 0.002
[2022-05-22 12:29:05.357045] BTCUSDT | Price: 29588.430000 | Quantity: 0.004
[2022-05-22 12:29:05.369365] BTCUSDT | Price: 29588.420000 | Quantity: 0.004
[2022-05-22 12:29:05.725119] BTCUSDT | Price: 29588.430000 | Quantity: 0.004
[2022-05-22 12:29:06.057697] BTCUSDT | Price: 29588.420000 | Quantity: 0.012
[2022-05-22 12:29:06.242477] BTCUSDT | Price: 29588.430000 | Quantity: 0.040
[2022-05-22 12:29:06.422140] BTCUSDT | Price: 29588.420000 | Quantity: 0.009
[2022-05-22 12:29:06.591164] BTCUSDT | Price: 29588.430000 | Quantity: 0.000
[2022-05-22 12:29:06.819583] BTCUSDT | Price: 29588.430000 | Quantity: 0.000
[2022-05-22 12:29:07.135043] BTCUSDT | Price: 29588.430000 | Quantity: 0.002
[2022-05-22 12:29:07.208470] BTCUSDT | Price: 29588.430000 | Quantity: 0.000
[2022-05-22 12:29:07.304731] BTCUSDT | Price: 29588.430000 | Quantity: 0.034
[2022-05-22 12:29:07.424269] BTCUSDT | Price: 29588.430000 | Quantity: 0.017
[2022-05-22 12:29:07.424867] BTCUSDT | Price: 29588.430000 | Quantity: 0.017
[2022-05-22 12:29:07.640549] BTCUSDT | Price: 29588.420000 | Quantity: 0.023
[2022-05-22 12:29:07.725336] BTCUSDT | Price: 29588.430000 | Quantity: 0.001
[2022-05-22 12:29:07.774267] BTCUSDT | Price: 29588.430000 | Quantity: 0.001
[2022-05-22 12:29:08.360303] BTCUSDT | Price: 29588.420000 | Quantity: 0.003
[2022-05-22 12:29:09.115353] BTCUSDT | Price: 29588.420000 | Quantity: 0.000
^C

[Gias]

toxa82, Точно, условие для pong не работает, математика подвела, стыдно. Но запросы всё таки из-за слипа походу проскальзывают, сейчас исключим и всё прекрасно заработает.

Не помогло.

[toxa82]

И не должно было. Пинг сервак присылает попозже, если не отвечаете - сервер рвёт соединение.

[Gias]

toxa82, В итоге так и не нашёл проблему в коде. Ваш код тоже не смог применить, $this не читает. В общем нашёл где более подробно разбирается сообщение по битно, допилил и вроде всё ок.

Но в целом вы правы, длину тела не правильно считаело.