Как декодировать объект из полученного через websocket бинарного пакета?

Question

[GreenX5]

Python пакует объект (словарь по питонячьи) типа

{'Apple' : {'Mango': 1, 'Orange': 3}}

методом pickle.dumps в двоичный пакет и рассылает сервером cherrypy + ws4py через вебсокет

cherrypy.engine.publish('websocket-broadcast', BinaryMessage(obj))

на страницу посетителям сайта, там нужно принять пакет и декодировать в JS объект того же содержания.
Вот что пока только нашел,
приходящий фрейм видит, но как декодировать не знаю. Гуглил, но плохо наверное. Прошу дать готовый код, там пара-тройка строк вероятно.

ws = new WebSocket(url_ws) 
ws.binaryType = 'blob';             //arraybuffer or blob

ws.onmessage = function (event) {
// ???
);

С текстового json.dumps() ушел на pickle.dumps() потому что первый по непонятным причинам нарастающим комом грузит процесс сервера до 100%, а с упаковкой pickle.dumps() и отправкой бинарников всё прекрасно летает на минимальных ресурсах.

Comments

[zkrvndm]

Сразу говорю, я с вебсокетами не работал ни разу в жизни, но если внутри event есть Blob, то по идее его можно легко прочитать через FileReader.

https://learn.javascript.ru/file

Даже больше скажу, если в Blob лежит JSON, то его можно синхронно распарсить через XMLHttpRequest, указав responseType.

https://qna.habr.com/q/1223306

[GreenX5]

Да, если упаковать
json.dumps({'Apple': 123}).encode()
пакет в консоли перед отправкой выглядит так
<class 'bytes'> b'{"Apple" :123}'
и JS его читает отлично этим методом

let reader = new FileReader()
            reader.readAsText(event.data)

            reader.onload = function() {
                console.log(reader.result);
              };

Но такая упаковка ресурсоемкая. Пакуем
pickle.dumps({'Apple': 123})
В консоли пакет перед отправкой уже в другой кодировке
<class 'bytes'> b"\x80\x04\x95+\x...
Соотв JS FileReader() распаковывает кракозябры
�(�sn��XA
Похоже я плаваю с кодировками, можете подсказать как настроить кодировку упаковщику pickle или чтецу JS FileReader(), нифига не могу нарыть в документации по опциям ....

[Герман Бежев]

GreenX5, попробуй вот тут покапать
https://developer.mozilla.org/en-US/docs/Web/API/Blob

когда то читал эксельки на js через readAsArrayBuffer

Answer 1

[Антон Горецкий]

Попробуйте использовать эту библиотеку https://www.npmjs.com/package/node-pickle

Comments

[GreenX5]

Это очень похоже на то, что может помочь. Но я к сожалению пока не вникал в компиляции, зависимости и т.д.
Не могли бы вы дать код этой либы в виде содержимого файла JS чтобы я кинул в папку сайта и подтянул её

<script src="stat/node-pickle.js"></script>

и метод обращения к функции в JS блоке как

obj = node_pickle(byte_message)

И я сразу её опробую.
Спасибо заранее.

[Антон Горецкий]

GreenX5, к сожалению, в браузере не будет работать... Только в среде Node.js - под капотом она вызывает скрипт на питоне, в котором и проводит декодирование.

[GreenX5]

Понял, спасибо. Еще посмотрев на результат pickle.dumps понял что там не только байты сжатого исходного объекта но и служебные байты либы, просто так без родной pickle.loads не раскодировать. Зря наверное задал вопрос, сразу этого не увидел.
В любом случае спасибо!