Это скорее ответ на ответ.
Парсинг JSON хорошей либой не затратнее чем чтение обычного текста.
Просто не все JSON библиотеки хорошо оптимизированы.
Проблемой может оказаться лишь то, что "пакет" в json больше чем "сырые" байты.
То есть, это скажется на требование к скорости интернет соединения.
Однако обычно проблема не в скорости, а в пинге. Но можно приблизительно оценить требуемый bandwidth.
Кроме того можно использовать JSON на этапе прототипирования.
Но тут может закрасться "ничто так не вечно как временное решение".
Ещё один минус JSON - нужно хорошо написать обработку ошибок, и попыток взлома вашего протокола обмена пакетами.
Могут например на ваш сервер прислать JSON размером в гигабайт, и ваша JSON библиотека упадёт.
Либо пришлют что-то другое.
Проблема с сырыми байтами в том, что надо поддерживать их формат с обеих сторон.
Разные версии клиентов придётся либо блокировать пока они не обновятся до новой версии, либо писать жуткие портянки для обработки сырых байтов. Хотя JSON тут мало чем поможет.
И ещё, я не уверен, что ваш код парсящий сырые байты с учётом порядка байт, будет быстрее чем JSON.parse из под капота V8 (Node.js)