Как кодировать целые числа?

Question

[MUTOgen4eg]

Можно ли как-то "из коробки" или с помощью готовых решений в PHP реализовать такого рода кодирование https://en.wikipedia.org/wiki/Variable-length_quantity ?
В C# такое есть в BinaryWriter, хотелось бы нечто подобного и для PHP

Answer 1

[Сергей Соколов]

Смотрите функции pack() / unpack() или библиотеку GMP для работы с целыми произвольной длины.

Comments

[MUTOgen4eg]

Пробовал pack, но при его использовании и при сравнении с результатом на C# результирующая строка отличается.
Опишу чуть подробнее. На C# в BinaryWriter пишется последовательность значений типа integer. Итоговый результат кодируется в base64.
На выходе получается что-то вроде AAEBAQcAAAQBAwIDAwMEAw==
На PHP результат совсем другой.

[Сергей Соколов]

MUTOgen4eg: так вам base64 кодирование нужно? base64_encode(): сначала pack'ом перевести ваше сверхдлинное число в бинарную строку, а её закодировать base64_encode().

[MUTOgen4eg]

Сергей Соколов: примерно так и делал, т.е.

$code = '';
$code .= pack('i', 0);
$code .= pack('i', 1);
$code .= pack('i', $somevar);
echo base64_encode($code);

но результат такого кодирования отличается от аналогичного BinaryWriter в C#

[Сергей Соколов]

MUTOgen4eg: формат i зависит от машины. Приведите конкретные значения и результаты C# vs PHP.

[MUTOgen4eg]

Сергей Соколов: чтобы совсем все было конкретно, приведу кусок кода

$deck = [
	'cards' => [[1, 3], [2, 3], [3, 3], [4, 3]],
	'heroes' => 7, 
	'format' => 1,
];

$code = '';

$code .= pack('i', 0);
$code .= pack('i', 1);
$code .= pack('i', $deck['format']);
$code .= pack('i', 1);
$code .= pack('i', $deck['heroes']);

$all = countAllCards($deck['cards']);

$one = countCards(1,$deck['cards']);
$code .= pack('i', $one);
foreach($deck['cards'] as $cards){
	if($cards[1]==1){
		$code .= pack('i', $cards[0]);
	}
}

$double = countCards(2,$deck['cards']);
$code .= pack('i', $double);
foreach($deck['cards'] as $cards){
	if($cards[1]==2){
		$code .= pack('i', $cards[0]);
	}
}

$code .= pack('i', ($all-$one-$double));
foreach($deck['cards'] as $cards){
	if($cards[1]>2){
		$code .= pack('i', $cards[0]);
	}
}

echo base64_encode($code);

Скрипт должен обрабатывать массив данных по определенному алгоритму и писать значения в бинарную строку, а затем кодироваться в base64.
По идее скрипт это и должен делать, но он выдает такой результат:
AAAAAAEAAAABAAAAAQAAAAcAAAAAAAAAAAAAAAQAAAABAAAAAgAAAAMAAAAEAAAA

Должно же выдавать такое:
AAEBAQcAAAQBAwIDAwMEAw==

[Сергей Соколов]

MUTOgen4eg: во втором, «правильном» варианте у вас записано всего 16 байт. В коде вы не привели функцию countCards(). поэтому сложно судить о том, что там подаётся на вход.

[MUTOgen4eg]

Сергей Соколов: доп.функции такие:

function countCards($num,$cards){
	$count = 0;
	foreach($cards as $card){
		if($card[1]==$num){
			$count++;
		}
	}
	return $count;
}

function countAllCards($cards){
	return count($cards);
}

[Сергей Соколов]

MUTOgen4eg: вот тут вы выделяете по сколько бит на значение? По 32-битном целому или по 1 биту?

$code .= pack('i', 0);
$code .= pack('i', 1);

Тот же вопрос дальше – на heroes вы жертвуете 32 бита или там небольше 7, поэтому трёх бит достаточно?

[MUTOgen4eg]

Сергей Соколов: Вообще последний вариант, что я пробовал был с pack('L',...)
То есть согласно документации это "беззнаковый long (всегда 32 бит, машинный порядок)"
Кстати на C# запись значения выглядит так:

var ms = new MemoryStream();
var bytes = VarInt.GetBytes((ulong)value);
ms.Write(bytes, 0, bytes.Length);

[Сергей Соколов]

MUTOgen4eg: ну вот C#-вариант выдаёт всего 16 байт. На PHP если вы жмёте "1" как 32 бита, "0" как 32, и т.д. – длина получается намного больше. Есть подозрение, что всё же выделяется 1 бит на "1", 1 бит на "0", 3 бита на heroes и т.п. Может такое быть?

[MUTOgen4eg]

Сергей Соколов: Возможно это так. Можно ли как-то проверить это? Pack я так понимаю для этих целей не подходит.
К слову, описание алгоритма такое: https://hearthsim.info/docs/deckstrings/ начиная с раздела Format. Возможно что-то я неверно трактовал.

[Сергей Соколов]

MUTOgen4eg: аа, теперь понятно! Извините, невнимательно прочитал исходную ссылку в вопросе. В самом PHP такой функции нет, но алгоритм легко реализуется, можно взять готовое решение, например, axypro/codecs-base64vlq.

[MUTOgen4eg]

Сергей Соколов: спасибо за ссылку, такого решения не нагуглил почему-то. Нашел еще ошибку в алгоритме скрипта, в последнем цикле надо добавлять оба значения элемента массива.
Трансформировал скрипт в следующее:

$deck = [
        'cards' => [[1, 3], [2, 3], [3, 3], [4, 3]],
        'heroes' => 7,
        'format' => 1,
    ];

    $code = [];
    $encoder = new \axy\codecs\base64vlq\Encoder();

    $code[]= 0;
    $code[]= 1;
    $code[]= $deck['format'];
    $code[]= 1;
    $code[]= $deck['heroes'];

    $all = countAllCards($deck['cards']);

    $one = countCards(1,$deck['cards']);
    $code[]= $one;
    foreach($deck['cards'] as $cards){
        if($cards[1]==1){
            $code[]= $cards[0];
        }
    }

    $double = countCards(2,$deck['cards']);
    $code[]= $double;
    foreach($deck['cards'] as $cards){
        if($cards[1]==2){
            $code[]= $cards[0];
        }
    }

    $code[]= ($all-$one-$double);
    foreach($deck['cards'] as $cards){
        if($cards[1]>2){
            $code[]= $cards[0];
            $code[]= $cards[1];
        }
    }

    echo $encoder->encode($code);

В результате выдается ACCCOAAICGEGGGIG