Реализация алгоритма нормализации XML для СМЭВ 3?

Question

[Danbka]

Согласно методическим рекомендациям по работе со СМЭВ при подписании XML-фрагментов электронной подписью в форме XMLDSig, обязательно использовать нормализацию urn://smev-gov-ru/xmldsig/transform.

В алгоритме нормализации мне абсолютно непонятны пункты, связанные с namespace'ами, а именно:

1. Удалить namespace prefix, которые на текущем уровне объявляются, но не используются.
   
2. Проверить, что namespace текущего элемента объявлен либо выше по дереву, либо в текущем элементе. Если не объявлен, объявить в текущем элементе.
   
3. Namespace prefix элементов и атрибутов должны заменены на автоматически сгенерированные. Сгенерированный префикс состоит из литерала «ns», и порядкового номера сгенерированного префикса в рамках обрабатываемого XML-фрагмента, начиная с единицы. При генерации префиксов должно устраняться их дублирование.
   

При этом есть пример правильной xml, полученной после нормализации.

Исходная XML*:

<ns:SenderProvidedRequestData Id="SIGNED_BY_CONSUMER" xmlns="urn://x-artefacts-smev-gov-ru/services/message-exchange/types/1.1" xmlns:ns="urn://x-artefacts-smev-gov-ru/services/message-exchange/types/1.1" xmlns:ns2="urn://x-artefacts-smev-gov-ru/services/message-exchange/types/basic/1.1">
	<ns:MessageID>db0486d0-3c08-11e5-95e2-d4c9eff07b77</ns:MessageID>
	<ns2:MessagePrimaryContent>
		<ns1:BreachRequest xmlns:ns1="urn://x-artefacts-gibdd-gov-ru/breach/root/1.0"  xmlns:ns2="urn://x-artefacts-gibdd-gov-ru/breach/commons/1.0"  xmlns:ns3="urn://x-artefacts-smev-gov-ru/supplementary/commons/1.0.1" Id="PERSONAL_SIGNATURE">
			<ns1:RequestedInformation>
				<ns2:RegPointNum>Т785ЕС57</ns2:RegPointNum>
			</ns1:RequestedInformation>
			<ns1:Governance>
				<ns2:Name>ГИБДД РФ</ns2:Name>
				<ns2:Code>GIBDD</ns2:Code>
				<ns2:OfficialPerson>
					<ns3:FamilyName>Загурский</ns3:FamilyName>
					<ns3:FirstName>Андрей</ns3:FirstName>
					<ns3:Patronymic>Петрович</ns3:Patronymic>
				</ns2:OfficialPerson>
			</ns1:Governance>
		</ns1:BreachRequest>
	</ns2:MessagePrimaryContent>
	<ns:TestMessage/>
</ns:SenderProvidedRequestData>

После нормализации*:

<ns1:SenderProvidedRequestData xmlns:ns1="urn://x-artefacts-smev-gov-ru/services/message-exchange/types/1.1" Id="SIGNED_BY_CONSUMER">
	<ns1:MessageID>db0486d0-3c08-11e5-95e2-d4c9eff07b77</ns1:MessageID>
	<ns2:MessagePrimaryContent xmlns:ns2="urn://x-artefacts-smev-gov-ru/services/message-exchange/types/basic/1.1">
		<ns3:BreachRequest xmlns:ns3="urn://x-artefacts-gibdd-gov-ru/breach/root/1.0" Id="PERSONAL_SIGNATURE">
			<ns3:RequestedInformation>
				<ns4:RegPointNum xmlns:ns4="urn://x-artefacts-gibdd-gov-ru/breach/commons/1.0">Т785ЕС57</ns4:RegPointNum>
			</ns3:RequestedInformation>
			<ns3:Governance>
				<ns5:Name xmlns:ns5="urn://x-artefacts-gibdd-gov-ru/breach/commons/1.0">ГИБДД РФ</ns5:Name>
				<ns6:Code xmlns:ns6="urn://x-artefacts-gibdd-gov-ru/breach/commons/1.0">GIBDD</ns6:Code>
				<ns7:OfficialPerson xmlns:ns7="urn://x-artefacts-gibdd-gov-ru/breach/commons/1.0">
					<ns8:FamilyName xmlns:ns8="urn://x-artefacts-smev-gov-ru/supplementary/commons/1.0.1">Загурский</ns8:FamilyName>
					<ns9:FirstName xmlns:ns9="urn://x-artefacts-smev-gov-ru/supplementary/commons/1.0.1">Андрей</ns9:FirstName>
					<ns10:Patronymic xmlns:ns10="urn://x-artefacts-smev-gov-ru/supplementary/commons/1.0.1">Петрович</ns10:Patronymic>
				</ns7:OfficialPerson>
			</ns3:Governance>
		</ns3:BreachRequest>
	</ns2:MessagePrimaryContent>
	<ns1:TestMessage/>
</ns1:SenderProvidedRequestData>

* Переводы строк и отступы добавлены для удобного просмотра.

Образцовая реализация (образцовая ли она - неизвестно) алгоритма представлена в методических рекомендациях на Java для Apache Santuario.

Кто-нибудь реализовывал данный алгоритм трансформации на PHP?

Или хотя бы смог вникнуть в те правила, согласно которым должна происходить трансформация? Не на языке ГОСТ-овской документации, а на человеческом?

Comments

[mbazhutin]

Добрый день. Подскажите получилось ли у вас реализовать данные алгоритм для PHP?

[Danbka]

mbazhutin, к сожалению нет.
Задачу решили так: коллеги подняли сервис, который принимает исходную xml и отдает готовую. Трансформация происходит средствами CryptoPro .NET (кажется) - там этот алгоритм реализован из коробки.

[mbazhutin]

Danbka, Жаль. Благодарю за быстрый ответ!

Answer 1

[Ivan Ustûžanin]

Для будущих искателей: вот такой монстрик у меня получился (PHP 7.1). Он проходит все проверки из МР 3.5, но, возможно, некоторых нюансов не учитывает.

<?php
$in = new DOMDocument();
$in->load($argv[1]);

$out = new XMLWriter();
$out->openMemory();

$index = 0;
$stack = [null, [$in->documentElement, []]];
while (count($stack)) {
	$item = array_pop($stack);
	if ($item === null) {
		$out->text('');
		$out->endElement();
		continue;
	}
	[$node, $nsList] = $item;
	if ($node->nodeType == XML_ELEMENT_NODE) {
		// Let the magic begin! ;)
		// The element itself.
		if ($node->namespaceURI !== null) {
			$thisLevel = false;
			if (($nsList[$node->namespaceURI] ?? null) === null) {
				$thisLevel = true;
				$nsList[$node->namespaceURI] = 'ns' . ++$index;
			}
			$out->startElement("{$nsList[$node->namespaceURI]}:{$node->localName}");
			if ($thisLevel) {
				$out->writeAttribute("xmlns:{$nsList[$node->namespaceURI]}", $node->namespaceURI);
			}
		}
		else {
			$out->startElement($node->localName);
		}
		// Attributes.
		$attrs = iterator_to_array($node->attributes);
		usort($attrs, function($a, $b) {
			if ($a->namespaceURI !== null && $b->namespaceURI === null) return -1;
			else if ($a->namespaceURI === null && $b->namespaceURI !== null) return 1;
			else return strcmp($a->namespaceURI, $b->namespaceURI) ?: strcmp($a->localName, $b->localName);
		});
		foreach ($attrs as $attr) {
			if ($attr->namespaceURI !== null && ($nsList[$attr->namespaceURI] ?? null) === null) {
				$nsList[$attr->namespaceURI] = 'ns' . ++$index;
				$out->writeAttribute("xmlns:{$nsList[$attr->namespaceURI]}", $attr->namespaceURI);
			}
		}
		foreach ($attrs as $attr) {
			if ($attr->namespaceURI !== null) {
				$out->writeAttribute("{$nsList[$attr->namespaceURI]}:{$attr->localName}", $attr->nodeValue);
			}
			else {
				$out->writeAttribute($attr->localName, $attr->nodeValue);
			}
		}
	}
	else if ($node->nodeType == XML_TEXT_NODE && strlen(trim($node->nodeValue))) {
		$out->text($node->nodeValue);
	}

	if ($node->lastChild !== null) {
		$stack[] = null;
		for ($node = $node->lastChild; $node !== null; $node = $node->previousSibling) {
			$stack[] = [$node, $nsList];
		}
	}
}

echo $out->outputMemory(), "\n";

?>

Comments

[Danbka]

Отмечу решением ваш труд, хоть и не проверял.

[Ivan Ustûžanin]

Danbka, и вам спасибо. Сам пытаюсь подружить СМЭВ и PHP, затык сейчас как раз-таки с подписью, трансформацию смэвовскую вот сделал, теперь с гостовской криптографией нужно разбираться.

Но, если разрешите, у меня есть встречный вопрос. У меня сложилось впечатление, что после такой трансформации, изначально требуемая канонизация особой роли уже не играет. Не поделись опытом в этом вопросе?

[Danbka]

IvanU7n, Мы к нескольким видам сведений СМЭВ3 успешно подключились, поэтому готов поделиться опытом.

В файле "Перечень типовых ошибок, возвращаемых участнику при работе в СМЭВ 3.0" указан следующий алгоритм получения подписи:

"Проверить алгоритм подписи. Общая последовательность должна быть такой (на примере SendRequest):
1. Каноникализация содержимого узла SenderProvidedRequestData;
2. Нормализация;
3. Расчет хэша;
4. Формирование ЭП-ОВ:
a. запись cодержимого хэша в CallerInformationSystemSignature\Signature\SignedInfo\DigestValue
b. каноникализация, нормализация элемента CallerInformationSystemSignature\Signature\SignedInfo
c. рассчет хэша элемента CallerInformationSystemSignature\Signature\SignedInfo
d. подпись хэша CallerInformationSystemSignature\Signature\SignedInfo
e. запись значения подписи в CallerInformationSystemSignature\Signature\SignatureValue
f. запись данных сертификата в CallerInformationSystemSignature\Signature\KeyInfo\X509Data\X509Certificate"

Однако, я могу сказать, что он не совсем верный. Во всяком случае формируя подпись по данному алгоритму я стабильно получал ошибку SignatureVerificationFaultException.

Путем гугления и экспериментов я получил следующий рабочий алгоритм:

1. Каноникализация узла SenderProvidedRequestData

$item = DOMDocument::getElementsByTagName('SenderProvidedRequestData')->item(0);
$canonData = $item->C14N(true);

2. СМЭВ-транфсормация

$transformed = DOMManager::smevTransform($canonData);

3. Получение хэша

$digestValue = CryptoClient::getHash($transformed);

4. Запись хэша в CallerInformationSystemSignature\Signature\SignedInfo\DigestValue

5. Каноникализация узла SignedInfo (Внимание! Только каноникалицазия, без трансформации)

$item = DOMDocument::getElementsByTagName('SignedInfo')->item(0);
$canonSignedInfo = $item->C14N(true);

6. Получение подписи:
$signatureValue = CryptoClient::getSignature($canonSignedInfo);

7. Запись значения подписи в CallerInformationSystemSignature\Signature\SignatureValue

Данный алгоритм был расписан каким-то добрым человеком на сайте blog.gin.su. Однако сейчас он недоступен.

[PainSector]

Danbka, привет, у меня возникла такая же проблема - следую инструкции по подписыванию и получаю SignatureVerificationFaultException. Однако, и ваш механизм мне не помог.

Хотелось бы с вами связаться и узнать некоторые подробности, особенно меня интересует значения подписи, я взял для примера файл SendRequestRequestNoAttach.xml (с портала СМЭВ) и не могу никак проверить подпись - можете скинуть значения переменных на всех этапах? Именно процедуры с SignedInfo меня интересуют - как строка выглядит после нормализации, после получения хеша и так далее...

Спасибо!

[Danbka]

PainSector, я написал вам в личку.

[asmm]

Исправления для корректной работы с пустыми тегами:

<?php
$in = new DOMDocument();
$in->load($argv[1]);

$out = new XMLWriter();
$out->openMemory();

$index = 0;
$stack = [[$in->documentElement, []]];
while (count($stack)) {
  $item = array_pop($stack);
  if ($item === null) {
    $out->text('');
    $out->endElement();
    continue;
  }
  [$node, $nsList] = $item;
  if ($node->nodeType == XML_ELEMENT_NODE) {
    // Let the magic begin! ;)
    // The element itself.
    if ($node->nodeValue === '' && $node->lastChild === null) {
      $stack[] = null;
    }
    if ($node->namespaceURI !== null) {
      $thisLevel = false;
      if (($nsList[$node->namespaceURI] ?? null) === null) {
        $thisLevel = true;
        $nsList[$node->namespaceURI] = 'ns' . ++$index;
      }
      $out->startElement("{$nsList[$node->namespaceURI]}:{$node->localName}");
      if ($thisLevel) {
        $out->writeAttribute("xmlns:{$nsList[$node->namespaceURI]}", $node->namespaceURI);
      }
    }
    else {
      $out->startElement($node->localName);
    }
    // Attributes.
    $attrs = iterator_to_array($node->attributes);
    usort($attrs, function($a, $b) {
      if ($a->namespaceURI !== null && $b->namespaceURI === null) return -1;
      else if ($a->namespaceURI === null && $b->namespaceURI !== null) return 1;
      else return strcmp($a->namespaceURI, $b->namespaceURI) ?: strcmp($a->localName, $b->localName);
    });
    foreach ($attrs as $attr) {
      if ($attr->namespaceURI !== null && ($nsList[$attr->namespaceURI] ?? null) === null) {
        $nsList[$attr->namespaceURI] = 'ns' . ++$index;
        $out->writeAttribute("xmlns:{$nsList[$attr->namespaceURI]}", $attr->namespaceURI);
      }
    }
    foreach ($attrs as $attr) {
      if ($attr->namespaceURI !== null) {
        $out->writeAttribute("{$nsList[$attr->namespaceURI]}:{$attr->localName}", $attr->nodeValue);
      }
      else {
        $out->writeAttribute($attr->localName, $attr->nodeValue);
      }
    }
  }
  else if ($node->nodeType == XML_TEXT_NODE && strlen(trim($node->nodeValue))) {
    $out->text($node->nodeValue);
  }

  if ($node->lastChild !== null) {
    $stack[] = null;
    for ($node = $node->lastChild; $node !== null; $node = $node->previousSibling) {
      $stack[] = [$node, $nsList];
    }
  }
}

echo $out->outputMemory(), "\n";

?>

[DukeNod]

Danbka, Точно так же мучаюсь с примером SendRequestRequestNoAttach.xml
Пытаюсь сам подписать утилитами cryptcp и csptest из пакета cprocsp.
Хэш от SenderProvidedRequestData сходится с примером. Но подпись всё равно не валидна.
(Проверяю на https://smev3.gosuslugi.ru/portal/checkxmlform.jsp)
Как же всё таки должен выгладить узел SignedInfo после каноникализации? И какой от него получается хэш?
Выложите рабочий вариант, пожалуйста. Или скинте в личку.

Про DOMManager::smevTransform и CryptoClient тоже интересно. Расширение CryptoPro phpcades таких классов не предоставляет. Откуда они?

[Danbka]

DukeNod, отправил сообщение в личку, т.к. тут ограничение на длину сообщения.

[DukeNod]

Danbka, Вам нужно воздвигнуть памятник при жизни, и слагать баллады.
Всё сработало. Оказываеься я попал в ловушку "Посчитать хэш от SignedInfo и его подписать".
Подписывать надо было просто кусок xml-ки с SignedInfo. А я у Вас в комменте это упустил.
Я эту дезу не только в "Перечне типовых ошибок" встречал. Видимо её враги распространяют.

Answer 2

[Danbka]

Моя реализация алгоритма на PHP:

https://github.com/Danbka/smev-transform