Symfony serializer как десериализовать массив с объектами?

Question

[dinya17]

Есть похожий вопрос, но ясности он пока не внес Как реализовать десериализацию иерархии вложенных объектов с помощью Symfony Serializer?

Мой вопрос.
Есть вот такая крутая штука
https://symfony.com/doc/current/components/seriali...
Я использую ее для превращения JSON в валидный экземпляр класса.
Все бы хорошо, но я уткнулся в проблему, когда мне надо присвоить в свойство класса массив с объектами.
Пример

class ContragentDto
{
    /**
     * @var Phone[]
     */
    private $phones = [];

 /**
     * @return Phone[]
     */
    public function getPhones(): array
    {
        return $this->phones;
    }

    /**
     * @param Phone[] $phones
     */
    public function setPhones(array $phones): void
    {
        $this->phones = $phones;
    }


}

$normalizer = new ObjectNormalizer(null, null, null, new ReflectionExtractor());
$serializer = new Serializer([$normalizer]);
return $serializer->denormalize($array, ContragentDto::class);

Пример JSON

{
	"uuid": "00004539-73d6-4211-8a32-913bd34f3c8b",
	"phones": [
				{
					"id": 6082892,
					"type": "mob",
					"number": "+79818"
				},
							 {
					"id": 60828927,
					"type": "mob",
					"number": "+7988"
				}
			],
}';

Все хорошо, за исключением того, что в phones прилетает не массив с экземплярами класса, а массив с json объектами.

Как сделать чтобы массив тоже валидно десериализовался?

Answer 1

[BoShurik]

$reflectionExtractor = new ReflectionExtractor();
$phpDocExtractor = new PhpDocExtractor();
$propertyTypeExtractor = new PropertyInfoExtractor([$reflectionExtractor], [$phpDocExtractor, $reflectionExtractor], [$phpDocExtractor], [$reflectionExtractor], [$reflectionExtractor]);

$normalizer = new ObjectNormalizer(null, null, null, $propertyTypeExtractor);
$arrayNormalizer = new ArrayDenormalizer();
$serializer = new Serializer([$arrayNormalizer, $normalizer]);
return $serializer->denormalize($array, ContragentDto::class);

Comments

[dinya17]

Не помогает, появилась ошибка.

The type of the "phones" attribute for class "dto\ContragentDto" must be one of "entities\Phone[]" ("array" given).

Может я что - то не так указал в аннотациях?

[BoShurik]

dinya17, попробуйте

/**
 * @var Phone[]|array
 */

хотя странно

[BoShurik]

dinya17, Какая версия php?

[dinya17]

PHP 7.2.17

[dinya17]

проставил массивы и ошибки ушли, но все равно сеттером пишется массив

[
        [
          "id" => 6082892,
          "type" => "mob",
          "number" => "+79818"
        ],
        [
          "id" => 60828927,
          "type" => "mob",
          "number" => "+7988"
         ]
      ],

[BoShurik]

dinya17, Поправил ответ. Забыл про ArrayDenormalizer. Он отвечает за обработку []. @var array не нужен

[dinya17]

Отлично, получилось, спасибо.
Тогда еще вопрос - а что лучше использовать пакет симфони или
https://packagist.org/packages/jms/serializer ?
В jsm используется доктрина и в ней , вероятно, есть свои плюсы?
Я с ней еще не работал и не могу как - то однозначно решить для себя, что лучше.
Есть ли разница в производительности?

[BoShurik]

dinya17, я им давно уже не пользуюсь. Мне больше symfony/serializer понравился, там кастомизация проще. Не знаю как сейчас в jms/serializer 2.0 дела обстоят.
По производительности вот бенчмарк: https://travis-ci.org/egeloen/ivory-serializer-ben...
symfony проигрывает, но если критично, очень легко создавать свои нормалайзеры:

class PhoneNormalizer implements NormalizerInterface, DenormalizerInterface
{
    /**
     * @inheritDoc
     */
    public function denormalize($data, $type, $format = null, array $context = [])
    {
        $phone = new Phone();
        $phone->id = $data['id'];
        $phone->type = $data['type'];
        $phone->number = $data['number'];

        return $phone;

    }

    /**
     * @inheritDoc
     */
    public function supportsDenormalization($data, $type, $format = null)
    {
        return $type === Phone::class;
    }

    /**
     * @inheritDoc
     */
    public function normalize($object, $format = null, array $context = [])
    {
        return [
            'id' => $object->id,
            'type' => $object->type,
            'number' => $object->number,
        ];
    }

    /**
     * @inheritDoc
     */
    public function supportsNormalization($data, $format = null)
    {
        return $data instanceof Phone;
    }
}

[BoShurik]

https://travis-ci.org/php-serializers/ivory-serial... - вот более актуальные, судя по всему

[dinya17]

Про производительность, похоже, очень актуально.
Запустил у себя все на реальных примерах и обрабатывает по 8 секунд.
В реальной жизни вложенность классов на много больше + данных тоже очень много.
Получается что пока компонент пробежит все вложенности, проходит очень много времени.
Нашел вот такое в мануале

Ссылка на мануал

Performance¶
To figure which normalizer (or denormalizer) must be used to handle an object, the Serializer class will call the supportsNormalization() (or supportsDenormalization()) of all registered normalizers (or denormalizers) in a loop.

The result of these methods can vary depending on the object to serialize, the format and the context. That's why the result is not cached by default and can result in a significant performance bottleneck.

However, most normalizers (and denormalizers) always return the same result when the object's type and the format are the same, so the result can be cached. To do so, make those normalizers (and denormalizers) implement the CacheableSupportsMethodInterface and return true when hasCacheableSupportsMethod() is called.

Типа все может кешироваться и из коробки оно уже есть. Но как оно будет кешить, если нигде и ничего не указано о том куда кешировать?

Так вот вопрос - Как заставить это все кешировать? 8 секунд - это катастрофически много.

[BoShurik]

Запустил у себя все на реальных примерах и обрабатывает по 8 секунд.

Вы уверены, что тут только сериалайзер виноват? К примеру какие-нибудь LazyCollection из доктрины могли в базу залезть.

В реальной жизни вложенность классов на много больше + данных тоже очень много.

От задачи, конечно, зависит. Но я стараюсь какие-то вещи отдать идентификатором, по которому через другой метод можно уже конкретные данные получить.

Вчера стало интересно замерить производительность кастомных нормалайзеров (Результат)

В бенчмарке как раз используется кеширование. Но оно не применимо к ObjectNormalizer

[dinya17]

Как у меня все устроено.

Есть огромный JSON, который не из бд идет.
Сейчас я просто уже готовый json подсовываю в десериалайзер
Ниже вчерашний код.

$array = уже готовый массив с данными.
className = название класса

     $reflectionExtractor = new ReflectionExtractor();
        $phpDocExtractor = new PhpDocExtractor();
        $propertyTypeExtractor = new PropertyInfoExtractor(
            [$reflectionExtractor],
            [$phpDocExtractor, $reflectionExtractor],
            [$phpDocExtractor],
            [$reflectionExtractor],
            [$reflectionExtractor]
        );

        $normalizer = new ObjectNormalizer(
            null,
            null,
            null,
            $propertyTypeExtractor
        );
        $arrayNormalizer = new ArrayDenormalizer();
        $serializer = new Serializer([$arrayNormalizer, $normalizer]);

        return $serializer->denormalize($array, $className);

я вот этот вот кусок кода просто замерил через microtime(true) и получил на выходе 8 секунд.

Если вернуть вот так

$normalizer = new ObjectNormalizer(
            null,
            null,
            null,
            new ReflectionExtractor()
        );
        $arrayNormalizer = new ArrayDenormalizer();
        $serializer = new Serializer([$arrayNormalizer, $normalizer]);

        return $serializer->denormalize($array, $className);

то выполнение меньше секунды, но тогда не работает то, с чего началась эта ветка.

Т.е. тормоза происходят вот тут

$reflectionExtractor = new ReflectionExtractor();
        $phpDocExtractor = new PhpDocExtractor();
        $propertyTypeExtractor = new PropertyInfoExtractor(
            [$reflectionExtractor],
            [$phpDocExtractor, $reflectionExtractor],
            [$phpDocExtractor],
            [$reflectionExtractor],
            [$reflectionExtractor]
        );

Глубже я еще не уходил в проблему. Пишу сразу то, до чего дошел.

[dinya17]

Тормоза дает $phpDocExtractor
Ниже выделю его жирным

$propertyTypeExtractor = new PropertyInfoExtractor(
[$reflectionExtractor],
[$phpDocExtractor, $reflectionExtractor],
[$phpDocExtractor],
[$reflectionExtractor],
[$reflectionExtractor]
);

Если его убрать, то конечно все перестает работать, но и тормоза исчезают.

[BoShurik]

dinya17, Посмотрите бенчмарк

Попробуйте добавить

$classMetadataFactory = new CacheClassMetadataFactory(
    new ClassMetadataFactory(new AnnotationLoader(new AnnotationReader())),
    new ApcuAdapter('SymfonyMetadata')
);
$propertyAccessor = PropertyAccess::createPropertyAccessorBuilder()
    ->setCacheItemPool(new ApcuAdapter('SymfonyPropertyAccessor'))
    ->getPropertyAccessor();

[BoShurik]

dinya17, плюс PropertyInfoExtractor можно задекорировать. В пакете уже есть декоратор (\Symfony\Component\PropertyInfo\PropertyInfoCacheExtractor), надо только подключить

$propertyTypeExtractor = new PropertyInfoCacheExtractor($propertyTypeExtractor, $cacheItemPool);

[dinya17]

Ну в итоге получился вот такой кусок кода

$classMetadataFactory = new CacheClassMetadataFactory(
            new ClassMetadataFactory(new AnnotationLoader(new AnnotationReader())),
            new ApcuAdapter('SymfonyMetadata')
        );
        $propertyAccessor = PropertyAccess::createPropertyAccessorBuilder()
            ->setCacheItemPool(new ApcuAdapter('SymfonyPropertyAccessor'))
            ->getPropertyAccessor();


        $reflectionExtractor = new ReflectionExtractor();
        $phpDocExtractor = new PhpDocExtractor();
        $propertyTypeExtractor = new PropertyInfoExtractor(
            [$reflectionExtractor],
            [$phpDocExtractor, $reflectionExtractor],
            [$phpDocExtractor],
            [$reflectionExtractor],
            [$reflectionExtractor]
        );
        
        $propertyTypeExtractor = new PropertyInfoCacheExtractor($propertyTypeExtractor, new ApcuAdapter('SymfonyPropertyAccessor'));
        
        $normalizer = new ObjectNormalizer(
            $classMetadataFactory,
            null,
            $propertyAccessor,
            $propertyTypeExtractor
        );
        $arrayNormalizer = new ArrayDenormalizer();
        $serializer = new Serializer([$arrayNormalizer, $normalizer]);

        return $serializer->denormalize($array, $className);

Предполагаю, что я что - то не так сделал, но стало еще медленнее работать 12 секунд.
Ради эксперимента я сократил JSON до 1 значения скрипт отработал за 2 секунды вместо 12.
Значит вложенность очень сильно влияет.
Дальше попробую свой Нормалайзер запилить, может это как - то сократит расходы, т.к. не будет итераций по большой вложенности и попробую в итоге jms/serializer может аннотации доктрины будут как - то быстрее.

Надеюсь, что кому - то эта ветка будет полезна.

[BoShurik]

dinya17, а можете выложить пример данных? Тоже попробую покопаться, а то че-т реально долго...

[dinya17]

В открытом доступе нет кода, самое быстрое - это дам ссылку на архив.
Если запустить composer test, то будет видно как оно медленно работает.
Файл

В коде можно поискать вот так SerializeHelper::generateModelFromData, попадете в тесты и там есть пример настоящих данных, на которых я все проверяю.

[BoShurik]

dinya17, попробуйте заменить ApcuAdapter на FilesystemAdapter

[dinya17]

Какая интересная штука...
Time: 6.21 seconds, Memory: 14.00 MB

Все, что занимало больше минуты, вдруг стало вот так...
В чем прикол?
Что не так?

Я работаю под виндой, все поднято в докере.
Это как - то может влиять?

[BoShurik]

dinya17, у меня на Mac OS такая же фигня была. Видимо что-то с apcu, может потому что в консоли запускается

[dinya17]

Выводы какие?
Большие массивы json обрабатывает медленно
С кешированием FilesystemAdapter все ок.
Пока меня это устраивает.
Другой пакет буду рассматривать позже.
Огромное спасибо за помощь, партия Вас не забудет.

[BoShurik]

dinya17, Собственно да, в бенчмарках apc принудительно включена

[dinya17]

По итогам использования. Тормоза на винде. Под линуксом нет проблем.
Все из-за проблем взаимодействия файловых систем докере и в винде.