Как обработать большое количества данных в Symfony без утечки памяти?

Question

[Игорь]

Коллеги, приветствую!

У меня така трабла.
Мне нужно обработать большой объём данных
Порядка 5 000 000 строк в базе
Выполняю привязку к категориям
Задача одноразовая.

Утечка памяти!!

На серваке порядка 48 GB памяти, боюсь и этого не хватит.

Помогите улучшить, сделать течь меньше

class OrganizationToCategory extends Command
{

    /** @var EntityManager */
    private $entityManager;

    /**
     * OrganizationToCategory constructor.
     * @param ObjectManager $manager
     */
    public function __construct(ObjectManager $manager)
    {
        $this->entityManager = $manager;
        $manager->getConnection()->getConfiguration()->setSQLLogger(null);
        parent::__construct();
    }

    /**
     *
     */
    protected function configure()
    {
        $this->setName('app:organization-to-category');
    }

    /**
     * @param InputInterface $input
     * @param OutputInterface $output
     * @return int|void|null
     * @throws ORMException
     * @throws \Doctrine\Common\Persistence\Mapping\MappingException
     */
    protected function execute(InputInterface $input, OutputInterface $output)
    {


        $offset = 0;
        while (true) {

            if (!$this->entityManager->isOpen()) {
                $this->entityManager = $this->entityManager->create(
                    $this->entityManager->getConnection(),
                    $this->entityManager->getConfiguration()
                );
            }

            /** @var Organization $organization */
            $organization = $this->getOrganizationOne($offset);

            if (!is_object($organization)) {
                break;
            }

            $category_names = explode("|", $organization->getServicesStr());

            foreach ($category_names as $category_name) {


                $category_repository = $this->entityManager->getRepository("App:Category");

                /** @var ArrayCollection $categories */
                $categories = $category_repository->findBy([
                    "name" => $category_name
                ]);

                if (!is_array($categories)) {
                   continue;
                }

                /** @var Category $category */
                foreach ($categories as $category) {
                    if ($category_name === $category->getName()) {
                        $name = $organization->getName();

                        try {
                            $this->insert($organization->getId(), $category->getId());
                            $output->writeln(sprintf("<info>$name to $category_name memory_get_usage: %d</>", memory_get_usage(true)));
                        }catch (Exception $e) {
                            $output->writeln(sprintf("<error>Привязка уже состоялась!  memory_get_usage: %d</>", memory_get_usage(true)));

                            if (!$this->entityManager->isOpen()) {
                                $this->entityManager = $this->entityManager->create(
                                    $this->entityManager->getConnection(),
                                    $this->entityManager->getConfiguration()
                                );
                            }
                        }
                    }
                }
            }

            foreach ($categories as $category) {
                $this->entityManager->detach($category);
                unset($category);
            }

            $this->entityManager->detach($organization);
            $this->entityManager->clear();
            $this->entityManager->close();

            unset($categories);
            unset($category_names);
            unset($organization);
            unset($category_repository);

            $offset++;
        }


    }


    /**
     * @param int $offset
     * @return mixed
     */
    private function getOrganizationOne($offset = 0)
    {
        /** @var OrganizationRepository $organization_repository */
        $organization_repository = $this->entityManager->getRepository("App:Organization");
        return $organization_repository->get(0,0,0, $offset, 1)[0];
    }


    /**
     * @param int $organization_id
     * @param int $category_id
     * @throws DBALException
     */
    private function insert(int $organization_id, int $category_id)
    {
        $conn = $this->entityManager->getConnection();
        $sql = "
            INSERT INTO `organizations_categories` (`organization_id`, `category_id`) 
            VALUES (:organization_id, :category_id);
        ";

        $stmt = $conn->prepare($sql);
        $stmt->execute([
            "organization_id" => $organization_id,
            "category_id" => $category_id,
        ]);
    }
}

Динамика прироста

ЖЭК № 1 to Коммунальная служба memory_get_usage: 1940389888
Уктс to Коммунальная служба memory_get_usage: 1940389888
ЖЭУ № 7 to Коммунальная служба memory_get_usage: 1940389888
ЖКУ to Коммунальная служба memory_get_usage: 1940389888
Универсал to Коммунальная служба memory_get_usage: 1940389888
КПД to Коммунальная служба memory_get_usage: 1940389888
Пункт Приема Жилищно-Коммунальных Платежей МУП to Коммунальная служба memory_get_usage: 1940389888
Коммунальные платежи to Коммунальная служба memory_get_usage: 1942487040
Группа компаний ЖКХ Сервис to Коммунальная служба memory_get_usage: 1942487040
Группа компаний ЖКХ Сервис to Водосчетчики, газосчетчики, теплосчетчики memory_get_usage: 1942487040
СТ Теплотехник to Коммунальная служба memory_get_usage: 1942487040
Ужэк Домоуправ-НТ to Коммунальная служба memory_get_usage: 1942487040
ЖЭУ № 6 to Коммунальная служба memory_get_usage: 1942487040
Печатный Дом Крым to Широкоформатная печать memory_get_usage: 1942487040
Печатный Дом Крым to Рекламная продукция memory_get_usage: 1942487040
Печатный Дом Крым to Типография memory_get_usage: 1942487040
Типография Консул to Полиграфические услуги memory_get_usage: 1942487040
Типография Консул to Типография memory_get_usage: 1942487040
Константа to Издательские услуги memory_get_usage: 1942487040
Константа to Полиграфические услуги memory_get_usage: 1942487040
Константа to Типография memory_get_usage: 1942487040

Comments

[Игорь]

Ошибся, по поводу памяти, не 48G а 62.9G
Может и хватит.

Тут как бы нет времени на поиск решения без утечки.
Можно раз в пол суток перезапускать.

Но всё же, может найдётся решения более красивое, с использованием ORM

[Максим Федоров]

По умолчанию команда запускается в дев окружении, потому может течь из-за дебага: https://symfony.com/doc/3.3/console/usage.html

--no-debug

По коду — репозитории в цикле, EntityManager в цикле.... зачем?! Почему просто не передать репозитории в команду?

[Игорь]

Максим Федоров, Забыл упомянуть, команда запущена в prod окружении.

[Игорь]

Максим Федоров, entityManager умирает, когда ловит исключение, приходится его пересоздавать.
Попробую репозиторий вне цикла получить.

[Игорь]

Течь немного удалось уменьшить

foreach ($categories as $category) {
                    ...
                    unset($category);
                }

Хотя бы не имеет дикого прироста.

Answer 1

[Андрей]

1. Используйте batch insets,
2. Выгружайте ряды данных как массивы, а не классы моделей, ну и полей Выгружайте ровно сколько надо.

Comments

[Игорь]

Нативные запросы?

[Андрей]

Игорь, нет, не обязательно.
но, если вместо классов моделей и связей с ними загружать обычный массив, то будет пошустрее работать и не будет жрать память.

в yii2 как-то так:

Whatever::find()
->select(new \yii\db\Expression('o.id, w.id as whatever_id'))
->alias('w')
->innerJoin('Other o', 'o.whetaver_id=w.id')
->asArray()
->all();

в итоге прилетит массив массивов с набором ид.

[Игорь]

Андрей, Ну а разница то в чём, в первом случае, мы получаем просто сущность, а во втором массив сущностей.

Как это повлияет на то что бы скрипт не кушал память?
Даже если делать unset не факт, что где-то там в недрах идёт освобождение памяти.

Хотя если выбирать не один объект (сущность), а например массив, то тут можно экономить на запросах.

Например не 1000 запросов на 1000 сущностей, а 10 запросов по 100 элементов.

Может вы и правы, попробую...

[Андрей]

Игорь, массивы намного легче классов, всяких связей.. там ещё и события какие-нибудь, кмк, есть..

[Игорь]

Андрей, Да, получил дичайший прирост, когда сделал вот так

/**
     * @param InputInterface $input
     * @param OutputInterface $output
     * @return int|void|null
     * @throws ORMException
     * @throws MappingException
     */
    protected function execute(InputInterface $input, OutputInterface $output)
    {
        $limit = 500;
        $offset = $input->getArgument("offset");
        while (true) {

            $this->entityManager->beginTransaction();
            if (!$this->entityManager->isOpen()) {
                $this->entityManager = $this->entityManager->create(
                    $this->entityManager->getConnection(),
                    $this->entityManager->getConfiguration()
                );
            }

            $organizations = $this->getOrganizations($offset, $limit);

            if (!is_array($organizations) && count($organizations)) {
                break;
            }

            /** @var Organization $organization */
            foreach ($organizations as $organization) {


                $category_names = explode("|", $organization["services_str"]);

                $category_repository = $this->entityManager->getRepository("App:Category");
                foreach ($category_names as $category_name) {


                    /** @var ArrayCollection $categories */
                    $categories = $category_repository->findBy([
                        "name" => $category_name
                    ]);

                    if (!is_array($categories)) {
                        continue;
                    }

                    /** @var Category $category */
                    foreach ($categories as $category) {
                        if ($category_name === $category->getName()) {
                            $name = $organization["name"];

                            try {
                                $this->insert($organization["id"], $category->getId());
                                $output->writeln(sprintf("<info>offset: $offset   %s:$name to $category_name memory_get_usage: %d</>",$organization["id"], memory_get_usage(true)));
                            } catch (Exception $e) {
                                $output->writeln(sprintf("<error>Привязка уже состоялась!  memory_get_usage: %d</>", memory_get_usage(true)));

                                $this->entityManager = $this->entityManager->create(
                                    $this->entityManager->getConnection(),
                                    $this->entityManager->getConfiguration()
                                );
                            }
                        }

                        unset($category);
                    }
                }

                unset($categories);
                unset($category_names);
                unset($organization);
                unset($category_repository);


            }

            unset($organizations);

            $this->entityManager->commit();
            $offset = $offset + $limit;
        }

$organizations обычный массив

Answer 2

[index0h]

Проверьте, включен ли debug режим, очень похоже на то. Для инсертов я бы на вашем месте транзакцию заюзал на пачки в 1к например. 5кк раз пересчитывать индексы - это очень печально. Если категорий у вас не много - имеет смысл их затащить в память все, а дергать мускуль лишний раз не стоит. Смысла в detach при clear / close нет, от слова совсем.

Comments

[Кирилл Несмеянов]

А такую большую пачку в транзакцию оборачивать советуете - это для того, чтобы ещё дедлоки отхватывать? =)

[Игорь]

Для инсертов я бы на вашем месте транзакцию заюзал на пачки в 1к например. 5кк раз пересчитывать индексы - это очень печально.

Пересчитывать индексы слава богу не требуется, индексы уже посчитаны, сейчас идут обычные селекты/инсерты.

Я добавил транзакции, но только в пределе одной итерации, потому что в пределах одной итерации может быть несколько инсертов.

Ну что-то типа

$offset = $input->getArgument("offset");
        while (true) {

            $this->entityManager->beginTransaction();
            ...
            может быть несколько insert
            ...
            $offset++;
            $this->entityManager->commit();
        }

Получил небольшой прирост.

[index0h]

Кирилл Несмеянов, не факт, я ж не знаю, на сколько нагружена таблица, характер нагрузки, юзаются ли внешние ключи, юзаются ли всякие select for update, и т.д.

Игорь В конце итерации можете поэкспериментировать с gc_collect_cycles

[Игорь]

Мне кажется течь перестало, совсем.
Каждый дал совет понемногу и течь прекратилась.

Сейчас пачками по 500 в одной транзакции
В конце unset и gc_collect_cycles

[Игорь]

Течь прекратилась, от слова совсем.

[Игорь]

2. Выгружайте ряды данных как массивы, а не классы моделей, ну и полей Выгружайте ровно сколько надо.

Это очень помогло.
Да действительно, зачем тянуть лишние данные, с массивами быстрее, так как там нет тех данных, которые нужны доктрине.