Импорт большого YML файла в Laravel?

Question

[fashionmens]

Есть большой yml файл на 7 ГБ
Как его спарсить и записать в базу данных через Laravel.
Может подскажете какой-то плагин, который бы считывал файл не полностью, а парсил построчно.

Comments

[JhaoDa]

Так YAML или YML для Яндекса?

[fashionmens]

YML для Яндекса

Answer 1

[JhaoDa]

Надо использовать поточные парсеры — такой или другой, вынося саму работу в очереди.

Comments

[fashionmens]

А есть какие-то поточные плагины для парсинга xml в виде Екстеншена для Laravel?

Answer 2

[Alex Wells]

Пихаете в очереди и все.

Comments

[fashionmens]

А как это сделать? Неужеле очереди Ларавел обработают такой большой файл? И какой функцией? Использую плагин - https://github.com/nathanmac/Parser
Но он сразу в себя грузит весь файл и разбирает потом его. Можно ли как-то построчно вытягивать данные итерациями?

[JhaoDa]

fashionmens, ты на вопрос не ответил, заданный в каментах выше.

[Alex Wells]

fashionmens, а в чем проблема сразу загрузить весь файл?

[JhaoDa]

Alex Wells, 7 гигов в память?

[Alex Wells]

JhaoDa, ну так зависит от задач. Если ему нужно раз в месяц загружать такой файл - то да, почему нет?

[JhaoDa]

Alex Wells, а если гигов нет, но загружать надо? Поточные парсеры уже не в моде?

[fashionmens]

JhaoDa, можете подсказать где брать такой поточный парсер. Какой из екстеншенов посоветуете для этой задачи?

[JhaoDa]

fashionmens, ответь сначала на вопрос, заданный в каментах. Второй раз уже про это пишу.
Такое впечатление, что это мне надо решить задачу, а не тебе...

[Alex Wells]

JhaoDa, тогда поточный парсер. Но заниматся предоптимизацией, не зная задачу - не слишком хорошая идея.

[fashionmens]

так вопрос я именно и задавал. Какой вопрос имеете ввиду?
Сам файл скачать можно здесь - Файл можно скачать здесь - https://epn.bz - зарегистриоваться как вебмастер. И там есть - https://monosnap.com/file/ji8kMzdBAh1ae5indTfNKHMd...

Как сделать скрипт, который итеграциями может вытягивать к примеру по 100 штук с данного файла и потом уже обрабатывать эти данные

[JhaoDa]

fashionmens, во-первых, надо указывать ник того, кому пишешь, тогда уведомления приходят.

Во-вторых, прокручиваешь страницу в самый верх, под твоим вопросом есть блок комментариев, находишь там мой комментарий и отвечаешь на него. Вроде бы не сложно?

[fashionmens]

JhaoDa, Ок. В вопросе и написано - yml. YML формат Яндекса

[JhaoDa]

fashionmens, ага, и стоит тэг YAML, не имеющий никакого отношения к yml-файлам. Прими правку вопроса.

[Alex Wells]

JhaoDa, о ужас, Yandex Market Language. Я даже подумать не мог, что такая херня существует.