Как обработать большой json на wordpress?

Question

[veroni1337]

Здравствуйте. Мне нужно импортировать в записи большой json файл. Файл весит 500мб и в нем примерно 300 000 записей. Что бы не нагружать оперативную память использую для чтения https://github.com/halaxa/json-machine. Но столкнулся с проблемой, что на обычных хостингах недостаточно лимита на выполнения скрипта. Как можно импортировать такой объем данных в wordpress? Пробовал плагины для импорта по типу wp all import, но они зависают даже не загрузив этот файл. Можно было бы разделить файл и отдельными скриптами загружать эти данные, но этот файл мне нужно обрабатывать раз в неделю. Этот файл на стороннем сервере будет обновляться и должен каждый раз его загружать себе. Может нужно сделать разделение файла на мелкие части и создать так же для каждого json свой php скрипт который будет запускаться рекурсивно, что бы не попадать под лимит выполнения скрипта? Лимит 300 секунд на выполнение

Answer 1

[psiklop]

Проще раз переехать. Хостинг нынче дешевый и разный, а как будто полувековой давности имеет нереальную проблему.

Comments

[veroni1337]

так и сделал. Переехал на vps сервер и уже импортировал 60к записей. Только вот к 50к записей сервер начал работать медленно и перестал грузить сайт. Импорт делаю через wp функция wp_insert_post, он может как то сильно нагружать сервер?

[psiklop]

veroni1337, честно никогда не работал на wordpress и вообще негде, всю жизнь только напрямую, база и сайты самописные, скрипты и тп. Остального избегал и всегда искал работу где нужно кодить своё.

По личному опыту импортировать в базу 500 мегабайт, скажем так с готового sql дампа задача очень легкая для любого железа. Если файл JSON который сначала скажем так php скриптом как-то обрабатывать и вставлять в базу по строке - тут зависит конечно, чтобы скрипт был написан человеком с руками из правильного места, иначе может и подвесить любой сервак.

То что переехали на VPS все равно хорошее решение, нет никаких лимитов, php ini можно настраивать.

[psiklop]

veroni1337, если задача постоянная, нужно найти "правильного кодера" на фрилансе знакомого со структурой базы wordpress для написания скрипта импорта, так как по хорошему импортировать 300к записей должно быть очень просто. Лично я вижу это элементарной задачей которую выполнит любой карманный пк за несколько минут, но я не знаю как устроена база wordpress и где там что лежит. P.S. Это просто совет а не инструкция.

[psiklop]

veroni1337,

wp_insert_post

не знаю как это работает, но файл либо грузится через браузер либо тянется удаленно, либо находится уже на вашем сервере. Нужен последний вариант.

Answer 2

[Dimonchik]

ну Вы сами ответили на свой вопрос

на шаредах всегда ограничены ресурсы, а WP любит еще и память есть
память вы порешали json-machine, но чудес-то не бывает - меньше памяти? значит - больше процессора

режьте на части, в идеале, если оно по API забирается - частями же и забирать, но тут исходите из ваших условий

Comments

[veroni1337]

т.е это норма что я буду плодить много json файлов, например по 1000 объектов в одном и столько же скриптов, который по выполнению одного будет запускать следующий скрипт файл? Мне кажется где то я не правильно рассуждаю(

[Dimonchik]

veroni1337, не норма, а решение задачи

норма это сразу по мере появления объекта вносить в базу, но, очевидно, не все под вашим контролем

а по вычислительным ресурсам вы зажаты - делайте как получается

Answer 3

[YBB]

Лимит 300 секунд на выполнение

Информация к размышлению: как правило у php-cli нет лимита на время выполнения, а у curl нет лимита на размер файла (у ОС - есть). Я так импортировал 2GB xml в базу mysql (правда от php в конце концов пришлось отказаться - тормоз жуткий). К сожалению, не всякий шаред-хостинг подпустит к шеллу.

Comments

[veroni1337]

у меня есть доступ по ssh. То есть если я запущу свой скрипт так php мой_скрипт.php, то у него не будет лимита на выполнение?

[veroni1337]

забыл упомянуть. У меня доступ к консоли есть, но не ssh) Только в браузере могу открыть( Что бы выполнить через команду php, нужно же до выполнения скрипта держать терминал открытым, верно?

[Rsa97]

veroni1337, Либо использовать виртуальную консоль, например screen, если она вам доступна.

[YBB]

у него не будет лимита на выполнение?

У php-cli по умолчанию нет ограничения max_execution_time. Но его, возможно, как-то можно установить, да так, чтобы юзер не смог снять это ограничение. Я не хостер, я не знаю их секретов отравления жизни юзеру. Мой скрипт на хостинге выполнялся больше 2-х часов, правда на выделенном сервере.

нужно же до выполнения скрипта держать терминал открытым, верно?

В общем случае - не обязательно. См. https://ru.wikipedia.org/wiki/Nohup Но опять же, не факт, что хостер не предпринял меры против злоупотреблений.

[Дмитрий]

veroni1337, можете кроном дергать скрипт. Будет использоваться cli без лимитов. Можно предварительно забрать файл. Могу дать код, грузит файл не обращая на лимиты
Как загрузить большой файл на сервер по ссылке? до 2 гб без проблем, даже на дёшевом хостинге

[veroni1337]

Дмитрий, код не помешает. Но вот на хостинге сказали, что у них жесткие ограничения на php-cli, меньше 300 секунд

[Дмитрий]

veroni1337, ну код же у вас есть, который за лимиты выходит, просто дергайте кроном, чтоб избежать издержек, заранее копируйте файл json к себе

[veroni1337]

в итоге переехал на vps и запустил свой импорт записей на основе wp функции wp_insert_post, к 50к записей сервер начал тупить и выдавать ошибку 502. Вы делали импорт случайно не на wp? Может мой скрипт как то нагружает сильно? Через htop на сервере не заметил нехватки ресурсов, все было нормально

[YBB]

Да, я собирался делать всё на WP (привычка, знаете ли). Потом оценил масштаб и сделал импорт на голом php, отложив WP для передка. Но оно и без WP тормозило, и я переделал импорт на bash/curl/mysql. А потом одним нехорошим зимним утром вдруг стало совсем не до того.

Вордпресс уже давно не считается легким движком, увы :( Если импортируется не родная вордпрессовская таблица, то imho проще ее импортировать рядом, а в WP подтягивать на лету.

[veroni1337]

YBB, а сколько времени у вас заняло импорт? У меня одна запись импортируется в среднем за 0.7 секунд, значит пару дней будет работать)

[YBB]

veroni1337, в последней версии, которая вообще без php, минут двадцать. С php — несколько часов. К сожалению, ни логов, ни исходников, чтобы повторить эксперимент, не сохранилось. Напомню, это миллионы записей.

Answer 4

[Владимир Коротенко]

Предположу что ваш джисон это массив обьектов.

Загрузите его на домашнем компе и сохраните по кускам

{
  "items": [
    { "name": "a" },
    { "name": "b" }
  ]
}

{
  "items": [
    { "name": "a" }
  ]
}

{
  "items": [
    { "name": "b" }
  ]
}

Comments

[veroni1337]

да, в джсон массив объектов и объектов 300к. Только мне не подходит ручное разделение. Мне нужно сделать так, что бы скрипт полностью прошелся по массиву и каждый объект загнал в базу через функции вордпресса

Answer 5

[gayrat10103]

https://ваш-сайт.ру/wp-json/wp/v2/posts

Answer 6

[veroni1337]

Всем спасибо за ответы. В итоге переехал на vps сервер. Так же на wordpress установил плагин cavalcade https://github.com/humanmade/Cavalcade, для устойчивой работы с wp cron. Написал свой небольшой скрипт, который помощью библиотеки https://github.com/halaxa/json-machine читает файл с массивом объектов не нагружая оперативную память. Затем просто создаю запись на основе полученных данных