Как обойти большой json файл и обновить все связанные записи в MySQL, с отставанием от файла < 2 сек.?

Евгений Рудченко, если у вас id числовые, и скажем N воркеров, то пронумеруем их с нуля и пусть каждый воркер теперь берет остаток от деления ID на N и только если он равен номеру этого воркера - выполняет его.
Т.е. если воркеров скажем 3, то воркер 0 будет выполнять задания id которых делятся на 3 нацело, т.е. 3,6,9 и т.д. а воркер 1, только те которые дают остаток 1, те. 1,4 ну и т.д.

Как обойти большой json файл и обновить все связанные записи в MySQL, с отставанием от файла < 2 сек.?

Андрей, раз он гарантирует что задачи не потеряются - значит пишет на диск, значит он медленнее чем просто файл ;)
На самом деле я понимаю что он может делать это параллельно и держать все в опере, но в этом случае есть шанс повторного выставления задачи.
По любому никак - либо он пишет на диск и задачи и флаги и тогда он медленнее чем просто файл. Либо у него это распараллелено и тогда он будет выставлять задачи повторно.
Другое дело что он наверное сильно удобнее, так как берет на себя кучу задач.

кстати, если с парсером ничего сделать нельзя, можно написать ещё один, который будет читать файл и пихать его в очередь)

Можно - но это еще одна прослойка.

Как обойти большой json файл и обновить все связанные записи в MySQL, с отставанием от файла < 2 сек.?

Блин, мне кажется вот эта ваша асинхронность столько накладных расходов втягивает в процесс.
Там нельзя никак соптимизировать провеку евента?

Как обойти большой json файл и обновить все связанные записи в MySQL, с отставанием от файла < 2 сек.?

1 Похоже с парсером сделать ничего невозможно по какой-то причине. Я уже задавал этот вопрос. Потому что если возможно сделать что-то с парсером - пусть он и раздает задания на обработку записей не помещая их в файл.
2 Опять же парсер. Ну и файл таки быстрее. Правда в данном случае он перезаписываемый но если его держать в tmpfs, то и он быстрее.

Как обойти большой json файл и обновить все связанные записи в MySQL, с отставанием от файла < 2 сек.?

Я читал, что это жрет трафик хостинга, который ограничен

Прости что? Это же внутренние запросы.

Время ответа сервера как-то учитывается?

Все локально же - какое там время?

У тебя что 800 евентов обновляются каждые 2 секунды?
Почему такая долгая обработка каждого евента? Что ты в ней делаешь?

Давай детали короче.

Как обойти большой json файл и обновить все связанные записи в MySQL, с отставанием от файла < 2 сек.?

Евгений Рудченко, тогда у вас уже провал:

Этот парсер обновляет данные каждые 1.5-3 секунды. По крону запускается другой PHP скрипт (work.php), который каждые 2 секунды гетит актуальный JSON, парсит его json_decode и обходит циклом по массиву.

В среднем у вас на робу воркера осталось всего одна секунда. А в худшем случае она запустился и уже опоздал, еще даже не начав работать. Вы не можете использовать интервал в 2 секунды если у вас дедлайн - 2 секунды.
Представьте заказчик вам высылает задачи с периодичностью раз в три недели в случайный день недели. Вы точно знаете что на каждую задачу отпущена неделя со дня отправки уведомления. Поэтому вы проверяете почту в ящике по четвергам. Это разумно?

Как обойти большой json файл и обновить все связанные записи в MySQL, с отставанием от файла < 2 сек.?

"не отставали от данных в json файле более чем на 2 секунды." - а это что обозначает? Что данные в БД должны появится не позже чем через 2с после появления в JSON?

Как обойти большой json файл и обновить все связанные записи в MySQL, с отставанием от файла < 2 сек.?

Много написано но нет важной информации.
Что значит "парсер обновляет"? Перезаписывает файл? Дописывает файл? Изменяет часть записей в файле? Если удалить файл что сделает парсер?

Почему не срабатывает SetTimeout?

Либо как написал edward_freedom, либо не let test ... а var test ...

Медленная отработка php-fpm?

Ну вот он и ресайзит картинки. Как отресайзит все - будет живенько работать.

Почему не срабатывает Jquery в подключенном скрипте (1с Битрикс)?

Simon Tis, да ну нафиг? jq выше по коду, но твой скрипт его не видит?

Почему не срабатывает Jquery в подключенном скрипте (1с Битрикс)?

Simon Tis, тогда ок - делай по документации. В начале так и надо ;)

Слишком много запросов на сайт, скорей всего дос атаки, как победить?

Добавлю к вопросам Ярослав Александров :
- по каким url? Можно ли выделить какую-то группу url по которым идут запросы?
- откуда поступают запросы в географическом и сетевом смысле? Т.е. локации и типы IP - что за страны, прокси/TOR ли это?

Почему не срабатывает Jquery в подключенном скрипте (1с Битрикс)?

Если же в лоб запихнуть скрипт в header - все работает, но так делать нельзя.

Чего это "нельзя"? Так и нужно.
Да, при этом отвалятся всякие фишки типа склеивания скриптов и перенос их в конец страницы, но оно вам и не нужно, если вы знаете что делаете.
Подключение средствами битрикс нужно для того чтобы не сильно задумываться о том что делаешь, и все равно получилось в среднем неплохо.
Чтобы получилось хорошо - там вообще все сложно становится.

Можно ли в Linux запустить процесс при OOM?

sim3x, но ведь можно. К тому же я не предлагаю использовать его для запуска демона, а предложим таким образом оставить на сохранении сессию bash.

Можно ли в Linux запустить процесс при OOM?

Есть шанс надеяться, что sshd с высоким приоритетом, сможет таки ответить в условиях даже адского LA.

Как забрать данные с форм обратной связи 1С-Битрикс?

Может быть еще третий варик - форма добавления элемент в ИБ.

Как забрать данные с форм обратной связи 1С-Битрикс?

Что значит "забрать данные"? Куда забрать?

Как поставить цели на кнопку в 1с-битрикс?

телега @madzhugin

Как вы создаете таблицы для сущностей ORM в D7?

Сергей, я видел, но там вроде для ИБ только и все действительно так сложно, что проще писать свой файл миграции.