Melkij Спасибо за участие в дискуссии, я пока так и не понял что будет быстрее not exists или not in, в таблице примерно ~8 500 000 записей, ключ index добавлен к полю по которому будет поиск
ponaehal Есть многопоточный парсер апи. задачи которому раздаются рандомно, не каждая задача может завершиться успехом, вот эта выборка покажет какие задачи были завершены не полностью
igorianru спасибо за ответ, да я читал этот пост на стеке, но если так рассудить кто сможет запилить модуль в ядро без рутового доступа? А если ноут достался кому-то физически о просто через chroot подкинет все что ему надо и перекомпилит ядро как надо) А у вас активирован этот параметр?
jacob1237 Большое вам спасибо! Этот способ наиболее подходящий, т.к. worker теперь независим, их можно теперь добавлять и удалять без лишних регистраций на мастер сервере! Отличное решение спасибо!
Макс а если бы ты делал лок задачи, как бы ты это делал? забирается задача в доли секунды по апи и в теории в эту долю секунды оба сервера могут ее забрать, как тут сделаешь лок?
Макс Второй вариант как раз это и делает, он не будет долбить каждый воркер, потому что каждый воркер складывает в redis свою инфу и мастер просто смотрит в redis и делает выводы, т.е. вы за 2 вариант?