Night

Ну дак и фильтруйте тем же mysql.
Индексы для этого придуманы :)

Однако если его разбить и выполнять в одном скрипте, может случится так, что памяти не хватит.

Если вы его разобьете, то чего вдруг не хватит то?
Подберите размер запроса такой, чтобы хватало.

Почитайте про AUTO INCREMENT, будете приятно удивлены :)

Сначала удалите все записи из таблицы (truncate), а потом вставьте ваши новые данные.

select version() -- рут не нужен

select now() ?

Nginx + php-fpm классика

Сделайте логирование медленных запросов у MySQL - и посмотрите, кто это начал нагибать ваш мускуль :)

Правильнее будет сделать так, чтобы воркеры принимали таску от мастер-процесса, чем они сами бы брали таску из бд.

Либо вы не указали все условия, либо задача очень простая.
Ответ: строить проход по все комнатам в контексте одно этажа, далее следующий этаж (куда нужно зайти)

Убиться об стену и в следующий раз писать вопросы с большим кол-вом информации о проблеме?

О каком объеме данных/запросов идет речь?
Если у Вас база меньше 250-300к юзеров, думаю, нет особой разницы где хранить - в мемкэше, или в mysql, в плане скорости и нагрузки.
На мой взгляд, если это не является на текущий момент узким горлышком, то это преждевременная оптимизация.

А какой такой нагрузки то?
Пишите так, чтобы в памяти не хранить за раз большое кол-во данных, записывайте сразу все на диск, и у вас не будет проблем с "нагрузкой", максимум - будет долго выполняться.

1) Сделайте отдельную таблицу user_last_activity (user_id, timestamp), InnoDB
2) Информацию о последней активности пишите в memcache (обновляйте не чаще раза в минуту, сверяйтесь с сессией)
3) Демоном раз минуту берите данные из memcache и вставляйте в user_last_activity
4) last_activity юзера также кэшируйте на одну минуту

Оффтоп: всегда считал DO самой шустрой cloud-платформой... ваши тесты несколько меня обескуражили. Вероятно, время проверить самостоятельно.

По самой бд - скорость очень сильно может зависит от настроек, вплоть до 1000% производительности.
При условии, что эти самые настройки различаются - вопрос к Вам - а они различались на ваших инстансах?