Blindovich, в задаче написано "у меня есть база". разбить базу на куски - в чем она бы не была, вопрос не сложный. Добиться одноразовости запуска тоже как бы не очень сложно - добавить flock. Тащить в стэк новый инструмент ради простой задачи - решение далеко не всегда правильное.
JastaFly, вестимо он выбирает первый. Хотите все используйте findElements вместо findElement. Или используйте WebDriverBy::cssSelector как я написал раньше вместе с псевдоклассами :nth-child и выбирайте из него конкретный
Alex Lapikov, можно запустить команду в кроне - которая задачу разобьет на 20 и запустит кучу php команд в фоновом режиме черех nohup. Без очередей и swoole, reactphp и прочего.
Lamer1, уменьшать размер общей таблицы можно просто - не хранить в ней данные. если вы таки собираетесь хранить в ней данные - то уменьшить то как? Ну можете какие данные не писать. Иначе никак.
при выборке по ключу партиционирования - бд сама решит что можно не по всем партициям смотреть. а без ключа будет сама лазить по всем партициям. Explain будет показывать какие партиции пришлось посмотреть.