Всем доброго дня.
Ребята, прошу совет.
Имеется большая бд (примерно 5 млн записей). Надо последовательно получить данные из каждой строки и произвести обработку.
Понимаю, что делается это через поток, но не совсем понимаю реализацию этого процесса.
Как можно получать последовательно по 10 записей и далее их обрабатывать, и повторять этот процесс, пока таблица источник не будет прочитана и обработана полностью.
Если есть какие-то другие модули для связи ноды и мискуля буду признателен за ссылку и пример использования.
База в активном использовании или можно остановить работу на часик?
Насколько тяжелые записи в таблице?
Насколько сложная обработка на клиенте?
По 10 записей это с утра до утра будете фигачить, думаю не меньше 200-500 записей за раз, а в идеале 1000 норм. будет. Ибо больше времени на соединение потратите чем на выборку и инсерты.
сами записи легкие, решил не буду заморачиваться и сделаю через select limit STEP,10 (где STEP += 10). Больше выбирать за раз не смогу, процессы, которые будут получать данные из этих 10 записей куда более медленные, чем локальный запрос к базе. Да и на счет коннектов, как бы коннект 1, и он будет держаться пока это необходимо мне.
Простой
Простой
