Как обработать большое количество данных за минуту?
Допустим, есть 1000 данных в БД. Есть php скрипт, который должен обрабатывать их КАЖДУЮ 1 МИНУТУ и выдать какой-либо результат (не важно какой), но за 1 минуту скрипт обрабатывает только 10 данных.
Все делается в цикле while() { ] Как же их обрабатывать все за 1 минуту?
Создавать 10 скриптов и каждому скрипту выделять по 10 данных и вешать его на cron 1 минуту? Но если все эти скрипты начнут одновременно запускаться,выполняться,потом снова запускаться и т.д, не даст ли это большой нагрузки на процессор?
Оптимизированные алгоритмы, иначе же выбирать более подходящие платформы для больших данных. Я так предполагаю "MySql" и php - это ужасное решение, если думать о Big Data и ее обработки.
Но как уже писали выше- нужна конкретика, а не "допустим 1000".
В базе данных 1000 пользователей с необходимыми данными, с цикле я беру эти данные (токен,id vk), делаю 2-4 запроса в вк, создаю картинку и загружаю на сервер вк, и так у каждого пользователя.
Bur Ov: тут уже проблема конечно не только БД да. Слишком много действий с передачей данных на другие ресурсы, тем более "через интернет". Тут уж толи этот процесс как-то оптимизировать сокращая кол-ве действий или делать груповую обработку-создание данных, что так же приведет к меньшим риквестам-респонсам на внешнием стороны. Толи улучшать железо ))
В базе данных 1000 пользователей с необходимыми данными, с цикле я беру эти данные (токен,id vk), делаю 2-4 запроса в вк, создаю картинку и загружаю на сервер вк, и так у каждого пользователя.
