@vitaliy_balahnin
Новичок в веб-разработке

Какое оптимальное решение для быстрого парсинга 600 серверов на слабой VDS?

Задача: Поиск юзера (BF4) на игровых серверах, получение id сервера и запрос статистики раунда.
Требуется: обойти каждый url, получить json со списком игроков, поиск игрока в этом списке, вернуть id сервера если найден.
Дано: json c 600 id серверов и никнейм игрока.
Что пробовал: multicurl в 100 запросов - результат от 3 до 30 секунд, но на локальной машине. На DO дроплете с 1 ядром и 512Гб RAM грузит до зависания.
А если синхронным методом, то результат можно ждать до 3 минут даже на локальной машине.

Какие есть варианты для PHP, NODE.JS? Или других языков?
Требуется как можно быстрее получить результат поиска, но при этом не тратиться на покупку больших ресурсов виртуалки.

Хранить и обновлять всех игроков в БД тоже кажется сомнительным решением.

Варианты с pthreads и альтернативными вариантами для PHP я так понимаю тоже потребует увеличения ресурсов.
  • Вопрос задан
  • 398 просмотров
Пригласить эксперта
Ответы на вопрос 2
@Kirill-Gorelov
С ума с IT
А за сколько ты хочешь собрать данные, за 1 секунду, или меньше или 5 секунд будет нормально??

Или увеличь не 100 запросов, а к примеру 500, поиграй с этими настройками.
Ответ написан
@mr_ko
Javascript, Node.js. React.js, Vue.js, Wordpress
Для этой задачи, всеже, лучне Node.js подойдет. Ну, или пробуйте ReactPHP или что-то подобное.
Для Node.js никаких проблем не вижуб цифры не выглядят большими.
Можете скинуть (почта в профайле или тут напишите) детальное описание задания (я имею ввид адрес куда стучатся и т.п. если не секрет :)) я на выходных попробую это сделать.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы