Как получать ответы от перегруженного сервера с определённой периодичностью?

Question

[Vitaly]

Дано:
Есть некий вебсайт на apache + php, который парсят много людей. Сервер физически один, никаких балансировщиков, облачных сервисов и т.п. нет. В разные моменты времени нагрузка на сервер разная, и ответ от него может приходить за 0.5 секунды, 30 секунд, так и вообще не прийти в период пиковой нагрузки.

Вопрос:
Как максимизировать вероятность успешного получения данных с сервера (парсинг страницы) минимум раз в 10 секунд? Т.е. мне нужно парсить данные с сервера и получать ответ хотя бы каждые 10 сек.

Если отправлять запросы последовательно, то при пиковой загрузке можно ждать несколько минут, прежде чем сервер вернёт данные.

Какие есть варианты? Бомбить каждые 5 секунд, рассчитывая на то, что хотя бы 50% запросов дойдёт и среднее время получения ответа будет не более 30 секунд? Плюс добавить прокси, которые географически ближе расположены к серверу?
Использую aiohttp в python3. Переходить на что-то более быстрое с современным подходом к асинхронности/многопоточности типа Rust/Go, наверно, смысла особого нет?

Comments

[nApoBo3]

Парсинг страницы, значит у вас формируется веб страница, самый простой способ снизить в данном случае нагрузку, отказ от парсинга и переход на api.
Если страница одинаковая для всех, поставить перед веб сервером nginx с кэшированием, если страница разная, попробовать ее сделать url зависимой( чтобы по одному url страница в один момент времени была одинаковая ).
Кэшировать данные которые сервер получает от внешних источников, например базы или внешних api.

[Vitaly]

nApoBo3, видимо, я плохо сформулировал вопрос. Это не мой сервер, мне нужно добывать с него информацию. К сожалению, API нет. Мне критически важно получать новые данные с этого сайта как минимум раз в 10 секунд.

Answer 1

[ky0]

Сервер физически один, никаких балансировщиков, облачных сервисов и т.п. нет.

Горизонтально масштабировать, добавить балансировщики, облачные сервисы и т. п.

Comments

[Vitaly]

ky0 Я по другую сторону баррикад, это не мой сервер. Мне надо от него получать данные, даже когда его другие товарищи бомбят своими запросами

[ky0]

Виталий Соколов, помимо банальных штук вроде пула HTTP-соединений с кипалайвом, затрудняюсь сказать, как вам получать ответы с предсказуемой задержкой от непредсказуемо офигевающего сервера.

[Alexey Dmitriev]

Виталий Соколов, то есть вы занимаетесь незаконной деятельностью и спрашиваете - как помочь вам делать это более эффективно?
Если это законно - обращайтесь к владельцам сервера, что они оказывают недостаточный уровень сервиса вам.