Как изменить максимальное время выполнение POST запроса?

Question

[Руслан Ежгуров]

Сделал проект, с помощью которого можно парсить сайт-жертву. Проблема вот в чём: при слишком большой нагрузке получаю 502. Как можно поправить? Пытался нагуглить изменение времени POST запроса, ничего годного не нашёл, может кто нибудь даст наводку

Answer 1

[marazmiki]

Начать нужно с того, что запускать какие-то долгие процессы в цикле запроса-ответа джанги — вообще не самая здравая идея.

Обычно такого рода задачи отправляют выполняются отдельным процессом celery или каким-то подобным механизмом. Время выполнения задач (в нашем случае парсинга) в них некритично: фоновый процесс — не посетитель сайта. Подождёт, никуда не денется.

P.S. а таймаут соединения можно установить. Например, в requests, популярной библиотеке для выполнения HTTP-запросов, это делается вот так.

Comments

[Roman K]

Добавлюсь ещё. Сложить сервер навечно через такую "уязвимость" может даже тупой юзер, жмущий постоянно F5 или по нескольку раз на кнопку "отправить".

[Руслан Ежгуров]

а есть шанс, что проблема в nginx?

[marazmiki]

Dmitry Morozv: главным образом проблема всё же в выбранной архитектуре