Это не всегда происходит ночью, сравнивал со временем бэкапов и ресурсоемких фоновых заданий на сервере -- редко совпадает.
Да, VPS. Время всего запроса и работы бэкенда логгируется, бэкенд в этом не участвует (файлы статические), так что там прочерк, запрос происходит в среднем быстрее чем за секунду (максимальное значение 40 секунд), но видимо присутствует задержка ощутимая задержка до того, как nginx начнет реагировать на запрос.
Выставил worker_processes 4 по числу ядер, вроде как за сутки ошибка не появлялась, но пока рано радоваться.
Еще запросил подробные логи у ТП Яндекс Маркета, возможно ситуация прояснится.
В яндекс маркете время, в которое происходила загрузка, не пишут в том случае, если прайс-лист не обновлялся, и там точность до минуты, т.е. толком сравнить не получится, но очевидно что меньше 150 секунд, раз ошибок нет.
Судя по логам nginx в среднем сам ответ занимает меньше секунды, максимальное значение, которое встречалось это 40 секунд, но ошибок в это время не было. Зато были когда возвращался 304 и nginx времени на ответ грубо говоря вообще не тратил. БД в процессе не участвует, файлы статические и автоматически обновляются раз в сутки. Со временем обновления ошибки бота не совпадают.
Потыкал уже курлом в файл с другого сервера -- отвечает штатно, соединение и получение файла занимают пару секунд, в логах тоже все ожидаемо.
А за чем кроме логов можно у nginx понаблюдать?
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.