Почему сайт падает при парсинге?

Question

[DoNiFF]

Суть проблемы: при парсинге на локальном сервере парсинг проходит успешно, но на сервере через n-ое количество времени парсинга сайт падает, в логах ничего, может ли это быть связано с ресурсами хостинга?
Мой пк: amd ryzen 5 1600x 6/12, ddr4 8gb x2, gtx 1060 6 gb
Ресурсы хоста:
Если понадобиться код парсера, то я скину

Comments

[rPman]

что такое падает сайт? что за ошибка то?
ну и логично, что если парсинг (сбор данных с сайта) идет на пределе возможностей сервера сайта (без пауз) то нагрузка на нем будет максимальной и к примеру дешевый хостер может такой сайт погасить (при указанной цене vps оверселят, т.е. продают больше ресурсов чем может обеспечить сервер, а значит когда нагрузка выростает выше прогноза, наглецов замедляют или выключают)

[humoured]

Согласен с rPman, цена за такие характеристики сервера ниже рынка, значит наверняка гасят "паразитные" vps.

Answer 1

[mayton2019]

сайт падает, в логах ничего

Так не бывает. Если OOM киллер срубает процесс то где-то об этом остается след.
Поищи в syslog, в сообщениях D-bus, в логах Апача, в логах Редиски или ПХП.

Answer 2

[Дмитрий Кузнецов]

1. Скрипт может отваливаться по таймауту
2. Не хватает мощей сервера (проц, озу и т.п.)
3. Неоптимизированный или код с ошибками (маловероятно, так как логов, по всей видимости, нет)

Что можно попробовать:
1. Оптимизировать код
2. Перевести запуск кода в крон
3. Посмотреть что ломает сервер, где бОльшая нагрузка

Comments

[DoNiFF]

Вот мой код парсера

[nolotion]

Pro_Hacker, ты забыл внести предоплату за работу.

[Дмитрий Кузнецов]

Pro_Hacker, этот код вы писали?

[DoNiFF]

Дмитрий Кузнецов, Да

[Дмитрий Кузнецов]

Pro_Hacker, Ваш же вопрос? https://qna.habr.com/q/1286032 evelone1379. Если это так, то зачем создали второй акк?

[DoNiFF]

Дмитрий Кузнецов, На другом компе было

[Дмитрий Кузнецов]

Pro_Hacker, Пункт 6.6 правил площадки:

6.6. Использовать более одного аккаунта (если пользователь обнаружил это правило уже являясь обладателем нескольких аккаунтов, то он может обратиться в службу поддержки с просьбой деактивировать лишние учетные записи);