Задать вопрос
@DimaSensation

Что делать, если Splash перестал отвечать на запросы и занимает много места в docker?

Используется scrapy через scrapyd и splash в docker'е.

Не сталкивался кто-либо со следующими двумя ситуациями?

1) Периодически splash перестает отвечать на запросы от scrapy и при этом в журнал не падают никакие ошибки. С чем это может быть связано?

2) splash в docker'e занимает место на накопителе с каждым новым рендером и не отдает обратно. В итоге размер контейнера может дорасти до сотен гигабайт. Есть ли другие методы, кроме остановки контейнера и его последующего удаления.
  • Вопрос задан
  • 110 просмотров
Подписаться 1 Средний Комментировать
Пригласить эксперта
Ответы на вопрос 2
У меня у splash-а разумный размер, но имеется тенденция к подъеданию оперативной памяти. Пришлось ограничить 8Gb, полет нормальный. Иногда на всякий случай перезагружаю контейнер после больших проектов.
Ответ написан
alternativshik
@alternativshik
сплеш часто падает, про это даже написано в документации у него.
Написать issue у них на гитхабе и ждать ответов от разработчиков.

P.S. у меня оно не росло и просто так не висло, просто перезапускалось при нагрузке.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы