@DimaSensation

Что делать, если Splash перестал отвечать на запросы и занимает много места в docker?

Используется scrapy через scrapyd и splash в docker'е.

Не сталкивался кто-либо со следующими двумя ситуациями?

1) Периодически splash перестает отвечать на запросы от scrapy и при этом в журнал не падают никакие ошибки. С чем это может быть связано?

2) splash в docker'e занимает место на накопителе с каждым новым рендером и не отдает обратно. В итоге размер контейнера может дорасти до сотен гигабайт. Есть ли другие методы, кроме остановки контейнера и его последующего удаления.
  • Вопрос задан
  • 90 просмотров
Пригласить эксперта
Ответы на вопрос 2
У меня у splash-а разумный размер, но имеется тенденция к подъеданию оперативной памяти. Пришлось ограничить 8Gb, полет нормальный. Иногда на всякий случай перезагружаю контейнер после больших проектов.
Ответ написан
alternativshik
@alternativshik
сплеш часто падает, про это даже написано в документации у него.
Написать issue у них на гитхабе и ждать ответов от разработчиков.

P.S. у меня оно не росло и просто так не висло, просто перезапускалось при нагрузке.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Aitarget Москва
от 200 000 руб.
от 60 000 до 140 000 руб.
Платформа НТИ Москва
от 130 000 до 180 000 руб.