Что делать, если Splash перестал отвечать на запросы и занимает много места в docker?

Question

[DimaSensation]

Используется scrapy через scrapyd и splash в docker'е.

Не сталкивался кто-либо со следующими двумя ситуациями?

1) Периодически splash перестает отвечать на запросы от scrapy и при этом в журнал не падают никакие ошибки. С чем это может быть связано?

2) splash в docker'e занимает место на накопителе с каждым новым рендером и не отдает обратно. В итоге размер контейнера может дорасти до сотен гигабайт. Есть ли другие методы, кроме остановки контейнера и его последующего удаления.

Answer 1

[Pavel Zamyatin]

У меня у splash-а разумный размер, но имеется тенденция к подъеданию оперативной памяти. Пришлось ограничить 8Gb, полет нормальный. Иногда на всякий случай перезагружаю контейнер после больших проектов.

Comments

[DimaSensation]

можно с вами как-то в телеграме списаться ?
@cpmdealer

Answer 2

[alternativshik]

сплеш часто падает, про это даже написано в документации у него.
Написать issue у них на гитхабе и ждать ответов от разработчиков.

P.S. у меня оно не росло и просто так не висло, просто перезапускалось при нагрузке.