Извините, но в данном коде все неверно. Хотел начать писать подробно, но это будет целая статья а не ответ.
Попробуйте переделать туториал по scrapy шаг за шагом: https://doc.scrapy.org/en/latest/intro/tutorial.html
У меня у splash-а разумный размер, но имеется тенденция к подъеданию оперативной памяти. Пришлось ограничить 8Gb, полет нормальный. Иногда на всякий случай перезагружаю контейнер после больших проектов.