Evgen

Может он не качает файлы повторно?
У scrapy, например, есть механизм в image pipeline чтоб не скачивать повторно не устаревшие файлы.

Ну посмотрите, куда отправляется запрос, и эмулируйте его.
хотите всё и сразу - используйте selenium c chrome headless или splash от scrapinghub

Scrapy framework под Python

Может быть вас заинтересует этот сервис: www.brandview.com

Попробуйте splash для рендеринга.

Вообще, я бы использовал `BaseSpider` а не `CrawlSpider` и вручную прописал бы xpaths для next_page и news.
Что-то типа такого:

def parse(self, response):
    news_css = 'div.fc-item__container > a::attr(href)'
    for news_link in response.css(news_css).extract():
        req = scrapy.Request(response.follow(url=news_link, callback=self.parser_items)
        yield req

    next_page_css = 'div.pagination__list > a::attr(href)'
    for nextpage_link in response.css(news_css).extract():
        req = scrapy.Request(response.follow(url=nextpage_link, callback=self.parse)
        yield req

P.S. Код не тестировал, но я думаю, смысл понятен. Обычно, с такими пауками проще работать чем с BroadCrawl

Вот по этому запросу страница получает данные:
https://api.edadeal.ru/web/search/offers?count=30&...
Однако, ребята решили обмануть всех и скрыть данные, поэтому то, что отдаёт страница надо прогнать через декодер base64.

Если лень заморачиваться со всеми этими декодерами и ручной отправкой запросов можно использовать selenium + chrome headless, или splash от scrapinghub.

В scrapy всё это можно запихать

Весь "динамически генерирующийся контент каждую секунду" не что иное, как те тупые гет (возможно пост) запросы, которые вы не хотите использовать. Т.е. сайт написан так, что страница каждую секунду отправляет запрос определённого формата (используя правильные заголовки и параметры) на сервис. Самое эффективное, как раз так для быстродействия - это подделывать эти запросы, и считывать ответы. Чтобы вас не банили меняйте IP и заголовки (например User Agent, Cookie).

Для запросов можно использовать scrapy (поддерживается многопоточность).

Если всё-же хотите прям эмулировать весь браузер пробуйте headless chrome и selenium.

P.S. Если дадите глянуть страничку - скажу какая технология более пригодна.

Splash от scrapinghub: https://splash.readthedocs.io/en/stable/

Можно использовать любой ЯП. Суть в том, чтобы отправить запрос вебсерверу, и правильным образом обработать ответ. Хоть php хоть nodejs.
Есть прекрасный инструмент на Python: scrapy.

Рассмотрите https://mitmproxy.org/.
Мои коллеги им пользовались.

https://www.distilnetworks.com/ пожалуй, самый большой геморой для парсеров

2gis

302 - это редирект. Он получает в ответе заголовок location=redirect_page, и собственно ваш requests в соотвествии отправляет уже get

1) В scrapy начиная вроде-бы с мажорной первой версии уже необязательно определять scrapy.Item, можно использовать обычный dict.
2) Да, вы можете хранить использовать поле любого формата в Item, это вполне может быть list of dict.
3) Вы можете создать два типа Item, но тогда вам pipelines придётся проверять его тип, на мой взгляд проще использовать item одного типа и уже его разбирать в pipelines как угодно, написав запросы для вставки в 2 таблицы NoSQL.