Где лучше хранить снапшоты страниц и как это нагрузить робота?
Добрый день, есть задача хранить полную выгрузку страницы (так как подгружается через ajax много данных(в виде бесконечного скролла), а поисковику показать все это дело нужно).
Выгрузку думаю делать раз в неделю по расписанию.
Возникла два вопроса
1. хранить просто ключ значение? Ключ - страница , значение - полностью контент
2. выгрузка с более 2400 картинок выйдет, как робот будет вести себя с ней? Может стоит разбить на страницы это дело, как раньше это делалось?
