На сайте имеется группа страниц (около 4,5 тыс.) из которой ежедневно вываливается около 40-60 страниц с 404-й ошибкой. Приблизительно столько же, чуть больше, новых добавляется. Сами страницы живут минимум неделю.
Данные страницы удаляются, потому что информация на них устаревает и становятся не актуальной.
Нормально ли ПСы реагируют на такую динамику? Не вредит ли это сайту?
Нет, никак не вредит. Никаких "фильтров" в такой ситуации быть не может. Если информация реально устаревает и перестаёт иметь ценность для посетителя, совершенно нормально дать ей исчезнуть. Трафик, который Вам могут принести старые страницы, скорее всего, не даст конверсий, а без них он бесполезен.
А что, если добавить к этим 40-60 страницам ещё по 200-5000 (а в редких случаях и по 80000) связанных страниц, на каждую, которые так же будут в одночасье пропадать вместе с первыми?
Связанные страницы совсем не для трафика, но для пользователей.
Нужно ли запрещать поисковикам индексировать данный массив страниц, чтобы сосредоточить их усилия на более важном контенте?
Связанные страницы являются "потомками", и будут пропадать вместе с их "родителями". То есть первые 40-60 страниц — это "родители". И у каждого родителя может быть до 80к потомков.
Под "запретом" я подразумеваю сведение индексируемого кол-ва страниц "потомков" к минимуму, то есть к одной или вообще к нулю. Потомков я могу завернуть в . Могу редиректить пользователя псевдоссылкой (JS) на страницу потомка, которая так же будет под . Или подтягивать данные прямо на страницу родителя аяксом, обходясь вообще без страниц-потомков.
Вопрос в том, можно ли вываливать в индекс несколько млн. новых страниц, часть из которых пропадают и появляются пачками по несколько тысяч, или постараться закрыть их от индексации. Контент на таких страницах, вероятно, весьма сомнительного качества с точки зрения SEO (автоматизированная аналитика), максимум тянет на НЧ запросы.
Конечно вредит, в момент прохождения ботом сайта, он не находит страницу, которая до этого была. Что ж тут хорошего:) По возможности, продлевайте период существование страниц.
То, что вы удаляете страницы это очень большой минус для сайтов. Большая вероятность попасть под фильтры ПС. Даже если инф устарела, то пусть себе лежит, даже старые страницы могут приносить трафик.
Проблема в том, что оставленная устаревшая инфа как раз и убивает трафик (НЧ), т.к. поисковые запросы начинают размазываться и посетители частенько попадают на устаревшие страницы, с которых идут сплошные отказы.