Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Arlou_Dzmitry
0
вклад
0
вопросов
0
ответов
0%
решений
Комментарии
Информация
Ответы
Вопросы
Комментарии
Подписки
Нравится
Как правильно парсить контент на сайт, что бы не попасть под фильтры ПС?
Arlou_Dzmitry
@Arlou_Dzmitry
Если рубрика то через файл robots.txt закрываем ветку куда парсите, если там весь контент неуникальный, дополнительно можете использовать тэг noindex
Написано
более трёх лет назад
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама