Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
frigolov
@frigolov
Поисковая оптимизация
Парсинг
Поисковые системы
Как правильно парсить контент на сайт, что бы не попасть под фильтры ПС?
Фото, видео, текст(vk,youtube и прочее)
Вопрос задан
более трёх лет назад
429 просмотров
1
комментарий
Подписаться
1
Оценить
1
комментарий
Facebook
Вконтакте
Twitter
Arlou_Dzmitry
@Arlou_Dzmitry
Если рубрика то через файл robots.txt закрываем ветку куда парсите, если там весь контент неуникальный, дополнительно можете использовать тэг noindex
Написано
более трёх лет назад
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
0
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Python
+1 ещё
Простой
Почему api золотого яблока блокирует все запросы?
1 подписчик
14 часов назад
133 просмотра
2
ответа
WordPress
+1 ещё
Средний
Как повысить релевантность страницы запросу?
1 подписчик
29 мая
101 просмотр
3
ответа
Поисковые системы
Простой
Как подменить домен в поисковике?
2 подписчика
27 мая
139 просмотров
2
ответа
Поисковая оптимизация
Средний
Возможны ли санкции поисковых систем, если в интернет-магазине на странице товара писать просьбу оставить отзыв за вознаграждение?
1 подписчик
22 мая
135 просмотров
3
ответа
Парсинг
+1 ещё
Простой
Как вызвать синтаксическую ошибку (намеренно) в мессенджерах без открытого ИК?
2 подписчика
16 мая
1181 просмотр
0
ответов
Поисковая оптимизация
+1 ещё
Простой
Как сделать исключение в .htaccess для конкретного файла (robots.txt)?
1 подписчик
15 мая
123 просмотра
0
ответов
Поисковая оптимизация
Простой
Где надо хранить sitemap.xml и robots.txt?
1 подписчик
02 мая
106 просмотров
1
ответ
Поисковая оптимизация
+2 ещё
Средний
Как лучше работать с информационным блоком на поддоменах?
2 подписчика
30 апр.
121 просмотр
1
ответ
Поисковая оптимизация
Простой
Google и Yandex не индексирует мой сайт на нескольких языках, почему?
1 подписчик
20 апр.
154 просмотра
3
ответа
PHP
+1 ещё
Средний
Как получить дерево категорий в PHP Simple HTML DOM Parser?
1 подписчик
12 апр.
83 просмотра
0
ответов
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
SEO специалист
W3Promo
•
Москва
от 40 000 до 80 000 ₽
SEO link builder/контент менеджер
GOAT digital
от 700 $
Руководитель отдела маркетинга (E-commerce & Digital)
Русские Корни
•
Москва
от 130 000 до 200 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама