Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
frigolov
@frigolov
Поисковая оптимизация
Парсинг
Поисковые системы
Как правильно парсить контент на сайт, что бы не попасть под фильтры ПС?
Фото, видео, текст(vk,youtube и прочее)
Вопрос задан
более трёх лет назад
429 просмотров
1
комментарий
Подписаться
1
Оценить
1
комментарий
Facebook
Вконтакте
Twitter
Arlou_Dzmitry
@Arlou_Dzmitry
Если рубрика то через файл robots.txt закрываем ветку куда парсите, если там весь контент неуникальный, дополнительно можете использовать тэг noindex
Написано
более трёх лет назад
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
0
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Python
+2 ещё
Простой
Как парсить динамическую таблицу с помощью selenium?
1 подписчик
12 часов назад
42 просмотра
0
ответов
Поисковая оптимизация
Средний
Как лучше поступить если нет title, h1 или description?
1 подписчик
вчера
74 просмотра
2
ответа
Python
+2 ещё
Простой
Как сделать, чтобы при парсинге bs4 как то надо нажать на кнопку «показать еще», чтобы подгрузило еще 20 постов?
1 подписчик
вчера
98 просмотров
2
ответа
Python
+3 ещё
Простой
У меня не получается спарсить ссылку на фото с сайта, help?
1 подписчик
07 апр.
162 просмотра
2
ответа
Поисковые системы
Простой
Какие книги посоветуете для изучение того как работает поисковая система?
1 подписчик
02 апр.
122 просмотра
1
ответ
Поисковая оптимизация
Простой
Можно ли делать редирект страницы одного сайта на другой?
1 подписчик
30 мар.
89 просмотров
2
ответа
Поисковая оптимизация
Простой
Если купил домен а у него были куплены ссылки?
1 подписчик
29 мар.
180 просмотров
2
ответа
HTML
+2 ещё
Простой
Как просмотреть скрытый sitemap.xml?
1 подписчик
27 мар.
159 просмотров
3
ответа
Поисковые системы
Средний
Как найти информацию о файле?
1 подписчик
25 мар.
77 просмотров
0
ответов
React
+2 ещё
Простой
Как отдавать боту 200 если файла нет?
1 подписчик
24 мар.
130 просмотров
3
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Специалист по созданию мультимедийного контента в сфере изучения языков
LAR
от 40 000 до 70 000 ₽
SEO-специалист (junior)
WebReforma
от 30 000 ₽
SEO специалист
W3Promo
•
Москва
от 40 000 до 80 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама