Как правильно написать парсер?

Мною был написан парсер для сайта Kinopoisk и все хорошо вроде, даже работал, получил около 2000 статей, но сейчас стал выдавать
HTTP/1.1 301 Moved Permanently
. Я так понимаю банят. Тут получил совет работать с proxy, пытался поискать но даже не представляю, что искать. Подскажите пожалуйста хотя бы направление, в котором искать. Я не с сайта не беру информацию принадлежащую kinopoisk получаю только название фильма и актеров в нем игравших но это не принадлежит кинопоиску и я почему-то уверен что они сами его парсят. Поэтому не считаю что это нарушение авторских прав кинопоиска. А брать тексты описаний это глупо со стороны СЕО.
  • Вопрос задан
  • 761 просмотр
Решения вопроса 1
Пригласить эксперта
Ответы на вопрос 3
thewind
@thewind
php программист, front / backend developer
Скорее всего вы запрашиваете урлы без www, а они вам говорят, что адрес постоянно перемещен на домен с www. Проверьте. В любом случае, если исползуете curl, то там есть опция что-то типа followlocation, чтобы переходить автоматически по таким редиректам.
Ответ написан
Комментировать
@hetzerok
Чтобы работать через прокси - гуглите "Прокси лист", найдете понравившийся вам список публичных проксей. Далее гуглите "curl через прокси php" - посмотрите как работать с проксями через курл.
Ответ написан
Комментировать
muhammad_97
@muhammad_97
PHP-разработчик
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы