Как правильно написать парсер?

Question

[Сергей Беловенцев]

Мною был написан парсер для сайта Kinopoisk и все хорошо вроде, даже работал, получил около 2000 статей, но сейчас стал выдавать

HTTP/1.1 301 Moved Permanently

. Я так понимаю банят. Тут получил совет работать с proxy, пытался поискать но даже не представляю, что искать. Подскажите пожалуйста хотя бы направление, в котором искать. Я не с сайта не беру информацию принадлежащую kinopoisk получаю только название фильма и актеров в нем игравших но это не принадлежит кинопоиску и я почему-то уверен что они сами его парсят. Поэтому не считаю что это нарушение авторских прав кинопоиска. А брать тексты описаний это глупо со стороны СЕО.

Answer 1

[Анатолий Медведев]

Зачем парсер когда есть API?

Comments

[Сергей Беловенцев]

Ваше спасибо огромное не видел

[Анатолий Медведев]

Сергей Беловенцев: непонял

[Сергей Беловенцев]

говорю спасибо огромное помогли не мог api найти кинопоиска

Answer 2

[Дмитрий]

Скорее всего вы запрашиваете урлы без www, а они вам говорят, что адрес постоянно перемещен на домен с www. Проверьте. В любом случае, если исползуете curl, то там есть опция что-то типа followlocation, чтобы переходить автоматически по таким редиректам.

Answer 3

[hetzerok]

Чтобы работать через прокси - гуглите "Прокси лист", найдете понравившийся вам список публичных проксей. Далее гуглите "curl через прокси php" - посмотрите как работать с проксями через курл.

Answer 4

[Muhammad]

Уроки cURL. Работа с прокси