Почему не хочется парсить кинопоиск?

Question

[lemonlimelike]

Всем привет! Написал парсер. Первым делом я получаю json ответ, в котором есть id фильма на кинопоиске. Из этого id делаю ссылку на кинопоиск. Затем я получаю данные по этому фильму. Таких id'шек около 15к. Получается что парсеру нужно 15к раз зайти на по каждой ссылке на кинопоиск и взять нужные данные. Но парсится лишь первые 2 фильма, затем ошибка, что переменная `$img пуста`. Затем если я сразу же запускаю еще раз скрипт, то он сразу же.. на первой обработке первого массива происходит ошибка, что `$img` пуста. Что делать? Подскажите, есть ли альтернатива кинопоиску?
Вот скрипт:

$url = file_get_contents('url');
$json = json_decode($url, true);
echo 'Работает: '. PHP_EOL;
$start = microtime(true);
foreach ($json as $k => $value) {
    // echo $k. '--';
    // print_r($value);
    echo "Заходим на Kinopoisk по id: " . $value['kinopoisk_id'] . PHP_EOL;
    $newUrl = new Crawler(file_get_contents('https://www.kinopoisk.ru/film/' . $value['kinopoisk_id']));

    echo 'Ждем 5 сек раз'.PHP_EOL;
    sleep(5);

    $img = $newUrl->filter('.popupBigImage img')->attr('src');

    echo 'Ждем 5 сек два'.PHP_EOL;
    sleep(5);

    $rating = $newUrl->filter('.rating_ball')->text();

    echo 'Ждем 5 сек три'.PHP_EOL;
    sleep(5);

    $films = Films::where('name',$value['name'])->first();
    if($films == null){
        $film = new Films();
        $film->name = $value['name'];
        $film->translate = 'Нормальный';
        $film->url = $value['url'];
        $film->year = $value['year'];
        $film->img = $img;
        $film->rating = $rating;
        $film->kinopoisk_id = $value['kinopoisk_id'];
        $film->save();
    }
}

Answer 1

[DanKud]

Во-первых конечно проверьте какой ответ приходит от запроса к странице Кинопоиска на тех итерациях цикла когда получаете ошибку. Там скорей всего капча появляется.

Во-вторых используйте для подключения страницы не примитивный file_get_contents, а полноценные библиотеки. Тот же дефолтный CURL например. Передавайте полностью HTTP-заголовки, имитируя обычный пользовательский браузер. Учитывая специфику Кинопоиска и то, что его пытаются парсить все кому не лень, такие банальные блокировки юзера как запросы с пустыми заголовками там стоят 100%.

Ну и уже соответственно если думать дальше и капча все-равно будет появляться, то уже писать скрипт обхода капчи с помощью соответствующих сервисов.

Плюс один дополнительный момент парсинга с помощью библиотеки Symfony\DomCrawler на будущее. Подгружайте исходники для парсинга не напрямую через вызов класса new Crawler(), а уже после вызова методом ->addHtmlContent(), чтобы избежать проблем с кодировкой:

$newUrl = new Crawler();
$newUrl->addHtmlContent(file_get_contents('https://www.kinopoisk.ru/film/' . $value['kinopoisk_id']));

Comments

[Lander]

Во-вторых используйте для подключения страницы не примитивный file_get_contents, а полноценные библиотеки.

Позвольте дополнить. В большинстве случаев всё же хватает обычного file_get_contents, если правильно настроить контекст.

Answer 2

[Илья Малиновский]

Попробуй просто сделать запрос file_get_contents и распечатать его ответ, скорее всего увидишь или страничку с капчей или что доступ запрещен, думаю что такой гигант как кинопоиск заботится о том чтобы их сайт не парсили.

Comments

[lemonlimelike]

Хм.. точно, щас сделал var_dump страницы, так меня просят ввести капчу за то что я сделал много запросов. Но я же использую задержку исполнения скрипта...

[Илья Малиновский]

Я в свое время пробовал парсить facebook, там хоть ты в минуту задержку поставишь, все равно забанят. Тогда я использовал CURL библиотеку (стандартная в php если в ini.php подключена). И подбирал настройки заголовков, после 2 дней проб, мне все таки удалось подобрать такие заголовки, но позже через 1 месяц опять начали банить. Мой совет брось это дело, ищи другие менее известные сайты и пробуй парсить их.

Answer 3

[alex-1917]

То, что ты пытаешься парсить, периодически выкладывают полными архивами некие лица...
Дружи с гуглом)))
И пожалуйста не пиши больше словосочетание file_get_contents, у меня на file_get_contents аллергия....

Comments

[Mikhail Kobzarev]

Где?

[alex-1917]

Михаил Кобзарев, сосед по лестничной клетке рассказывал, что лет пять назад он сидел в кафешке и встретил одноклассника, так вот тот одноклассник хвастался базой фильмов, говорит, скачал на каких-то морентах или борентах, не помню точно. Или дорентах. .. хз . не помню
)))

[Mikhail Kobzarev]

Король троллинга) Пойду гуглить.

[alex-1917]

Михаил Кобзарев, не, я щас прямую ссылку дам, ага?)) год решетчатых репостов...

[Mikhail Kobzarev]

Вы серьезно? Тогда пора тостер закрывать. Хорошо, что я не в РФ)

Answer 4

[Vlad Osadchyi]

Тут КиноПоиск на Python парсят