Как спарсить информацию товара Amazon?

Question

[imdeveloper]

Приветствую! Может кто-то сталкивался с парсингом Амазона? Попробовал вытянуть контент через file_get_contents - вылазит каптча. Ничего не выходит
Нашел наиболее подходящее решение это  diffbot, но он очень медленный и функционал не велик, подскажите что искать

Answer 1

[Stalker_RED]

Через curl нормально читается, заголовки только подсунуть как у обычного браузера.
Если будете парсить много товаров - придется иногда менять айпи и заголовки, ибо капча.

Comments

[Bjornie]

Stalker_RED а прокси? амазон быстро забанит без прокси.

[Stalker_RED]

Bjornie, "иногда менять айпи" это про прокси и есть. Мне не много нужно было, скрость была не важна, так я вообще через тор парсил.

[Bjornie]

Stalker_RED, сколько товаров парсили и сколько вышло по времени? сейчас как раз этим занимаюсь, но на питоне.

[imdeveloper]

Stalker_RED, А у вас нет примера с заголовками как спарсить товар?

[Stalker_RED]

imdeveloper,

вот простенькая обвязка для curl

<?php
class Curl {
    private static $instance;
    private $curl_handler;
    
    private function __construct()
    {
    }

    public static function getInstance()
    {
        if (!isset(self::$instance)) {
            $instance = new Curl();
            $instance->init();
            self::$instance = $instance;
        }
        return self::$instance;
    }
    
    public function init()
    {
        $this->curl_handler = curl_init();
        curl_setopt_array($this->curl_handler, array(
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_HEADER => false,
            CURLOPT_FOLLOWLOCATION => true,
            CURLOPT_HTTPPROXYTUNNEL => false,
            // proxy settings here
            //CURLOPT_PROXY => 'localhost',
            //CURLOPT_PROXYPORT => 8091,
            
            //CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
            CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0',
        ));
    }
    
    public function getPage($url)
    {
        curl_setopt($this->curl_handler, CURLOPT_URL, $url);
        $html = curl_exec($this->curl_handler);
        return curl_exec($this->curl_handler);
    }
}

добавьте смену user agent и прокси

[Stalker_RED]

Bjornie, у меня был только proof of concept, несколько десятков товаров парсились за пару минут. Капчу ловил всего пару раз, когда при отладке часто запускал. Тогда включал тор и на всякий пожарный менял юзер агент.

[imdeveloper]

Stalker_RED, Что бы рандомно менялся агент и иногда айпи вы имеете ввиду?

[imdeveloper]

Stalker_RED, У меня немного задача попроще - брать нужную ссылку - вставлять в фору и получать нужную инфу по товару в текстовом виде

[Bjornie]

Stalker_RED, несколько десятков товаров парсились несколько минут - да уж, вот это "скорость".. Вы парсили вместе с картинками что-ли? Или проблема была как раз в использовании тора?

[Stalker_RED]

Bjornie, да, это через тор. Вообще я не описание товаров парсил, а отслеживал на какой позиции в выдаче товар находится по определенному запросу.
Типа mug+simpsons, cup+simpsons и поискать на несколько страничек в глубину, чтобы найти на какой позиции определенная чашка. Потом оказалось что такие сервисы уже существуют, и стоят довольно мелких денег, и заказчик свернул проект.

[Stalker_RED]

imdeveloper, Если у вас есть пул проксей - можете менять рандомно или по расписанию, или через каждые N товаров. Тор не мгновенно переключается, и часто менять - оверхед.
А менять юзер агент я бы стал только одновременно со сменой айпи. На больших нагрузках придется экспериментировать, чтобы получить вменяемую скорость без бана.

[Bjornie]

Stalker_RED, спасибо за подробный ответ) а почему менять UA со сменой айпи? Будет хуже если каждый риквест будет с разным агентом?

[imdeveloper]

Stalker_RED, а если например :
беру товар, у товара есть продукт сватчес (например цвет платья ) и что бы получить для каждого варианта цены (вариант+цена) мне нужно пройтись в цикле по этим кнопкам, получить часть URL из дата атрибута который является частью url и в цикле подставить это значение для товара и получать цену новую, т.е когда я зупущу скрипт на один товар, то он кроме основного товара должен еще пройтись по его вариантам и за один раз выдать всю инфу. это получится много запросов за один раз, забанят быстро?

[Stalker_RED]

Bjornie, Я не вникал в особенности амазоновского антиграббера, но считаю, что чем больше ваш парсер похож на "обычного человека™", тем меньше шансов увидеть капчу. А обычный браузер не меняет свой UA при каждом запросе.

[imdeveloper]

Stalker_RED, А может у вас остался еще код для поиска товаров на амазоне через php?

[Stalker_RED]

imdeveloper, нет, я не искал ничего, я отслеживал некоторые нужные товары по заранее известным ссылкам.

Answer 2

[Диана]

попробуйте Content Downloader программу, граблю контент везде через нее