Задать вопрос
  • Амазон блокирует все парсеры?

    @Zimaell Автор вопроса
    Иван Шумов, да я имел ввиду эмулятор браузера, как я писал выше с помощью phantomjs я и логинюсь и капчу распознаю (через сервис) и делаю все шаги что нужно, работает все отлично, но в один поток...
    Если б они ключи к апи дали то и проблем бы не было, а так вот велосипеды всякие выдумываю...
    Пора переходить на другую платформу где доступ к апи по проще получить, к тому же ибею и то за 3 недели полный доступ получил на 1.5кк запросов, а амазон...
  • Амазон блокирует все парсеры?

    @Zimaell Автор вопроса
    Иван Шумов, что на что не повлияет? не совсем понял...
    Я про то что через curl никак не получить страницу а через эмулятор получается но в один поток только, а товаров то тысячи...
  • Амазон блокирует все парсеры?

    @Zimaell Автор вопроса
    единственное что приходит на ум - перейти на эмулятор, у меня так автопокупки там делаются успешно, вот только проблема что в один поток, использую phantomjs...
    Как думаете есть сейчас какие эмуляторы чтобы через них можно было запускать в 300-400 потоков?
  • Амазон блокирует все парсеры?

    @Zimaell Автор вопроса
    Moskus, в чём суть данного высказывания? позлорадствовать?
    Им же минус, так как дроперы не будут у них покупать...
    Я же задал вопрос тем кто сталкивался с подобной проблемой, решил её, и может поделиться как если ему не сложно...
    Будут дальше блочить другую платформу просто выберу...
  • Как получить ключи на amazon central?

    @Zimaell Автор вопроса
    На сколько я понял то нужно для начала правильно заполнить их форму, как-то же другие получают эти ключи

    А на счет AWS, в том то и дело что я запутался что и как у них устроено, есть амазон, есть амазон клауд, амазон для построения своих апи (но к самому амазону как магазину не относится), амазон партнерка...
    Если уж на то пошло то просто скажите там ли я вообще регистрируюсь?
    Или можно еще где-то можно чтобы исполнить мою задачу...
    В общем задача проста - получать из api цену товара и количество, все...
  • Где можно взять дополнительные ip для сбора информации (свои прокси)?

    @Zimaell Автор вопроса
    Да я сейчас тоже использую сбор с публичных источников, собирает около 20тыс ip, из них в разное время рабочих 1.5к-3к, а из них не забаненных на том сайте где я собираю инфо 100-200шт...
    То есть их так же кто-то использует для этого сайта и вылазит там капча.
    100-200 это мало конечно, поэтому и думаю как сделать свои личные, чтобы их никто не мог использовать, таким образом стабильнее сбор информации будет (если раз в минуту использовать ip)...
  • Как использовать спецсимволы в json_encode PHP?

    @Zimaell Автор вопроса
    Антон Шаманов, ошибку 5 выдает, по описанию
    case JSON_ERROR_UTF8:
                echo ' - Некорректные символы UTF-8, возможно неверно закодирован';
            break;

    вот так вот выглядит массив $cmdArr который посылается перед использованием

    array(1) {
      ["cmd"]=>
      array(5) {
        ["id"]=>
        string(13) "5cead72fb9d37"
        ["name"]=>
        string(14) "sendkeypresses"
        ["timeout"]=>
        int(30000)
        ["options"]=>
        array(2) {
          ["keys"]=>
          array(16) {
            [0]=>
            string(1) "M"
            [1]=>
            string(1) "�"
            [2]=>
            string(1) "�"
            [3]=>
            string(1) "n"
            [4]=>
            string(1) "c"
            [5]=>
            string(1) "h"
            [6]=>
            string(1) "e"
            [7]=>
            string(1) "n"
            [8]=>
            string(1) "g"
            [9]=>
            string(1) "l"
            [10]=>
            string(1) "a"
            [11]=>
            string(1) "d"
            [12]=>
            string(1) "b"
            [13]=>
            string(1) "a"
            [14]=>
            string(1) "c"
            [15]=>
            string(1) "h"
          }
          ["modifiers"]=>
          array(0) {
          }
        }

    слово туда посылается Mönchengladbach, видно что умлаут разделило на 2 значения, походу именно в этом и проблема, как это решить?
  • Как использовать спецсимволы в json_encode PHP?

    @Zimaell Автор вопроса
    Антон Шаманов, кодировку показывает utf-8 , сам док был в ANSI, этот док (в котором находится эта функция) преобразовал в utf-8, но это не помогло...
  • Как использовать спецсимволы в json_encode PHP?

    @Zimaell Автор вопроса
    да изначально и было без JSON_UNESCAPED_UNICODE, это я подставил думал пройдет, в общем все равно не работает и без них...

    библиотека называется merlinthemagic (MTS), если слышали про такую, вот с ней и проблема, там вот есть к примеру строки
    $windowObj->mouseEventOnElement("[id=City]","leftclick");
    $windowObj->sendKeyPresses($city_name);

    то есть ввести в поле значение, и если там будет умлаут то будет ошибка, а ошибка показывает что json_encode не справляется с ними, и вот думаю что можно с этим поделать...
  • Как установить merlinthemagic (MTS)?

    @Zimaell Автор вопроса
    Дмитрий, ну там написано что его можно и так скопировать и потом запустить установочный файл...
    К тому же же там написано что если его установить через компосер то все равно нужно будет запускать установочный файл...

    установил через компосер, выдало

    Warning: mkdir(): Permission denied in /var/www/html/vendor/merlinthemagic/mts/MTS/Common/Tools/FileSystems/Directories.php on line 49

    Fatal error: Uncaught Exception: MTS\Common\Tools\FileSystems\Directories::create>> Failed to create directory: /var/www/html/vendor/merlinthemagic/mts/MTS/WorkDirectory/LHB_5ce53d6e76e69 in /var/www/html/vendor/merlinthemagic/mts/MTS/Common/Tools/FileSystems/Directories.php:51 Stack trace: #0 /var/www/html/vendor/merlinthemagic/mts/MTS/Common/Tools/FileSystems/Files.php(38): MTS\Common\Tools\FileSystems\Directories->create(Object(MTS\Common\Data\Computer\FileSystems\Directory)) #1 /var/www/html/vendor/merlinthemagic/mts/MTS/Common/Devices/Actions/Local/Host/Browser.php(52): MTS\Common\Tools\FileSystems\Files->create(Object(MTS\Common\Data\Computer\FileSystems\File)) #2 /var/www/html/vendor/merlinthemagic/mts/MTS/Common/Devices/Actions/Local/Host/Browser.php(13): MTS\Common\Devices\Actions\Local\Host\Browser->execute() #3 /var/www/html/vendor/merlinthemagic/mts/MTS/Common/Devices/Types/Localhost.php(20): MTS\Common\Devices\Actions\Local\Host\Browser->getBrowser('phantomjs', false) #4 /var/www/html/module/test/test.php(7): in /var/www/html/vendor/merlinthemagic/mts/MTS/Common/Tools/FileSystems/Directories.php on line 51
  • Как правильно пользоваться composer?

    @Zimaell Автор вопроса
    Евгений Николаев, вот то же посоветовал автор Ilya Loginov ниже, установил все верно, теперь вот другая ошибка, я ниже описал ее
  • Как правильно пользоваться composer?

    @Zimaell Автор вопроса
    вот по этой инструкции устанавливал
    jonnnnyw.github.io/php-phantomjs/4.0/2-installation
    и оно туда его кинуло, до этого все было удалено, композитора удалял со всеми его файлами
  • Как правильно пользоваться composer?

    @Zimaell Автор вопроса
    В том то и дело что vendor находится в руте
    /root/vendor/

    Warning: require_once(/root/vendor/autoload.php): failed to open stream: Permission denied in


    а файл исполняется
    /var/www/html/test.php
  • Как правильно пользоваться composer?

    @Zimaell Автор вопроса
    так туда я не могу сделать запрос так как этот файл лежит ниже, то есть

    echo $_SERVER['DOCUMENT_ROOT'];
    # /var/www/html

    а vendor лежит в руте
  • Как программно купить товар на амазоне?

    @Zimaell Автор вопроса
    Логиньтесь нормально настроенным (естественным) запросом

    Это как?
    Обычные страницы (без залогинивания) я спарсиваю без всяких проблем, если бы я залогинился то и остальные операции я думаю сделал бы...
    вот именно залогиниться проблема для меня сейчас...

    selenium - почитаю что и как, не сталкивался еще...
  • Как скачать картинку (капчу) на сервер (PHP)?

    @Zimaell Автор вопроса
    Скриптом захожу на сайт, создаю куки, захожу на адрес входа, ввожу данные, появляется капча, пытаюсь ее скачать, не получается, куки используются, хеадер используется, реферальная ссылка указывается, что еще нужно не пойму...

    Да и в левом браузере ввожу эту ссылку и картинка открывается, значит куки и хеадер не нужен, как ее скачать ума не приложу...
  • Можно ли совместить работу php с ZennoPoster?

    @Zimaell Автор вопроса
    там написано что свой код можно использовать если js или c#, а вот php использовать?
    мне он нужен для определенных действий эмулирующий действия человека, например авторизация на сайте, и можно ли взять с помощью php данные из бд поместить в эту программу и потом взять полученные данные?

    Либо есть ли какие то другие инструменты позволяющие сделать это?

    Просто с С# не работал, а js не подойдет для работы на сервере...
  • Как вызвать js функцию через php?

    @Zimaell Автор вопроса
    Lander, я вот и не пойму как это сделать, просто беру этот кусок кода js и запускаю его, ничего не происходит, как он там создается и как его оттуда брать не понимаю...
    рассматривать их функции которые находятся в их библиотеке нереально, все зашифровано...
  • Как авторизоваться на амазоне через CURL PHP?

    @Zimaell Автор вопроса
    Скрипт же не будет вводить постоянно капчу...
    Точнее у меня таких познаний нет чтобы скрипт мог разбирать капчу и вводить ее...