Как скачать картинку со страницы в php webdriver?

Question

[khodos_dmitry]

Допустим, я нашел src картинки на странице. Как мне ее сохранить к себе теперь? Интересует использование именно webdriver, а не получить полный урл и скачать http запросом.
Проблема: нужно скачать картинки с сайта, но сайт защищен cloudflare. curl не проходит javascript-тест. Отдельно взять и скачать каждую картинку при помощи selenium тоже не выходит, видимо идет проверка по referer или как-то еще. Нужно открыть страницу и сохранить оттуда картинки.
Пытался так это реализовать (открыть картинку в новой вкладке и скачать оттуда):

$crawler = $client->request('GET', $url);

    $client->waitFor('html');

    $imgs = $client->findElements(WebDriverBy::cssSelector('img'));

    foreach ($imgs as $img) {
        $img_url = $img->getAttribute('src');
        $client->executeScript("window.open('$img_url');");
    }

    $windows = $client->getWindowHandles();

    $visitedWindows[] = $client->getWindowHandle();

    foreach ($windows as $window) {
        if (in_array($window, $visitedWindows, true)) {
            continue;
        } else {
            $client->getWebDriver()->switchTo()->window($window);
        }
    }

Но получаю ошибку: stale element reference: element is not attached to the page document (Session info: headless chrome=88.0.4324.104)
При том, что скрипт выше все урлы картинок находит правильно.

Answer 1

[0ffff0]

curl -Ls -o file.jpg

Comments

[khodos_dmitry]

я ж написал, что нужно скачать именно вебдрайвером.

[0ffff0]

khodos_dmitry, у вас селениум, или что? в его библиотеку входит 192 приложения, в том числе cli, задачу опишите подробнее, чтобы не было как в анегдоте, - Медведь слышь, дай в зубы, чтобы задымилось

[khodos_dmitry]

0ffff0, дописал проблему.

[0ffff0]

khodos_dmitry, понятно
In Truth, We Are All Script Kiddies

[khodos_dmitry]

0ffff0, у меня с английским плохо. О чем там говорится?

[0ffff0]

khodos_dmitry, представьте, что там у вас спросили:
Как система тестирования, использующая всю мощь таких языков как PHP, C# Python, Ruby и PERL для создания более сложных тестов, способная отправлять команды непосредственно в браузер и извлекать результаты и т.д., поможет вам получить данные, которые владелец сайта пожелал скрыть от вас?
Такой вот, вольный перевод.

Answer 2

[Евгений Палыч]

Методом executeScript создаём ссылку на странице в href которой помещаем ObjectURL картинки. Далее делаем клик по нашей ссылке и картинка в папке загрузок.
js для получения картинки будет примерно такой:

async function fetchImage(url){
  const data = await fetch(url, {credentials: 'include'});
  const contentType = data.headers.get('content-type');
  const buffer = await data.arrayBuffer();
  const blob = new Blob([buffer], { type: contentType});
  return blob;
}
async function createLinkImage(url){
    var blob =  await fetchImage(url);
    var link = document.createElement('a');
    link.id = 'saveImageLink'; 
    link.href = URL.createObjectURL(blob);
    link.download = "image.jpg"; //желательно подставлять расширение из contentType картинки
    link.innerHTML = 'скачать image';
    document.body.append(link);
}
createLinkImage('https://site.site/picture.jpg');

Для загрузки нескольких картинок с одной страницы, необходимо подправить скрипт, чтобы исключить повтор элемента на странице с одинаковым id

Comments

[khodos_dmitry]

Спасибо. А если просто создать такую ссылку:
download 1
И на нее кликнуть?

[khodos_dmitry]

Возникает ошибка: element not interactable

[khodos_dmitry]

Или, если точно как у Вас, то такая ошибка:
Failed to execute 'createObjectURL' on 'URL': Overload resolution failed.

[Евгений Палыч]

khodos_dmitry, поправил ответ, проверил в консоли firefox - работает, но в chrome проблема с URL.createObjectURL. Попробуйте поискать как в chrome использовать в ссылках blob данные и подправить js.

Для кроссдоменных запросов: {credentials: 'omit'}

А если просто создать такую ссылку ...

Просто покажет картинку

Failed to execute 'createObjectURL' on 'URL': Overload resolution failed.

Возможно window.URL.createObjectURL(blob)

[khodos_dmitry]

Евгений Палыч, пробовал в firefox с window. Такая ошибка получилась:
TypeError: URL.createObjectURL: Argument 1 is not valid for any of the 1-argument overloads.

[khodos_dmitry]

Евгений Палыч, вроде решил так:
link.href = blob.srcObject;

[khodos_dmitry]

Евгений Палыч, но возникла такая ошибка при загрузке картинки:
Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverCurlException: Curl error thrown for http DELETE to /session/2f92aee0-1fa4-4efa-a60d-aad050a529be Operation timed out after 30001 milliseconds with 0 bytes received in G:\OpenServer\domains\panther-test\vendor\php-webdriver\webdriver\lib\Remote\HttpCommandExecutor.php on line 332

[khodos_dmitry]

khodos_dmitry, один раз возникла такая проблема. Теперь все нормально. Теперь непонятно куда скачивается картинка. никаких сообщений об ошибках не возникает. Но картинки нигде нету. На всем ПК поискал.

[Евгений Палыч]

khodos_dmitry, Попробуйте запустить js скрипт в консоли браузера ручками без selenium, желательно встать на страницу сайта с которой будете работать.
Если ошибок нет, то находим нашу ссылку и пробуем кликнуть.
Загрузка должна происходить в папку указанную в настройках браузера.

link.href = blob.srcObject;

сомневаюсь, это не то.

[Евгений Палыч]

khodos_dmitry, При клике на созданную ссылку должно появится диалоговое окно, что приведёт к ещё к одному вопросу "как с ним работать". Для firefox есть в сети инструкции предварительных настроек для сохранения файлов.
Ещё есть вариант по вашему вопросу - это закодировать файл в base64 и отправить его на свой сервер где его декодируем и сохраняем. Чтение, кодирование и отправку тоже делаем на исходной странице с помощью js.

[khodos_dmitry]

Евгений Палыч, в итоге получаются вот такие ссылки:

<a id="download-sdftyu-3" href="undefined" download="sdftyu3.png">Скачать</a>

Видимо blob.srcObject не подходит.

[khodos_dmitry]

Евгений Палыч, насчет диалогового окна. Я поставил такие настройки:

$client = \Symfony\Component\Panther\Client::createChromeClient(null, [
        '--window-size=1366,768',
        '--headless',
        '--disable-gpu'
    ], ['port' => 9116,
        'download.default_directory' => 'g:\OpenServer\domains\panther-test\test3-imgs\\',
        'safebrowsing.enabled' => 'false']);

Не знаю верные ли они для хрома. https://peter.sh/experiments/chromium-command-line... - здесь я не нашед консольную команду для установления директории загрузки.