Как дождаться полной загрузки страницы в Selenium php?

Question

[kupurim]

Здравствуйте.
Есть парсер написанный на Selenium WebDriver. Ссылка на него тут.
Изначально все работало отлично, после изменений на сайте страница стала долго грузиться и аяксом подгружается основная информация. А сначала только блок с названием и прелоадер.
И получается что мне отдается не весь html код страницы, а только блок с прелоадером.
В документации было написано что можно ждать 10 секунд с интервалом проверки на наличие так:

$driver->wait(10, 1000)->until(
          function () use ($driver) {
              $elements = $driver->findElements(WebDriverBy::cssSelector('#a-match'));
              return count($elements) == 1;
          },
          'Error element'
        );

Но ничего не происходит, скрипт работает ~10 секунд и выдает ошибку "Error element", и получается что он не сумел найти нужный блок.
Как можно решить этот вопрос?

Answer 1

[Дмитрий Еремин]

там, где конфигурите драйвер, проставьте ожидание (читать)

Не силен в php, но вам нужно что-то вроде такого:
driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);

Так вы зададите время драйверу на ожидание выполнения вашего условия (еслиусловие выполнится раньше - получите раньше)

Дальше вопрос, сколько вы готовы ждать (люди иногда и 60 секунд ставят).

Comments

[kupurim]

Так же пробовал ставить
$driver->manage()->timeouts()->implicitlyWait(10);
Но это не работает, скрипт выполняется как и без него по времени и не весь код подгружается.
Только что пробовал так:

$driver = RemoteWebDriver::create($host, $capabilities, 5000);
        $driver->manage()->timeouts()->implicitlyWait(60);
        $driver->get($url); 
        $driver->wait();    
         
        $driver->wait(60, 1000)->until( 
          function () use ($driver) {
              $elements = $driver->findElements(WebDriverBy::cssSelector('#a-match'));
              return count($elements) == 1;
          },
          'Error element'
        );

И в результате ждал минуту пока отработает скрипт и в результате все так же ошибка "Error element".
Сейчас почитаю статью что скинули.

[kupurim]

Уже и так пробовал:

$driver->manage()->timeouts()->implicitlyWait(60);
$driver->manage()->timeouts()->pageLoadTimeout(60);
$driver->manage()->timeouts()->setScriptTimeout(60);

Все равно не могу получить полную страницу.

[Дмитрий Еремин]

kupurim, тогда вопрос, а запрос-то вообще выходит, чтоб элементы подгрузились?

[kupurim]

Дмитрий Еремин, Я вас немного не понял. В браузере все хорошо подгружается, до сегодняшнего дня скрипт работал отлично, но что-то пошло не так (прелоадер и раньше вроде как был и все работало) и теперь попросту не работает...

Answer 2

[grinat]

Если там аяксы, то только так: $driver->wait(10, 1000)->until(
WebDriverExpectedCondition::visibilityOfElementLocated(WebDriverBy::id('first_name'))
);
то есть надо ждать пока некий элемент не опявится, либо пока прелоадер после аякса не исчезнет, и потом уже что выполнять.