Алексей Сундуков

//div[@class=""d-md-flex justify-content-between mb-4""]//span

вернет только span, поэтому исключать i не требуется. Но что-то мне говорит, что проблема не в этом.

Средствами самого XPath как такового - ни как. Но зная нужный элемент можно средствами какого либо языка программирования получить исходный код.

программа не может понять какой именно checkbox

Нет, не так. Если под выражение попадает несколько элементов, то возвращается коллекция таких элементов. Но тут явно в ошибке указано "no such element". В момент выполнения команды find_element элемента на странице нет. Если при просмотре страницы в браузере элемент этот есть, значит нужно просто подождать пока он в DOM появится. Для это используют WebDriverWait/until. Для питона это описано в документации: 5.1. Explicit Waits

Нужно использовать webdriver и headless режим запуска браузера. Хром это умеет и самое простое сейчас это запустить его в docker пример как тут описано: https://stackoverflow.com/a/60009842 . А дальше можно посылать ему команды и можно делать не только парсинг, но и писать ботов. Управлять лучше через Xpath.

Вот видео с техническими деталями и примерами кода как это может работать: https://www.youtube.com/watch?v=QljcCuKTqGM&list=P...
А тут про XPath если с ним нет опыта: https://www.youtube.com/watch?v=id_MNxmdRvk

Сам по себе curl работает очень быстро. Но есть время ответа сервера. И если он отвечает 8 секунд, то значит это минимальное время выполнения вашего кода. На уровне PHP кода вы ни как это не ускорите.

Но нужно разбираться, действительно ли сервис отвечает 8 секунд и если да, то почему. На задачах парсинга часто сервис который приходится парсить отслеживает IP адреса и при большом количестве запросов начинает увеличиваться время отклика персонально для вас (благо в конфиге nginx это 1 строка). И в таких случае необходимо начать использовать анонимные прокси.

//h2[1]/p

Для этого нужно запустить отдельный pool задав директиву user см. https://www.php.net/manual/ru/install.fpm.configur... . Тогда php будет выполняться от заданного юзера, а не www-data.

Я на своем сервере делаю так. У каждого отдельного юзера есть свой php pool который работает от своего юзера + слушает сокет на 127* интерфейсе. Пример конфига /etc/php/7.0/fpm/pool.d/aliya.conf (юзер это aliya):

[aliya]
listen                 = 127.0.0.1:9041
listen.backlog         = 20
listen.allowed_clients = 127.0.0.1
catch_workers_output   = yes

user  = aliya
group = aliya

pm                   = dynamic
pm.min_spare_servers = 2
pm.max_spare_servers = 4
pm.start_servers     = 3
pm.max_children      = 5
pm.max_requests      = 50

env[HOSTNAME] = $HOSTNAME
env[PATH]     = /usr/local/bin:/usr/bin:/bin
env[TMP]      = /tmp
env[TMPDIR]   = /tmp
env[TEMP]     = /tmp

php_admin_value[display_errors]  = stderr
php_flag[display_startup_errors] = on
php_admin_flag[log_errors]       = on

php_admin_flag[mail.add_x_header] = on
php_admin_value[sendmail_path]    = /usr/sbin/mini_sendmail -t -f***@***a.ru
php_admin_value[mail.log]         = /var/www/aliya/data/log/mail.log

php_admin_value[memory_limit]      = 256M
php_admin_value[session.save_path] = /tmp

Причина простая. В браузере DOM строит JavaScript. И этот DOM отличается от того, что строит PHP (потому что там нет исполнение JavaScript кода).

Решение простое - запускать хром в режиме headless, использовать webdriver протокол для выполнения XPath выражений внутри браузера.

Стоит воспользоваться функцией contains(). Примерно так:

//div[contains(text(), "Досуг и развлечения") and @class="p-index__segment-title"]/parent::a

Нужно использовать конструкции группы wait...untile. В puppeteer как я пониманию используются функции waitFor()/waitForSelector() когда аргументом передается искомый селектор (а не таймаут, как в текущем коде) https://github.com/puppeteer/puppeteer/blob/main/d...
Т.е. схема такая: клик по кнопке, ожидание пока появится элемент с текстом"Приступить к выполнению", кликнуть по этому появившимуся элементу.

Через CSS не уверен, что получится, а через XPath можно таким выражением:

//i[@class="fas fa-download"]/following-sibling::b[1]/text()

XPath хорошо подходит для для навигации и фильтрации DOM дерева. Поэтому первую часть задачи - найти div-ы, он решить может. А дальше уже нужно использовать регулярные выражения для вырезки нужной подстроки.

Вообще в XPath есть функции работы со строками и регулярные выражение, но работают они плохо. Поэтому эту часть нужно реализовать на своем языке через регулярки получив содержимое div через XPath в виде строки.

Если возникает желание записать регулярку в рамках XPath, то скорее всего постановка задачи изначально ошибочная. Во второй версии спецификации добавили функцию matches, но работать она в разных реализациях может по разному. В целом тут должно быть что-то в духе:
//*[matches(., '\d{12}')]
но в таким виде задачи это не решит (попадут все предки от данного элемента до корня документа). Т.е. короткий ответ - в XPath решения нет если ставить исходную задачу именно так. Лучше написать пример разметки из которой нужно вытащить данные и по какому критерию.

Артем, какие в итоге успехи? Удалось ли интегрироваться? На сколько адекватно работает API, да и есть ли оно по факту?

Меню приведенное на скрине появилось и у меня. Открыл с FireFox. Вероятно завязано на какие-то куки.
Для решения поставленной задачи нужно использовать wait.until из WebDriver на результат XPath выражения:
//button[@alt="Найти"]
Возможно перед этим потребуется закрыть попап со скрина.
На C# не пишу, но подход для работы с WebDrive во всех языках примерно одинаков. Код будет примерно таким как тут описано: https://www.lambdatest.com/blog/explicit-fluent-wa...