Алексей Сундуков

//div[@class=""d-md-flex justify-content-between mb-4""]//span

вернет только span, поэтому исключать i не требуется. Но что-то мне говорит, что проблема не в этом.

Средствами самого XPath как такового - ни как. Но зная нужный элемент можно средствами какого либо языка программирования получить исходный код.

программа не может понять какой именно checkbox

Нет, не так. Если под выражение попадает несколько элементов, то возвращается коллекция таких элементов. Но тут явно в ошибке указано "no such element". В момент выполнения команды find_element элемента на странице нет. Если при просмотре страницы в браузере элемент этот есть, значит нужно просто подождать пока он в DOM появится. Для это используют WebDriverWait/until. Для питона это описано в документации: 5.1. Explicit Waits

//h2[1]/p

Причина простая. В браузере DOM строит JavaScript. И этот DOM отличается от того, что строит PHP (потому что там нет исполнение JavaScript кода).

Решение простое - запускать хром в режиме headless, использовать webdriver протокол для выполнения XPath выражений внутри браузера.

Стоит воспользоваться функцией contains(). Примерно так:

//div[contains(text(), "Досуг и развлечения") and @class="p-index__segment-title"]/parent::a

Через CSS не уверен, что получится, а через XPath можно таким выражением:

//i[@class="fas fa-download"]/following-sibling::b[1]/text()

XPath хорошо подходит для для навигации и фильтрации DOM дерева. Поэтому первую часть задачи - найти div-ы, он решить может. А дальше уже нужно использовать регулярные выражения для вырезки нужной подстроки.

Вообще в XPath есть функции работы со строками и регулярные выражение, но работают они плохо. Поэтому эту часть нужно реализовать на своем языке через регулярки получив содержимое div через XPath в виде строки.

Если возникает желание записать регулярку в рамках XPath, то скорее всего постановка задачи изначально ошибочная. Во второй версии спецификации добавили функцию matches, но работать она в разных реализациях может по разному. В целом тут должно быть что-то в духе:
//*[matches(., '\d{12}')]
но в таким виде задачи это не решит (попадут все предки от данного элемента до корня документа). Т.е. короткий ответ - в XPath решения нет если ставить исходную задачу именно так. Лучше написать пример разметки из которой нужно вытащить данные и по какому критерию.

Можно без веб драйвера данные взять. Там в исходной коде есть JavaScript код в котором все нужные данные есть:

wb.spa.init({
    router: {
        routes: routes,
        routesDictionary: routesDictionary,
        currentRoute: "SpaProductCardEntrypoint",
        modules:  {тут-данные},
        ssrModel: {...},
    },
    seoHelper: { ... }
});

Можно просто загрузить контент страницы, регуляркой найти там wb.spa.init и взять внутренний JSON.

Используйте из WebDriver wait с передачей XPath локатора и таймаута.

Нужно кликнуть кнопку "Далее" в форме регистрации аккаунта хухл.

Для кнопок на парсинге обычно очень хорошо работает конструкция:
//*[contains(text(),'Далее')]

Для начала нужно точно сформулировать, что требуется достать из html. В приведенном html коде у ссылок (тег а), нет атрибута id. Пробелы в понимании XPath поможет закрыть это видео: XPath это сильно!

Второй аспект. Если страница грузиться через Google таблицы, то это вероятнее не будет работать по причинам указанным тут: В чем ошибка при запросе данных при помощи importx...

iframe обладает url. Почему бы его не открыть по прямой ссылке и работать с этой страницей?