Я знаю что запросами нельзя парсить js, но, у меня есть 2 сайта:
- https://martech24.com/no/om-du-hadde-investert-200...
- https://www.lampehuset.no/lamper/barnelamper/bordl...
В каждом из этих сайтов в head есть скрипт (type="application/ld+json" --- я хочу получить скрипт с таким атрибутом). С первого сайта без проблема парсится данный скрипт, с второго не парсится, я попробовал откл js и увидел что когда js откл весь js с кода второго саайта пропадает, но в коде первого сайта продолжает отображаться.
- Почему так происходит?
- И можно ли понять какой сайт при запросе вернет js в коде странице, а какой нет? (у меня скрипт парсит страницы, мне нужно спарсить js, как мне понять что сайт отдает код без js, чтобы отобрать эти сайты и потом с помощью selenium`a спарсить нужные мне части)
- Какой самый оптимальный вариант парса в данной ситуации? (как лучше спарсить js в сайтах которые его не возвращают на запрос)