Как парсить контент из Iframe?

Question

[nezzard]

Добрый день, перерыл пол интернета, ничего не могу найти.
Суть задачи, имеется iframe в котором есть html>body и так далее.
Мне нужно взять ссылку из определенного контейнера, в интернете почитал что если iframe на другом домене то такой возможности нету.
Но в англоязычных источниках проскакивала информация, что можно использовать headless браузеры для таких дел, парсить страницу и потом делать ее разбор.
Подскажите все таки это возможно? Если да, то в какую сторону смотреть?

Comments

[eternalfire]

что за iframe?

Answer 1

[nezzard]

Нашел решение
Использую puppeteer, добавил агрумент --disable-web-security, потом прошелся по всем iframe и элементам которые мне нужны, дошел до нужной ссылки

Answer 2

[Максим Тимофеев]

Не совсем понятно почему в тегах и php и node? Вам на чем реализация нужна? В php можно просто реализовать CURL и получить контент страницы и распарсить его. Но тогда возникает вопрос "а зачем нам iframe если мы уже получили его контент?" Хотя возможно для seo нам не всегда хочется вставлять в свой контент чужой, так что можно иметь отдельно ifame и отдельно данные из CURL.
Если речь о node, то там действительно есть безбашенные (Headless) браузеры, читать тут:
https://habr.com/company/oleg-bunin/blog/421137/

Comments

[nezzard]

Мне не принципиально php или node, на чем можно на том и буду делать.
Я с помощью curl не смог получить содержимое айфрейма.
Внутри айфрейма (который не на моем домене) находится тег внутри которого ссылка, которую мне и нужно получить

[Максим Тимофеев]

nezzard, с помощью CURL надо получать содержимое страницы по url, а не содержимое айфрейма. У iframe есть атрибут src, там содержится url c которого он получает данные, так что просто отправляете CURL-ом запрос на этот url и парсите результат (достаете от туда ссылки и что угодно еще). Есть куча библиотек для парсинга под php, которые с этим справятся, например:
https://habr.com/post/69149/

[nezzard]

Максим Тимофеев, Так не получается у них стоит защита какая-то, при открытии этого урл напрямую там ничего не выводится

[Максим Тимофеев]

nezzard, в iframe открывается, а по curl нет? Пример iframe в студию

[nezzard]

Максим Тимофеев, jsfiddle.net/ahk1wzdt

Answer 3

[RidgeA]

Подскажите все таки это возможно? Если да, то в какую сторону смотреть?

headless браузеры

Comments

[nezzard]

Можете хоть примерно подсказать что подходит puppeteer, jsdom
Какая последовательность и т.д.?

Answer 4

[eternalfire]

Как организовать парсинг iframe при помощи javascript?