Парсинг страницы без селениума?

Question

[Anton2001]

Здравствуйте , есть ли способ спарсить страницу которая подгружается js без селениума ?

Answer 1

[Владимир Куц]

Ну сохраните страничку из броузера - да парсите... Либо использовать микросервисы, которые будут грузить да рендерить страничку сами, а отдавать вам уже готовый код для парсинга - к примеру на nightmare каком-нибудь...
Ну либо костылить свой селениум.
А чем селениум не угодил?

Comments

[Anton2001]

окном браузера , сейчас пробую phantomjs но тут тоже трабла , вот пример кода

var driver = new PhantomJSDriver();
                driver.Url = @"site";
                Thread.Sleep(6000);
                File.AppendAllText("dbg.txt", driver.PageSource);

только вот сохраняется шапка и футер . Те контент который грузиться js нету

[Владимир Куц]

Anton2001, может там защита от парсинга используется?
Попробуйте хедерами поиграться. Попробовать поизменять User-Agent, Referer и прочее...

[Василий Банников]

Anton2001, фантомжс же вроде не поддерживается.
И почему Thread.Sleep()?

[Anton2001]

Владимир Куц, если использую вместо phantomjs хром то работает нормально , защиты нету
Василий Банников, 1) не поддерживается но не запускает браузер который реально достал
2) костыль чтоб дать сайту прогрузиться

[Владимир Куц]

Anton2001, хром можно запускать в headless режиме если что.
phantomjs - действительно не поддерживается давно...

[Василий Банников]

Anton2001,
1. headless chrome
2. лучше ориентироваться на появление конкретных элементов, а не на время.
Есть вроде Wait.For