Парсинг HTML, cгенерированного JS

Question

[Александр Skipped]

Если имеются запутанные хитрые страницы, данные на которых появляются после выполнения JS кода, то как их обычно парсят?

Answer 1

[Анатолий]

Смотрят куда ходил JS (ajax),
что добавлял на страницу
и что изменял, и получают результат.

                С ув. Ваш К.О.

Answer 2

[Марк]

Можно применить какой-то Selenium и выполнить всё браузером (медленно, но очень достоверно).
Можно, как писали выше, имитировать поведение js в своем парсере (быстро, но иногда достаточно сложно).
Смотря какая задача.

Comments

[Евгений Лещенко]

+1 к Selenium. Если не важна скорость, то наиболее эффективный вариант. Все выполнится в реальном браузере, а с помощью драйвера ( они есть под большинство популярных языков ) можно тут же как угодно управлять данными.

Answer 3

[Dmitry]

У вас в тегах значится перл. Как бы я делал на шарпе. Можно использовать готовый движок webkit, ie. Там браузер выполнит за нас всю черновую работу, считаю это самым легким путем. Для перл может быть тоже есть соответствующие обертки. Можно воспользоваться интерпретатором JS для шарпа, таких много, но нужно разбираться как его интегрировать. Вообще надо смотреть конкретную задачу.

Answer 4

[Coderr]

Смотрят JS код, куда он отправляет данные, и как получает, и парсят там, куда он отправил/получил.