Добрый вечер!
Скажите, как правильно парсится сайт, у которого практически все функции на js? То есть, новостной сайт, у новостей нет урлов отдельных. Надо нажать на новость, и js отработает открытие модалки, дальше аяксом с сервера подгрузится нужная новость и вставится в эту модалку. А вот как парсер написать, чтобы он мог делать это открытие новости и получать пришедшие данные?
Вычитал, что phantom js умеет работать с js, но что-то как его использовать в качестве парсера я не понял.
Матвей Истомин, К сожалению, все не так просто. Айди присваиваются новостям при загрузке страницы. Там массив айдишников на vue. Т.е. чтобы увидеть эти айди - надо зайти на сайт с браузера, понимающего js. Ну а аякс отправлять можно только зная айди. Иначе какие новости тягать, если айди неизвестен?)
lolrofl01, а массив айдишников новостей, который ты думаешь так глубоко запрятан фронт откуда получает? Там скорее всего грубо первый ажакс запрос и получает айдишники последних новостей