Как спарсить сайт, если на нем JavaScript'ы, которые перекидывают на главную страницу?

Question

[Matthew Stafford]

Вопрос в шапке, за помощь спасибо!

Comments

[DanKud]

Опишите конкретнее как устроена нужная для парсинга страница. Скрипты то как раз при парсинге НЕ срабатывают и никуда перекидывать не должно.

[Matthew Stafford]

Почему не срабатывают? При парсинге идет запрос к странице ( соответственно все джава, ксс тоже подключаются ).@DanKud,

Answer 1

[Пычев Анатолий]

Скорее всего на главную страницу Вас перекидывает потому, что Вы не авторизованы.

Сделайте первый запрос на главную страницу, сохраните куку, затем идите по нужным страницам.

Comments

[Matthew Stafford]

Нет, то что мне надо спарсить не требует авторизации.

[Пычев Анатолий]

Это не важно, требует оно авторизации или нет, иногда бывает так настроен сервер, что если заходишь с голой кукой, т.е. без нее, то тебя автоматом на главную кидает.
Просто попробуйте зайти вторым запросом с сохранением куков.
Может получится

[Matthew Stafford]

Пычев Анатолий, нет там просто в джаваскрипте прописано, если ты открываешь сайт не их домене, то тебе перекидывает к ним.

[Пычев Анатолий]

А причем тут JS?
Вы чем парсите?
Вы что делаете полную подгрузку всей страницы со стилями и скриптами? Не грузите скрипты, они и не запустятся и не перенаправят, или какой то один скрипт не грузите.

[Matthew Stafford]

Пычев Анатолий, ну тема в каком разделе??? PHP, видимо с помощью file get contents и делаю.

[Пычев Анатолий]

Ваша фраза

видимо

- это сарказм или вы действительно не знаете чем парсите?
Насколько я знаю file get contents не погружает самостоятельно скрипты и не обрабатывает их.
Используйте CURL, отключите редирект и посмотрите что прилетит.

Answer 2

[Евгений Николаев]

Возможно когда вы выводите информацию вместе с ней выводится и JavaScript.
То есть делаете к примеру так $html = file_get_contents("http + :// + domen + / + url");// написал в таком формате чтобы ссылкой не заменялось
затем выводите echo $html;//и получается выводится JavaScript который выполняется и затем например понимая что вы не на том домене перебрасывает Вас на другой сайт.
Чтобы этого не было при отладке выводите $html так:
echo htmlspecialchars($html);// то есть экранируйте вывод html тегов