Как парсить сайт где нужна регистрация?

Question

[heatshot13]

Есть сайт где для того что бы видеть контент нужно быть авторизованным , как сделать парсинг ? . Какие есть решения на PHP + JAVASCRIPT ?

Answer 1

[l1l1l1]

Советую использовать для граббинга Selenium.

Answer 2

[ThunderCat]

curl
тык
жмяк

Comments

[heatshot13]

Как понимаю нужна сессия с сайта которую я должен передать что бы показать сайту что я авторизонанный

[ThunderCat]

heatshot13, именно, то есть заходить нужно на 2 адреса, первый раз на логин с нужными параметрами логин/пароль, далее уже внутрь сайта с полученной ранее сессией.

[heatshot13]

ThunderCat, буду благодарен за любую инфу , дайте ссылки на статью по этой теме

Answer 3

[Апатий Черный]

Curl, передавать куки или сессию с токеном

Answer 4

[АртемЪ]

Сильно зависит от того что за ресурс вы собрались парсить.
Если там идет просто авторизация - банальная работа с кукисами то там все просто - curl, wget и тому подобное, авторизируемся, сохраняем кукисы тянем страницы и разбираем их.

А вот если на сайте нужный контент отдается JS скриптом - нужно будет выполнить этот самый скрипт, т.е нужна среда умеющая выполнять JS, в особо тяжелых случаях приходится тупо скриптом запускать браузер и работать с ним программно.

Comments

[heatshot13]

badoo.com

[Anton Mashletov]

heatshot13, скорее всего там сильное ограничение на колво запросов, после чего вылезает капча

[АртемЪ]

heatshot13, Так туда зайти невозможно, требуется регистрация.
Такой сайт может посмотреть только тот кто имеет там аккаунт.
Вам что трудно открыть страницу и посмотреть содержится ли там нужная информация в открытом виде, или же она выдается JS скриптом?

[АртемЪ]

Anton Mashletov, Да с капчей вопрос решаемый. Сделать 10-100 аккаунтов и работать с них.

[heatshot13]

АртемЪ, парсинг инфы из профиля , вида https://badoo.com/profile/id_profile , просто перебрать все и отобрать что мне нужно

[АртемЪ]

heatshot13, Какую смысловую нагрузку несет это строка - "https://badoo.com/profile/id_profile"

[heatshot13]

АртемЪ, что ты имеешь в виду ?

[АртемЪ]

heatshot13,
Цитирую-

Как парсить сайт где нужна регистрация?

Вы утверждаете что сайт требует регистрации для просмотра.

Далее-

парсинг инфы из профиля , вида https://badoo.com/profile/id_profile , просто перебрать все и отобрать что мне нужно

Вы присылаете мне ссылку на профиль и не указываете регистрационных данных.
Следовательно зайти и посмотреть что там в этом профиле и как он выглядит я не могу и вы об этом знаете.
Логично?

Поэтому возникает вопрос - какую смысловую нагрузку несет эта строка?

[heatshot13]

АртемЪ, Там просто инфа о человеке , как на обычном сайте знакомств , "парсинг инфы из профиля , вида https://badoo.com/profile/id_profile " . Вопрос в том как зайти на сайт через php скрипт и а дальше парсинг на изи

[АртемЪ]

heatshot13, Вы можете либо воспользоваться готовой утилитой или библиотекой, либо просто посмотреть какие запросы отправляет браузер при авторизации, и отослать их самостоятельно, но тогда вам нужно будет самостоятельно обрабатывать работу с кукисами.

А вот сможете вы получить инфу о человеке - не факт.
Как правило крупные сайты такого профиля не содержат информации в теле страницы, она подгружается JS скриптом - пока вы не выполните скрипт, вы ее не получите.
И тогда вам нужно будет либо выяснять какие там скрипты, и организовывать их выполнение, либо банально рулить браузером.

Answer 5

[Орхан Гасанлы]

Visual Web Ripper

Answer 6

[Danil Sapegin]

casperjs