Как парсить сайт с авторизацией?

Question

[Владимир]

На localhost'е формируется перечень ссылок, ведущих на отдельные страницы некого сайта site.com; ссылки имеют вид https://site.com/id/nnnnn. Есть потребность сохранить эти страницы локально, но сайт без авторизации часть информации скрывает. Данные для авторизации (логин/пароль) есть.

Понятно, что при обращении к страницам сайта он определяет факт авторизации через сессионные куки. Вопрос в том, как авторизоваться с localhost'a, используя эти самые куки?

Comments

[Михаил Р.]

Что конкретно у Вас не получилось?

[Владимир]

Михаил Р., не понимаю, как с локалхоста объяснить серверу, что у меня есть данные для авторизации. Увы, сейчас я на работе, поэтому пока только собираю идеи, пробовать буду вечером.

[iljaGolubev]

с локалхоста

- js-ом чтоли? тогда при чём тут php?

[Владимир]

iljaGolubev, Какая связь между локалхостом и js???

Answer 1

[MagicMight]

Пройдите сначала авторизацию через запрос на форму авторизации с вашими данными
А потом выбирайте - либо используете curl + cookiejar/cookiefile, либо парсите куки из хедеров ответа вручную и добавляете их к каждому следующему запросу

upd. нет никакой разницы, локалхост это или нет. curl запрос - это запрос в роли клиента к серверу

Comments

[Владимир]

Спасибо, вечером (точнее, ночью) реализую и отпишусь.

[yri066]

Альтернативный вариант, использовать Chrome в режиме headless, авторизоваться и отправлять команды на загрузку и сохранение страниц