Как спарсить данные, когда при поиске требуется авторизация на сайте?

Question

[lil_koi]

Добрый день ,пишу парсер данных с разных сайтов на laravel. Столкнулся с такой проблемой: поиск на сайте можно делать только в том случае, если ты залогинился на сайте, но как мне тогда получить данные? Я знаю про silenium, но нашёл только статью 2016 года https://software-testing.ru/forum/index.php?/topic.... Там мало чего понятного и документации, как парсить в таких случаях тоже найти не удалось. Подскажите решение данной проблемы

Answer 1

[Never Ever]

1) Логинешься
2) Сохраняешь куку
3) ????
4) PROFIT!!!

Comments

[lil_koi]

а если там сессия? А если со временем она пропадёт?

[Dimonchik]

lil_koi, сессию надо сдавать, не отлынивать, тогда и знания останутся, про сессии и куки

[shurshur]

lil_koi, можно попробовать изучить процесс логина на сайте и самостоятельно его имитировать. Далеко не всегда форма логина представляет из себя страшную хреновину с посылкой смс и капчей.

[lil_koi]

dimonchik2013, О виликий, я изучаю пыху уже два года и даже работаю. Пожалуйста, для тупого дауна, где можно почитать, как можно хранить сессию, которая в браузере хранится, когда я делаю парсинг с хоста -_-

[Dimonchik]

lil_koi, сессий не существует - отключи куки в браузере и посмотришь сколько пропляшешь с "сессиями", за два года надо вырастать из вебмакаки