Можно ли симулировать обычный вход на страницу?

Question

[fortael]

Вкратце: есть API у pixabay.com, которое не дает тебе качать 1920x1080 картинки. Но можно скачать, если кликнуть самому на странице. Механизм таков, что он генерирует короткую ссылку, и если ты авторизован, то тебя переадресует на новую временную ссылку, где картинка доступна.
В общем, как уже ясно, нужна эта самая финальная ссылка. Вопрос именно в браузерных политиках.

Пост запрос - не вернет новую ссылку с переадресации, потому что нужна капча без авторизации.
iframe или спавн вкладки тоже не дают открыть страницу извне.
Можно открыть страницу с галерей, где есть кнопка на скачивание в iframe. Но кросс-доменная защита не позволяет влиять или даже читать содержимое ifram-а.

И самая большая проблема, на эту короткую ссылку даже нельзя перейти по клику. Сайт получает заголовки, откуда ты пришел. Каждый раз приходится копировать ссылку, открывать новую вкладку, вставлять ее, получать новую и возвращаться. Я не хочу жестко гриндить картинки, но хотя бы иметь возможность открывать ссылку автоматически.

Вопрос: можно ли как то симулировать обычный визит на сайт, с сессией, и какими технологиями?

Comments

[nirvimel]

В чем задача: самому автоматизированно выкачать контент один раз или предоставить юзерам своей страницы доступ к чужому защищенному контенту?
Первое решается написанием парсера.
Второе невозможно в современных браузерах.

[fortael]

nirvimel: В конечно итоге, конечно, выкачиванием. Но парсер тут не поможет, как я уже объяснял. На самой странице галереи есть только ссылка на скачку 1920x1080. Никакой из обычных способов не помогает. У меня остается только вариант завести какого-нибудь nodejs бота.
А касательного второго. Ладно уж парсер, хотя бы иметь возможность открыть страницу автоматически. Но даже это невозможно. Нет никакого защищенного контента, так-как я захожу из под своего аккаунта. Проблема именно в кросс-домменых политиках.

[nirvimel]

fortael: Парсер пишется под конкретную задачу. Все, что живой человек может получить вручную, парсер может получить автоматически (кроме прохождения капчи). В общих чертах написание парсера сводится к следующему: открываете в браузере инструменты разработчика, на вкладке Network смотрите отправляемые запросы в момент совершения действия (логин, переход по ссылке), на любом языке программирование пишите отправку точно таких же запросов (с теми же заголовками и параметрами). Если на каком-то шаге сервер отвечает вашему скрипту не так, как живому человеку, то смотрите в чем различие в запросах, подправляете скрипт, переходите на следующий шаг, и.т.д.

Answer 1

[АртемЪ]

Вопрос: можно ли как то симулировать обычный визит на сайт, с сессией, и какими технологиями?

Конечно можно.
Как именно - зависит от реализации защиты. В простейшем случае - отправка нескольких запросов с кукисами.
В более сложном - полноценный браузер на вашей стороне, умеющий исполнять JS который работает по заданному алгоритму - заходит на страницу, переходит на следующую.