Как эмулировать браузер без браузера?

Question

[opudalo228]

Здравствуйте, возникла задача эмулировать работу браузера без браузера, ибо это очень ресурсозатратно, но чтобы запросы на сайт отправлялись точно таким же образом, будто бы это браузер. Это вообще возможно?

Answer 1

[Рональд Макдональд]

headless browser

Answer 2

[Vladislav Orlov]

что такое запрос?
Это заголовки + тело запроса.

Все что вам необходимо сделать - это добится того что бы ваши заголовки и тело запроса не как не отличались от вашего браузера. Есть еще куки, просто их включите. Что бы когда сервак вам отправлял set-cookie в вашем софте это тоже работало.

Хотя конечно у разных сайтов разная защита, но использовать прям целый браузер а не слать запросы это мягко скажем трудозатратно
ps если брать пыху GuzzleHttp отлично подходит, многое, в т ч и куки есть из коробки.
Ну и не забывайте таймауты между запросами

Comments

[Василий Банников]

А где тут php в вопросе упоминается?

[Vladislav Orlov]

Василий Банников, это скорее пример если использовать php для решения этой задачи

[opudalo228]

Там просто проблемка наверное, что каждый раз генерируется как бы уникальная ссылка в запросе, и я не знаю как быть

[Vladislav Orlov]

opudalo228, я не экстрасенс. приложите запросы /ответы / покажите ситуацию. А так это гадание на кофейной гуще.

Answer 3

[rPman]

Универсального ответа нет, в мире остались только два браузера, на которые обращают внимание разработчики - chromium и все его производные (microsoft edge, google chrome, opera,...) и спасибо mozilla firefox (и то я часто вижу что ленивые даже его игнорят но такие сайты и я из принципа игнорю, если могу).

Все другие решения не дадут гарантированного ответа либо по сложности будут сравнимы с реверсинженерингом сайта, на который нужно отправлять запросы. Т.е. разбираешь протокол общения сайта и бакэнд сервера, и симулируешь запросы, популярная библиотека curl.

У разработчика веб сервера есть куча способов, чтобы усложнить эту работу.

p.s. совет, firefox headless (используется как основе для стандартной компоненты WebBrowser у mono) потребляет не в пример меньше ресурсов чем chromium, кстати этот компонент все еще работает и в .net windows, основан на internet explorer, сами понимаете с какой поддержкой сайтов.

Каких то 3-4 года назад я бы рекомендовал webkit библиотеку (с ее помощью работают компоненты к примеру javafx WebEngine (раньше оно требовало примерно 50мб озу на инстанс, теперь все 150-200) но все же попробуй.