@opudalo228

Как эмулировать браузер без браузера?

Здравствуйте, возникла задача эмулировать работу браузера без браузера, ибо это очень ресурсозатратно, но чтобы запросы на сайт отправлялись точно таким же образом, будто бы это браузер. Это вообще возможно?
  • Вопрос задан
  • 116 просмотров
Пригласить эксперта
Ответы на вопрос 3
Zoominger
@Zoominger
System Integrator
Ответ написан
Комментировать
@haveacess
что такое запрос?
Это заголовки + тело запроса.

Все что вам необходимо сделать - это добится того что бы ваши заголовки и тело запроса не как не отличались от вашего браузера. Есть еще куки, просто их включите. Что бы когда сервак вам отправлял set-cookie в вашем софте это тоже работало.

Хотя конечно у разных сайтов разная защита, но использовать прям целый браузер а не слать запросы это мягко скажем трудозатратно
ps если брать пыху GuzzleHttp отлично подходит, многое, в т ч и куки есть из коробки.
Ну и не забывайте таймауты между запросами
Ответ написан
@rPman
Универсального ответа нет, в мире остались только два браузера, на которые обращают внимание разработчики - chromium и все его производные (microsoft edge, google chrome, opera,...) и спасибо mozilla firefox (и то я часто вижу что ленивые даже его игнорят но такие сайты и я из принципа игнорю, если могу).

Все другие решения не дадут гарантированного ответа либо по сложности будут сравнимы с реверсинженерингом сайта, на который нужно отправлять запросы. Т.е. разбираешь протокол общения сайта и бакэнд сервера, и симулируешь запросы, популярная библиотека curl.

У разработчика веб сервера есть куча способов, чтобы усложнить эту работу.

p.s. совет, firefox headless (используется как основе для стандартной компоненты WebBrowser у mono) потребляет не в пример меньше ресурсов чем chromium, кстати этот компонент все еще работает и в .net windows, основан на internet explorer, сами понимаете с какой поддержкой сайтов.

Каких то 3-4 года назад я бы рекомендовал webkit библиотеку (с ее помощью работают компоненты к примеру javafx WebEngine (раньше оно требовало примерно 50мб озу на инстанс, теперь все 150-200) но все же попробуй.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы