Скорее всего на сайте включена капча-защита от сторонних сервисов наподобии Cloudflare, которым для реализации капчи необходимо использовать JavaScript, чтоб пользователь прошел капчу и перешел на сам сайт, либо на сайте просто стоит защита, которая перед рендером сайта отправляет клиенту JavaScript-челлендж, который решается банальным eval(), когда после отправки ответа сайт оправляет содержимое страницы.
Более упрощенная схема работы: сайт при первом подключении отправляет челлендж, после чего записывает его в ячейку "сессии" и отправляет в виде Cookie данную сессию или любые данные, которые позволят идентифицировать что именно этот пользователь прошел проверку капчей или челленджем, при последующих запросах JavaScript не требуется, так как сайт идентифицировал Вас по Cookie.
Вряд ли они понимают, что запрос делается не через браузер, в качестве альтернативы запроса остается лишь использовать библиотеки на подобии Puppeteer, эмулирующие браузер или выполняющие JavaScript код; либо придется писать свои алгоритмы обхода защит.
Средний
Простой