Как в node js замаскироваться под браузер?

Question

[Soft_touch_plastic]

Добрый день, возникла такая проблема, пишу парсер одного из крупных интернет магазинов, для личных целей. Разобрался с механизмом поиска в браузере, все работает ожидаемо и прогнозируемо, однако в коде он мне на любой запрос к апи кидает страницу с капчей. Установил user agent:

axios.get(url, { headers:{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36 '} })
    .then(response=>{
        console.log(response.data)
    })

безрезультатно, та же страница с капчей. Как еще можно замаскироваться под браузер? Возможно, есть другие способы решения этой задачи

Answer 1

[Дмитрий Беляев]

откройте исследуемый сайт
откройте devtools в chrome на вкладке network
сделайте действие, которое запускает запрос
скопируйте себе запрос 1 в 1 из вкладки network и попробуйте запустить у себя

если не помогло, то можно загрузить сайт в настоящем headless chrome через puppeteer и воспроизвести там действия пользователя