TaggedNorth
@TaggedNorth
Начинающий программист

Как спарсить цены игр из магазина Steam?

Доброго времени суток, пользователи habr, решил углубиться в тему парсинга сайтов, посмотрел видео на ютуб. Решил попробовать написать код самостоятельно, но столкнулся с проблемой. Что статью не найду, никто не парсит сайт, на котором предметы подгружаются по спуску вниз страницы. В общем хочу спарсить названия/цены в магазине Steam. Упорядочил поиск так, чтобы осталось всего ~215 товаров. Но парсер записывает только первые 50 элементов магазина (потому что товары подгружаются по 50 элементов).

Залез в Network, в XHR запросы. Вижу, что каждые 50 элементов отправляется запрос query с параметром start=50, 100, 150, 200...
t5jj4m
Но не понимаю что с этим делать. Подскажите? Спасибо! Какую библиотеку/ресурс использовать, может статью подкините? Я ничего не нашёл
  • Вопрос задан
  • 1665 просмотров
Пригласить эксперта
Ответы на вопрос 2
tema_sun
@tema_sun
Вам нужно что-то, что умеет рендерить js. Например, PhantomJS, Selenium, Splash
Ответ написан
Комментировать
@justabit
Стим тупо блочит за большое кол-во запросов. Если нужны названия\цены, лучше пользоваться сервисами которые предоставляют такую инфу... https://hexa.one например имеют АПИ.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы