Пытаюсь спарсить все ссылки со market'а Steam, хоть кол-во предметов на market'е превышает 10, максимальное кол-во выдаваемых ссылок — 10?

Question

[Данил noname]

import requests
from bs4 import BeautifulSoup

collections = [
    'community_5 - Vanguard',
    'bravo_ii - Alpha',
    'gods_and_monsters - Gods and Monsters',
    'bravo_i - Bravo'
]

def link_main(c):
    url_main = 'https://steamcommunity.com/market/search?q=&category_730_ItemSet%5B%5D=tag_set_' + collections[c].split(' - ')[0] + '&category_730_ProPlayer%5B%5D=any&category_730_StickerCapsule%5B%5D=any&category_730_TournamentTeam%5B%5D=any&category_730_Weapon%5B%5D=any&appid=730'
    info = requests.get(url_main)
    soup = BeautifulSoup(info.content, 'html.parser')
    for link in soup.find_all('a', class_='market_listing_row_link'):
        print(link.get('href'))

for c in range(0, len(collections)):
    link_main(c)

Выполняю парсинг ссылок, но получаю на выводе всего лишь десять, из каждой коллекции, как это исправить?

Comments

[Vindicar]

Посмотреть в браузере (панель разработчика), что делает Стим. Наверняка остальные данные подгружаются скриптами.

Answer 1

[Story-teller]

нужно ещё пройтись по пагинатору:

https://steamcommunity.com/market/search/render/?query=&start=10&count=10&search_descriptions=0&sort_column=popular&sort_dir=desc&appid=730&category_730_ItemSet[]=tag_set_community_5&category_730_ProPlayer[]=any&category_730_StickerCapsule[]=any&category_730_TournamentTeam[]=any&category_730_Weapon[]=any