Ответы пользователя по тегу Парсинг
  • Как спарсить не первую ссылку, а все ссылки из кода?

    Zraza
    @Zraza
    Помог ответ? Отметь решением!
    Похоже, косяк в логике вот в этой строчке
    users = soup.find('div', {'class': 'forum-user-name'}).find('a').get('href')

    Здесь ищется первый подходящий div.forum-user-name на всей странице, а надо искать только в том блоке, по которому итерируемся.
    Точно решения не подскажу, языка не знаю
    Наверное, что-то вроде
    users = div.find('a').get('href')
    Ответ написан
    1 комментарий
  • Как спарсить динамические данные?

    Zraza
    @Zraza
    Помог ответ? Отметь решением!
    1) Разобраться с работой их апи через dev tools и посылать такие же запросы к их серверу, как это делает страница. Можно еще код на js пораскапывать. Т.к., похоже, там фильтры на сессиях - будет тяжко.
    2) Взять headless бразер Puppeteer (к нему есть в т.ч. и питоновская либа) и "кликать" селекты через него
    Думаю, вторым способом будет быстрее в данном случае
    Ответ написан
    Комментировать