Ответы пользователя по тегу Beautiful Soup
  • Парсинг Яндекс.Маркет, проблема со сменой страницы?

    очень странная вещь, после 7 страницы включительно выдается по 33 карточки с товаром, хотя в настройках по прежнему стоит "Показывать 48"

    А слабо посмотреть вручную и выяснить тот факт, что Маркет находит сведений на 6 полных (по 48 товаров) страниц, а на 7 страницу находит только 33 товара. Ну нет на Маркете больше сведений. Естественно, при запросе показать 8 страницу автоматически переходит на последнюю, 7-ю, страницу с товарами.
    Ответ написан
  • Что это за ошибка?

    При таком url для метода requests.get() срабатывает защита от программ-роботов.
    1. Попробуйте перед выполнением requests.get() заполнить Requests Headers данными, какие посылает, например, Chrome при обращении к Яндексу.
    2. Смените url, предназначенный для поиска информации о погоде в Томске, на "https://yandex.ru/pogoda/tomsk" и, естественно, параметры для выделения температуры.
    3. Если блокировка будет срабатывать, то советую использовать модуль silenium (управление браузером из вашей программы)
    Ответ написан
    Комментировать