Задать вопрос

Denis Klimanov

Комментарии

  • Как получить ID всех ПВЗ?

    @stantes Автор вопроса
    Хватит дискуссий не по вопросу!!!
    Есть решение, как получить данные?
    Например, один из прогеров получает такие данные
    spoiler
    68d40a24ca555777042560.jpeg68d40a2f986f6974616097.jpeg
    Написано

  • Как правильно сформировать запрос Python requests?

    @stantes Автор вопроса
    maksam07, У Вас есть альтернативное и современное решение? Буду рад узнать ваш взгляд и подход к решению задачи!
    Написано

  • Как правильно сформировать запрос Python requests?

    @stantes Автор вопроса
    Андрей Прохоренко, Андрей, спасибо вам огромное! Ваше решение заставило меня задуматься о современных новшествах! Перейду с requests на httpx и AIOHTTP! Еще раз, спасибо за помощь и поддержку!
    Написано

  • Как правильно сформировать запрос Python requests?

    @stantes Автор вопроса
    Вы просто волшебник! Спасибо большое!
    Написано

  • Как правильно сформировать запрос Python requests?

    @stantes Автор вопроса
    Андрей Прохоренко,
    Мне нужно получить JSON ответ с помощью requests по запросу на адрес: 
    url = 'https://www.wildberries.ru/webapi/product/339182812/data?subject=104&kind=1&brand=311487279&lang=ru'


    В данном случает содержимое будет таким:
    {'resultState': 0, 'value': {'data': {'brandAndSubjectUrl': '/brands/311487279-onv/kedy', 'targetInfo': {'targetUrl': 'EX', 'targetCode': 0, 'sort': 0, 'targetUrlExtended': 'EX|||||||||'}, 'sitePath': [{'id': 629, 'name': 'Обувь', 'sort': 20, 'pageUrl': '/catalog/obuv', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': 147812152, 'xshardKey': 'blackhole', 'xquery': 'cat=629', 'noFollow': True, 'excludeFromBreadcrumbs': False, 'isTop': False, 'isDenyLink': True, 'rawQuery': 'subject=2;739'}, {'id': 751, 'parentId': 629, 'name': 'Мужская', 'sort': 20, 'pageUrl': '/catalog/obuv/muzhskaya', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': 929628003, 'xshardKey': 'men_shoes', 'xquery': 'cat=751', 'noFollow': False, 'excludeFromBreadcrumbs': False, 'isTop': False, 'rawQuery': 'kind=1&subject=2', 'snippet': 'sizes'}, {'id': 8194, 'parentId': 751, 'name': 'Кеды и кроссовки', 'sort': 10, 'pageUrl': '/catalog/obuv/muzhskaya/kedy-i-krossovki', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': -2036947741, 'xshardKey': 'men_shoes', 'xquery': 'cat=8194', 'noFollow': False, 'excludeFromBreadcrumbs': False, 'isTop': False, 'rawQuery': 'kind=1&subject=104;105;128;130;396;1382;1586', 'snippet': 'sizes', 'searchQuery': 'menu_redirect_subject_v2_8194 мужские кеды и кроссовки'}, {'id': 0, 'name': 'O_N_V', 'sort': 0, 'pageUrl': '/brands/311487279-onv', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': -260931770, 'noFollow': False, 'excludeFromBreadcrumbs': False, 'isTop': False}]}}}
    Написано

  • Как правильно сформировать запрос Python requests?

    @stantes Автор вопроса
    Mors Clamor, Ну так при запросах http.client и при urllib капча не показывается! Через браузер тоже, даже при частых запросах!
    Написано

  • Как правильно сформировать запрос Python requests?

    @stantes Автор вопроса
    Mors Clamor,
    При запросе requests получаю 
    <!doctype html><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><meta name="viewport" content="width=device-width,initial-scale=1,shrink-to-fit=no"><link rel="icon" href="data:,"><meta http-equiv="refresh" content="60"><title>ÐоÑÑи гоÑово...</title><link href="/__wbaas/challenges/captcha/__static/lib.98815db809d391244931.min.css" rel="stylesheet"><script src="/__wbaas/challenges/captcha/__static/lib.1835fb37c4cdce94811c.min.js"></script></head><body><style type="text/css">body,html{height:100%;font-family:-apple-system,BlinkMacSystemFont,'Segoe UI',Roboto,Ubuntu,'Helvetica Neue',Arial,sans-serif}body{box-sizing:border-box;padding:0;margin:0;color:#000}.wrapper{padding:32px 16px;display:flex;flex-direction:column;align-items:center;text-align:center}.wrapper__item{padding-bottom:20px}.wrapper__item p{margin:0 0 12px;font-size:16px;line-height:22px;color:#8b8b8b;max-width:650px;word-break:break-word}.wrapper__item__warning p{color:red}.wrapper__item__default p{color:#000}</style><div class="wrapper"><noscript class="wrapper__item wrapper__item__warning"><p>ÐÐ»Ñ ÑабоÑÑ ÑайÑа необÑодимо вклÑÑиÑÑ JavaScript в наÑÑÑÐ¾Ð¹ÐºÐ°Ñ Ð²Ð°Ñего бÑаÑзеÑа.</p></noscript><div class="wrapper__item" id="__wbaas_captcha_container"></div><div class="wrapper__item"><p>IP-адÑеÑ: <span id="__wbaas_request_ip">188.94.33.128</span></p><p>ÐÑемÑ: <span id="__wbaas_request_time">2025-08-31T20:02:58+03:00</span></p><p>URL: <span id="__wbaas_request_uri">/webapi/product/339182812/data?subject=104&kind=1&brand=311487279&lang=ru</span></p><p>ÐапÑоÑ: <span id="__wbaas_request_id">ddd8bb58eb93154c80bfca1a4c174d2c</span></p></div></div></body></html>


    При запросе request.Request(url, headers=headers) из urllib, получаю json:
    {'resultState': 0, 'value': {'data': {'brandAndSubjectUrl': '/brands/311487279-onv/kedy', 'targetInfo': {'targetUrl': 'EX', 'targetCode': 0, 'sort': 0, 'targetUrlExtended': 'EX|||||||||'}, 'sitePath': [{'id': 629, 'name': 'Обувь', 'sort': 20, 'pageUrl': '/catalog/obuv', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': 147812152, 'xshardKey': 'blackhole', 'xquery': 'cat=629', 'noFollow': True, 'excludeFromBreadcrumbs': False, 'isTop': False, 'isDenyLink': True, 'rawQuery': 'subject=2;739'}, {'id': 751, 'parentId': 629, 'name': 'Мужская', 'sort': 20, 'pageUrl': '/catalog/obuv/muzhskaya', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': 929628003, 'xshardKey': 'men_shoes', 'xquery': 'cat=751', 'noFollow': False, 'excludeFromBreadcrumbs': False, 'isTop': False, 'rawQuery': 'kind=1&subject=2', 'snippet': 'sizes'}, {'id': 8194, 'parentId': 751, 'name': 'Кеды и кроссовки', 'sort': 10, 'pageUrl': '/catalog/obuv/muzhskaya/kedy-i-krossovki', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': -2036947741, 'xshardKey': 'men_shoes', 'xquery': 'cat=8194', 'noFollow': False, 'excludeFromBreadcrumbs': False, 'isTop': False, 'rawQuery': 'kind=1&subject=104;105;128;130;396;1382;1586', 'snippet': 'sizes', 'searchQuery': 'menu_redirect_subject_v2_8194 мужские кеды и кроссовки'}, {'id': 0, 'name': 'O_N_V', 'sort': 0, 'pageUrl': '/brands/311487279-onv', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': -260931770, 'noFollow': False, 'excludeFromBreadcrumbs': False, 'isTop': False}]}}}


    Заголовки аналогичны в обоих запросах!
    Написано

  • Как правильно сформировать запрос Python requests?

    @stantes Автор вопроса
    При запросе requests получаю 
    <!doctype html><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><meta name="viewport" content="width=device-width,initial-scale=1,shrink-to-fit=no"><link rel="icon" href="data:,"><meta http-equiv="refresh" content="60"><title>ÐоÑÑи гоÑово...</title><link href="/__wbaas/challenges/captcha/__static/lib.98815db809d391244931.min.css" rel="stylesheet"><script src="/__wbaas/challenges/captcha/__static/lib.1835fb37c4cdce94811c.min.js"></script></head><body><style type="text/css">body,html{height:100%;font-family:-apple-system,BlinkMacSystemFont,'Segoe UI',Roboto,Ubuntu,'Helvetica Neue',Arial,sans-serif}body{box-sizing:border-box;padding:0;margin:0;color:#000}.wrapper{padding:32px 16px;display:flex;flex-direction:column;align-items:center;text-align:center}.wrapper__item{padding-bottom:20px}.wrapper__item p{margin:0 0 12px;font-size:16px;line-height:22px;color:#8b8b8b;max-width:650px;word-break:break-word}.wrapper__item__warning p{color:red}.wrapper__item__default p{color:#000}</style><div class="wrapper"><noscript class="wrapper__item wrapper__item__warning"><p>ÐÐ»Ñ ÑабоÑÑ ÑайÑа необÑодимо вклÑÑиÑÑ JavaScript в наÑÑÑÐ¾Ð¹ÐºÐ°Ñ Ð²Ð°Ñего бÑаÑзеÑа.</p></noscript><div class="wrapper__item" id="__wbaas_captcha_container"></div><div class="wrapper__item"><p>IP-адÑеÑ: <span id="__wbaas_request_ip">188.94.33.128</span></p><p>ÐÑемÑ: <span id="__wbaas_request_time">2025-08-31T20:02:58+03:00</span></p><p>URL: <span id="__wbaas_request_uri">/webapi/product/339182812/data?subject=104&kind=1&brand=311487279&lang=ru</span></p><p>ÐапÑоÑ: <span id="__wbaas_request_id">ddd8bb58eb93154c80bfca1a4c174d2c</span></p></div></div></body></html>


    При запросе request.Request(url, headers=headers) из urllib, получаю json:
    {'resultState': 0, 'value': {'data': {'brandAndSubjectUrl': '/brands/311487279-onv/kedy', 'targetInfo': {'targetUrl': 'EX', 'targetCode': 0, 'sort': 0, 'targetUrlExtended': 'EX|||||||||'}, 'sitePath': [{'id': 629, 'name': 'Обувь', 'sort': 20, 'pageUrl': '/catalog/obuv', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': 147812152, 'xshardKey': 'blackhole', 'xquery': 'cat=629', 'noFollow': True, 'excludeFromBreadcrumbs': False, 'isTop': False, 'isDenyLink': True, 'rawQuery': 'subject=2;739'}, {'id': 751, 'parentId': 629, 'name': 'Мужская', 'sort': 20, 'pageUrl': '/catalog/obuv/muzhskaya', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': 929628003, 'xshardKey': 'men_shoes', 'xquery': 'cat=751', 'noFollow': False, 'excludeFromBreadcrumbs': False, 'isTop': False, 'rawQuery': 'kind=1&subject=2', 'snippet': 'sizes'}, {'id': 8194, 'parentId': 751, 'name': 'Кеды и кроссовки', 'sort': 10, 'pageUrl': '/catalog/obuv/muzhskaya/kedy-i-krossovki', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': -2036947741, 'xshardKey': 'men_shoes', 'xquery': 'cat=8194', 'noFollow': False, 'excludeFromBreadcrumbs': False, 'isTop': False, 'rawQuery': 'kind=1&subject=104;105;128;130;396;1382;1586', 'snippet': 'sizes', 'searchQuery': 'menu_redirect_subject_v2_8194 мужские кеды и кроссовки'}, {'id': 0, 'name': 'O_N_V', 'sort': 0, 'pageUrl': '/brands/311487279-onv', 'topMenuRenderer': 0, 'leftMenuRenderer': 0, 'landingPage': False, 'hash': -260931770, 'noFollow': False, 'excludeFromBreadcrumbs': False, 'isTop': False}]}}}


    Заголовки аналогичны в обоих запросах!
    Написано

  • Как правильно сформировать запрос Python requests?

    @stantes Автор вопроса
    Оставил в заголовках только (User-Agent, Referer, X-Requested-With, X-SPA-Version, Accept, Accept-Language, DNT) - опять ошибка 498! Результат не изменился!
    Но urllib и http.client отрабатывают с заголовками в ответе без проблем!
    Написано

  • Почему данные записываются не корректно в MySQL?

    @stantes Автор вопроса
    Большущее спасибо!!!
    Написано

  • Различия работы requests в Windows и Linux?

    @stantes Автор вопроса
    Пробовал разные заголовки из реальных браузеров винды, не работает. Всегда 503
    Написано

  • Различия работы requests в Windows и Linux?

    @stantes Автор вопроса
    Пробовал! Все равно код ответа 503
    Написано

  • Как парсить с wildberries?

    @stantes
    У меня получается обрабатывать 500 страниц за 3 секунды без прокси и блокировок!!!
    Если интересно, могу продемонстрировать!
    Написано

  • BS4 не видит полный код страницы?

    @stantes Автор вопроса
    Vindicar, искренне благодарю за содействие!
    Это помогло мне решить проблему!
    Написано

  • Как выполнить слияние файлов excel и csv с использованием pandas?

    @stantes Автор вопроса
    Алан Гибизов,
    Исправил
    Написано