• Как парсить olx?

    @AnKus
    Тема старая, но вот наткнулся на нее, во время поисков ответа на мой аналогичный вопрос. Наигравшись вдоволь с undetected_chromedriver и его всевозможными настройками, которые не дали результата, пришел к выводу, что спарсить ОЛХ можно путем ротации прокси. Но, есть еще способ, в частности получить номер телефона. Заключается он в том, что нужно отправить гет запрос на адрес с api, который возвращает сам номер. Загвоздка заключается в том, что в каждом таком запросе отправляется уникальный bearer токен. Его видно в dev tools браузера, можно его оттуда копирнуть, чтоб руами один запрос отправить. Но как брать автоматом этот bearer токен в каждой итерации и передавать его в запрос - это вопрос ... Кто решал такую проблему ?
    Ответ написан
    Комментировать
  • Проблема с установкой PYCURL на Python 3.10 Win 10. Кто сталкивался?

    @AnKus Автор вопроса
    Вернулся к этому вопросу.
    Вот вся ошибка:
    Collecting pycurl==7.45.1
    Using cached pycurl-7.45.1.tar.gz (233 kB)
    Preparing metadata (setup.py) ... error
    error: subprocess-exited-with-error

    × python setup.py egg_info did not run successfully.
    │ exit code: 10
    ╰─> [5 lines of output]
    C:\Users\Zver\AppData\Local\Temp\pip-install-i2cljb13\pycurl_97ec6995d5c6411bb4cf145d5d7f87e5\setup.py:957: DeprecationWarning: distutils Version classes ar
    e deprecated. Use packaging.version instead.
    if LooseVersion(distutils.__version__) > LooseVersion("1.0.1"):
    C:\Users\Zver\AppData\Local\Temp\pip-install-i2cljb13\pycurl_97ec6995d5c6411bb4cf145d5d7f87e5\setup.py:959: DeprecationWarning: distutils Version classes ar
    e deprecated. Use packaging.version instead.
    if LooseVersion(distutils.__version__) < LooseVersion("1.0.3"):
    Please specify --curl-dir=/path/to/built/libcurl
    [end of output]

    note: This error originates from a subprocess, and is likely not a problem with pip.
    error: metadata-generation-failed

    × Encountered error while generating package metadata.
    ╰─> See above for output.

    note: This is an issue with the package mentioned above, not pip.
    hint: See above for details.


    Проблема все-таки в Windows. В документации к PyCurl указано:
    There are currently no official binary Windows packages. You can build PycURL from source or use third-party binary packages.

    И далее по тексту "Сборка из исходников" отсюда:
    pycurl.io/docs/latest/install.html


    Ссылку вставил как цитату, т.к. ссылка не вставляется

    Я не понял ничего. Помогите, кто ставил PyCurl на Win 10.
    Спасибо
    Ответ написан
    Комментировать