Как убрать мобилы из my_fake_useragent?

Question

[Борис [А-Я][а-я]+]

Привет всем!
Занимаюсь парсингом. Сайт не отдает инфу по товару, если из библиотеки
my_fake_useragent рандомным образом попадает на телефонного юзер-агента.
Как убрать их оттуда или посоветуете другую библиотеку для header?

Answer 1

[Ivan Yakushenko]

А просто так написать строчку типа

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.74 Safari/537.36'}

не судьба?

Comments

[Борис [А-Я][а-я]+]

Чтобы сайт-жерта меня спалил и программа поломалась?
Нет, спасибо. Когда надо пройти десять, двадцать тысяч, а то и больше итемов мне нужна полная маскировка

[Борис [А-Я][а-я]+]

Header всегда должен быть разный, но не мобильный

[Ivan Yakushenko]

Борис [А-Я][а-я]+, Chrome используется почти на 70% устройств, из них большая часть на стабильной версии. Ты действительно считаешь, что сайт будет блокировать разных пользователей с одинаковыми юзерагентами? Это настолько тупо, что даже не смешно.

[Борис [А-Я][а-я]+]

Когда делаешь парсинг 50 процессами - да, сайт будет блокировать

[Ivan Yakushenko]

Борис [А-Я][а-я]+, смешно.

[Ivan Yakushenko]

Борис [А-Я][а-я]+, зайди на страницу pypi этой библиотеки и на заглавной странице все параметры написаны, там есть и отключение мобильных хедерсов.
Понавешиваете бесполезных зависимостей, а потом не понимаете почему код не работает.

[Борис [А-Я][а-я]+]

Ivan Yakushenko, я сразу понял, почему он не работал