Dimonchik

на Питоне

сначала
https://www.commentedout.dev/2020-08-02-copy-reque...

потом
https://networkdirection.net/python/resources/gene...

гугл не проблема
https://www.zyte.com/smart-proxy-manager/#spm-pricing
https://brightdata.com/

но распознать данные , являются ли они сайтом и т.п. будет посложнее

я бы начал вообще с кто уже такой список имеет - 2Gis , всякие Zoon ну и Гугл Бизнес ))

python + beautifulsoup

вряд ли чтото можно придумать легче

авториуешься руками и шлешь куки
но в целом без имитиации вряд ли долго протянет, хотя все может быть

1) моибльный прокси
2) неофициальный API инсты
3) парсить через левый сервис типа анон просмотра

пробуй задать размер окна , хелесс обычно чуть ли не 640*480 ессно адаптивные сайты выкручиваются так что элемент сильно не на первом экране

ну какая ошибка, если все записывается?
прога делает что ты ее просишь, но страница обычно прокручивается с перехлестом, так что могут быть дубли за счет этого - РАЗ
отдавать сайт может пагинацию с перехлестом - ДВА
ты можешь задваивать в коде - ТРИ - но наверно все бы двоилось

лечится это ОТЛАДКОЙ и ПОНИМАНИЕМ - например запись в базу только уникальных ИД, строк и т.п.

ты на верном пути, но маскиурешься слабо

начни с Постмана, без Питона добейся правильных ответов

Парсинг номеров olx?

и гугл остальное

в аккаунте

ищи антидетект

универсального способа нет, тебю судя по всему по числу запросов с IP в блеклист внесли

парсить парсером

освоить Xpath и вперед - Scrapy или BS достаточно

искать другие сервисы

или делать самому

хаха, Авито хидеров мало, как минимум JS должен выполняться

спарсить нет
пробить по базам - да