Кирилл Горелов

Бро, все достаточно тревиально(если могешь)....
Есть каталог всех доменов, которые только существуют.
Анализируешь их CMS и контент сайта.
Контент можно собрать с помощью краулера + немного магии и готово) Это если очень коротко.
Не надо нанимать 400К программистов. К тому же у большинства магазинов есть sitemap и он открыт на чтение всем.

Ты не подумай, я не стебаюсь.
Но request и bs, самые простые библиотеки, на 98% ответов все есть в документации. Там все просто....

Самый оптимальный способ: задаешь имена файлам в соответствующем формате - name_date_href_title.jpg.
Упаковываешь в архив, дальше передаешь, на другом сервера распаковываешь и распарсиваешь имена.

Как один из вариантов.

А ты уверен, что нужно писать именно так
BeautifulSoup(req.content,'lxml')
а не
BeautifulSoup(req.content,'html.parser')

Я парсил уже как-то fl.
Там обычная статичная страница генерируется. Как уже сказали в комментах, там не нужен браузер.

Как это делал я.
Набрал нужный мне фильтр, сам фильтр отображается в гет(вроде бы, сейчас не помню) параметре. И потом дергал конкретный урл и от туда парсил нужные мне заказы....

Попробуй puppeteer и мобильные прокси

Я тебе скажу больше. У меня ни разу simplehtmldom не запускался))
Регулярки и только хардкор всегда спасали.

Я для авито писал парсер на python + selenium.
Но это относительно давно было, работало)

Можешь так же попробовать. Правда тут скорость не мега огромная. Придется немного парсер сопровождать в процессе парсинга, к примеру проходить самому капчу(если не автоматизируешь).

А за сколько ты хочешь собрать данные, за 1 секунду, или меньше или 5 секунд будет нормально??

Или увеличь не 100 запросов, а к примеру 500, поиграй с этими настройками.

Не знаю. Я наоборот ни разу не использовал simple_html_dom. А пишу все на регулярках. Мне очень удобно и быстро работает.

Ну, все супер.
Сначала получаешь список ссылок чего хочешь спарсить.
Загоняешь это дело в массив. И потом в массиве проходишь по каждой ссылке и парсишь что тебе нужно.

Как вариант https://regex101.com/r/TYgj87/1