Как организовать парсинг сайтов?

Question

[Ринат Бакиев]

Всем привет!

Как правильно организовать парсинг сайтов о недвижимости (ирр, авито, циан, я.недвижимость и другие)? Они не предоставляют возможность API или хотя бы XML. Прокси, которые в продаже эти площадки знают. Парсинг нужен не для сбора контактной информации

Answer 1

[Евгений]

С себя спарсите, хотя я не верю что они знают ту кучу проксей, которая продается.

Comments

[Ринат Бакиев]

С себя? Раздел недвижимости на регион только тип продажа - чуть больше 100000 записей.

[АртемЪ]

bakiev: Для начала нужно добиться чтобы нормально парсил и под бан не попадал, а когда со своего адреса нормально идет парсинг, тут уж можно для ускорения использовать прокси в несколько потоков.

[Евгений]

bakiev: да вы пока спарсите 100к, там половина уже неактуальна будет

[Ринат Бакиев]

Nc_Soft: вопрос не стоит в актуальности