Насколько сейчас выгодно заниматься web scrap/data mining на фрилансе?

Question

[Данил]

Интересует опыт тех, кто работает в этом направлении – есть смысл соваться? Сложно ли парсить? Много сайтов блочат парсеры? Какие подводные камни? Мельком глянул апворк, там вроде нормальные цены предлагают за проекты.

Answer 1

[hOtRush]

Парсить можно все что угодно если есть для этого ресурсы.
Нормальные цены как правило потому что нормальные накладные расходы. Даже хороший пул проксей поднять или купить может стоить немало денег. И хорошо если он у тебя постоянно задействован и есть поток работы, иначе может быть экономически невыгодно.

Из примеров, нам недавно продали базу компаний кранчбэйза (около 800к) за 5к (хотя хотели 10к). Если бы я сам парсил, мне бы хватило <1к на пул проксей и антикапчу. Профит для фрилансера налицо.

Ну и сейчас не модно просто парсить странички, все хотят data-science

Answer 2

[Михаил Сисин]

Смысл соваться есть, если есть интерес к такой работе а не просто цель заработать. На апворке можно найти более менее интересные проекты, но их с вменяемым объемом оплаты не так и много. Сложность парсинга - по разному, а соответственно и себестоимость будет очень разной. Некоторые вещи вообще нецелесообразно будет парсить, потому что решение челленджей не покроет сумма которую люди готовы платить. Чтобы быстро и качественно обходить защиты, с минимальными временными и ресурсными потерями, нужно иметь разработанный фреймворк с ротацией прокси, решением капчи (OCR и 3rd Party), обходом челленджей современных антискрапинговых систем защиты и т.д. То есть иметь инструмент удешевляющий стоимость разработки и сбора и ускоряющий процессы, без этого очень сложно будет держать уровень качества, укладываться в сроки и повышать объемы.

Answer 3

[Игорь]

И раньше выгодно не было, а сейчас выгоднее не стало.

Answer 4

[chromimon]

Много сайтов блочат парсеры?

А зачем парзить с одного адреса и все подряд без пауз?

Мельком глянул апворк, там вроде нормальные цены предлагают за проекты.

Да так же как и все остальное, как любая другая работа: хорошо зарабатывают только профи.

Выгодно только если вы на этом специализируетесь.
Иначе накладные расходы на каждый проект - съедят все доходы.

Если постоянно занимаетесь, то и пул веб-пауков держать можете и технологии уже все знать - следовательно выполнение конкретного заказа займет для вас всего ничего времени.

Сложно ли парсить?

Если вы задаете такие вопросы - то лично для вас: не стоит этим заниматься.

Разумеется, исполнителю всегда это просто. Намного проще чем заказчику. Иначе бы заказчик не платит за это исполнителю.