Веб скраппинг,парсинг на Python?

Здравствуйте,изучаю python,интересует веб.Хочу попробовать фриланс,узнал про парсинг(веб скраппинг)
,заинтересовало.
Насколько актуален сейчас веб скраппинг?
Насколько хорошо подходит для этого Python?
Можно ли сейчас на этом заработать?
Расскажите пожалуйста об этом ,и если нетрудно,посоветуйте какую нибудь площадку,сайт для фриланса для новичка ,чтобы можно было взять свой первый заказ ,даже пусть бесплатно ,сейчас интересен сам опыт.
  • Вопрос задан
  • 6446 просмотров
Пригласить эксперта
Ответы на вопрос 4
Malodar
@Malodar
Начинающий питонист
Расскажу о своем опыте - пришел в программирование 1,5 года назад, до этого вообще никак с этим не был связан. Начал изучать Python, когда надоело решать задачки из учебников - зарегистрировался на Upwork и Freelancer.com. Искал заказы именно по парсингу, т.к. для меня это показалось наиболее простым на тот момент занятием. Т.к. опыта не было и портфолио тоже не было - долго не мог получить первый заказ и за это меня забанили на Upwork, но на freelancer.com потихоньку начал брать заказы. Заказов на парсинг/скрэйпинг много и на разный бюджет - от 20 USD до сотен и тысяч за проект (в таких проектах помимо парсинга еще что-то обычно нужно сделать, как правило что-то связанное с ML и Data Science). С ростом опыта, количества сделанных заказо и количества положительных отзывов я стал и повышать планку свою со стоимостью заказов. На днях подсчитал, что за 2018 год чисто на парсинге / скрэпинге зарабатывал в среднем около 500 USD в месяц (+ - 50). Сейчас изучаю Django, т.к. мне это стало более интересным ))
ПыСы: если скинете скайп или телеграм - могу поскидывать реальные проекты для практики ) а может и договоримся о сотрудничестве..
Ответ написан
@Stalinko Куратор тега Фриланс
PHP'шник и фрилансер до мозга костей
Я питон не знаю, пишу на php, люблю брать заказы на скрейпинг для разнообразия. Заказов полно. Есть и достаточно жирные с хорошей ценой. Площадка upwork.
Для скрейпинга нужно знать: в идеале как устроен http (заголовки, куки, сессии и т.д.), многопоточность/очереди, обязательно RE (регулярные выражения).
Нужно понимать, что часто скрейпинг стоит на грани законности. И не мало случаев, когда парсящих ловили и судили, как в России так и за рубежом, поэтому нужно всегда отдавать себе отчёт, насколько законны твои действия и смогут ли тебя вычислить при желании.
Ответ написан
Комментировать
@vl12
Скрэпинг - одна из наверно 4 основных тем работ на фрилансе. (Остальные - это создание вебприложений, нейросети, высшая математика или статистика - они попадаются чуть реже. Но надо знать отдельные фреймоворки. Для математики и нейросетей нужно высшее образование.)
Заработок - в среднем 30$ за сайт, но посидеть над каждым сайтом надо будет несколько полных дней. Т.е. реально получится где-то по 1-2$/час. Почасовую на скрепинг найти сложней, если заказчик не новичок и сравнивал цены. Это при условии что вы разбираетесь в фреймворках для скрэпинга. Также учтите, что многие сайты не скрэпятся как html, ибо они динамические на JS, нужно изучать доп. фреймворки, и может стоять всякая защита. Большинство сайтов-гигантов не скрэпятся. С фейсбук сейчас вообще очень сложная ситуация.
При этом там толпы, реально толпы, индусов, демпящих цены.
Есть плохие заказчики, тянущие сроки. Т.е. можете работать полный день целую неделю. А то и месяц - за 20$. Минус 20% которые возьмет биржа фриланса (процент может отличаться).

Имхо, фриланс - это для тех у кого нет работы, по каким-то жизненным причинам. Или много свободного времени, в которое можно подрабатывать. Но его должно быть много, ибо проблемы требуют много часов на поиск решений.
И скрэпинг - это для тех, кто не любит возится с frontend. Который займет основное время при разработке веб-приложений, на том же django.
Ответ написан
Комментировать
ktulu
@ktulu
Пишу на python
Сам по себе парсинг будет Вам мало интересен, т.к. предложений в избытке и конкуренция в основном по цене. Но если Вы научитесь ещё и обрабатывать данные, которые вытаскиваете с сайтов, то тут уже можно искать заказы по интересней.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы