Как получить заказы по web scraping и какие навыки улучшить?

Question

[12ss]

Привет, тостер.
Года два назад я задал свой первый вопрос о том, что вообще можно делать на фрилансе, чтобы зарабатывать немножко, буквально на хлеб с маслом.
С тех пор я существенно поднял уровень английского и кое-какие профессиональные навыки, но работы по-прежнему нет.
Поэтому пришла пора задать свой второй дурацкий вопрос на тостере. Если позволите, он будет содержать много маленьких вопросов, которые я выделю курсивом. Читатели могут ответить кто на что может.

Я решил специализироваться на web scraping: заказов много, можно начинать с легких и постепенно расти. Потом можно размещать своих пауков на виртуальных серверах и параллельно разбираться в администрировании. Потом можно сделать сайтик-агрегатор, чтобы разбираться в сайтостроении. Нужно ли говорить, что я застрял на первом шаге.

Есть проблема, знакомая любому новичку, работающему вне коллектива: любая новая задача решается мучительно долго. Когда ты знаешь, что маленький совет может сэкономить много часов или даже дней. Мой первый вопрос: существуют ли какие-то чаты или форумы, где общаются скраперы, где можно задать такие общие вопросы, какие я задаю здесь? Телеграм, слак, скайп, паблики, форумы. Вдруг есть какая-то тусовка.
Я не собираюсь спрашивать, как писать код. На SO я опубликовал всего пару вопросов, остальные ответы нашел сам или написал велосипеды.

Далее. Есть хоть что-нибудь кроме upwork? Есть смысл смотреть на русскоязычные биржи, сайты работ, LinkedIn, дать объявление на авито? На freelancer.com за минуту набирается 10-30 бидов. Думаешь, ладно, подемпингую. Смотришь, среди этих 30 бидов такие умники тоже присутствуют.
На остальных биржах публикуется очень мало работы.
Мне не нравится, что upwork берет 20% - это просто безобразие.
Мне не нравится, что они отобрали у меня лычку Rising Talent после того, как я отказался от интервью, выбрав опцию "нет времени". В то же время, в профиле стояло available. Плевать на эту лычку, это демонстрирует отношение к пользователям. Могли бы на первый раз предупреждение дать: мол, не забывай об индикаторе availability.
Какого черта при поиске работы нет фильтра по репутации заказчика? Когда ищешь фрилансера, можно фильтровать по job success. Еще одна демонстрация отношения биржи к пользователям.
Я не хочу потратить огромное количество усилий на получение хорошей репутации на upwork и быть забаненым. В профиле у меня указан российский адрес, а в интернет, в том числе на upwork, я хожу через впн с иностранным ip. Только сейчас понял, что это может быть проблемой. Это проблема? В User Agreement ничего про это нет. Какая им разница, какой у меня ip? Гуглением о банах такого рода ничего не нашел.

Самое главное: нет заказов.
Могу BeautifulSoup, lxml, Requests, Selenium, Scrapy. Уже получается делать http-реквесты в Scrapy. Делаю долго, но получается. Когда нет времени, беру Selenium.
Еще не разобрался с Pipelines, не пробовал сохранять данные в базу данных, не работал с большими объемами данных. (Быстрый дурацкий вопрос по пути: Нужно ли ставить MySQL и MongoDB на свой Windows или только на виртуальную машину/сервер?)
Я понимаю, что когда разберусь в этом, будут заказы, причем с большими деньгами. Но вообще-то я решил сейчас написать этот пост, когда осознал, что уже полгода ничего не зарабатываю. Несколько копеечных заказов, хорошие отзывы, и это все. Я мог бы уже сейчас кое-что зарабатывать, но ситуация такая:

Никто даже не смотрит. Мой ценник слишком большой? Не хочу работать несколько часов за 10 баксов. Хоть они бы и не помешали, это уже совсем позорно. Ценник слишком маленький? Попробую увеличить для эксперимента. Сейчас стоит $8/hr, для работ с фиксированной оплатой исхожу из него.
Сейчас поставил фотку посимпатичнее, обнаружил, что уже могу написать более интересное непридуманное overview и сделал это, entry level сменил на intermediate.

Как и на какие работы откликаться?
Меня нанимали, когда я просто писал "Hello, I can help you" - по совету кого-то с тостера.
Меня не нанимают, когда у меня есть что написать что-то реальное по поводу работы.
Когда человек публикует очень короткое описание, я пишу: готов, могу, давай пиши детали. А он не отвечает. Что-то изменится если я буду копи-пастить cover letter с какой-нибудь водой?

И ближе к моей специализации: никогда даже не рассматривал web research работы. Стоит ли обратить внимание? Боюсь, если соберешь информацию из нескольких источников, потратишь время, чтобы их все распарсить, клиент скажет: у меня базе уже это все есть, давай что-нибудь другое.

Благодарю за внимание.

UPD: Вы все супер.
Поднял ставку. Этой ночью два интервью, из них одно даже без моего бида: чувак меня сам нашел. Но здесь и ключевые слова в профиле сыграли роль.
Прогресс на лицо.

Comments

[Жаба Кодер]

что такое web scraping ? самый типовой проект в простых примерах?

[12ss]

"По-русски" обычно говорят парсинг.

[Philipp]

Перестаньте заниматься ерундой. Пока есть время, изучайте технологии. Воровство контента - позорная работа. Люди, которым это нужно, в большинстве своем тоже так себе. В парсерах нет ничего интересного, это скучная и однообразная работа. Уходите в нормальную разработку.

[12ss]

Philipp T: спасибо за добрый совет. Небольшая подработка, пока живу в своем Мухосранске.
Чтобы в разработку уйти, еще время займет.

[xmoonlight]

Philipp T: согласен ровно на 50%: есть ещё задачи аналитики публичных данных.

[zeroq]

12ss как успехи?)

Answer 1

[Антон Измайлов]

Я бы не доверился человеку со ставкой 8$/час, попробуйте хотя бы 15

Comments

[12ss]

Меня это удивляет. Жаль, что не видно, фрилансеров с какими ставками выбирают. Спасибо, попробую.

[Сергей Vortoms]

12ss: он прав. Даже новички начинают с 15-19$. Для американцев и европейцев 8$ - копейки. И у них в голове не укладывается как за такую деньги может работать нормальный фрилансер... Вот и относятся с осторожностью, к таким фрилансерам.

[bl]

На freelance.com видно кто конкуренты и их ставки. "На коне" индусы (включая бангладешцев и пакистанцев) со ставками 2—8$ за час, имеющие в профилях сравнительно большие заработки. А у большинства имеющих там ставки выше — в профилях заработки нулевые.
В Индии и в соседней Азии лето круглый год, мешок риса и бананов стоит копейки. Поэтому могут работать за еду, легко перебивая ставки европейцев.
В моём первом заказе на upwork клиент сразу сказала: я выбрала вас из-за низкой цены (у меня 15$/час стоит).
Говорят, в США 15$/час зарабатывает мексиканец нелегал без документов, чистящий сортиры.

[malvin]

bl: врут. мексиканцы зарабатывают 5-6 долларов.

[bl]

malvin: Кстати да. Смотрел видео русских эмигрантов, говорят, что по 10$/час зарабатывают русские эмигрантки без квалификации - продавщицы и т.п. Мексиканцы-нелегалы на черновой работе не могут больше их.

Поставил себе на Upwork ставку в 9$/час. И заказы пошли. Тем более, реально у меня получается что работаю по ставке меньше. Как новичку в данной сфере, у меня уходит по 1-2 дня на задачу. (Погуглить некоторые моменты, подобрать фреймворк/модуль из разных вариантов, потестировать алгоритмы.) Задания по 25$ в среднем, в пересчёте на затраченные мною часы получается даже не 5$, а может даже 1-2$/час.
В общем, стоит по-умерить амбиции, тем более при жесткой конкуренции дешевых технически грамотных англоговорящих индусов.

[Антон Измайлов]

bl: кого же вы смотрите. Видео - квинтэссенция бреда. Она к апворку никаким боком

Answer 2

[rebovetew]

Идея повышения заработка проста:
Задачи по скрапингу - очень часто простые типовые.
Берёшь такую задачу - добавляешь пару строк в свое уже готовое типовое решение, и продаешь клиенту.
Но квалификацию это не добавляет.
Однако экономически очень приятно.
Если ты уверен, что можешь решить задачу - твой ценник должен быть не меньше 20 долларов в час.
При этом час ты можешь увеличивать за счет того, что будешь вылизывать своё уже готовое решение.

Но для роста квалификации задача должна быть не типовая.
Однако реализовывать ты будешь её крайне долго.
Экономически это не выгодно.
Я бы не ставил менее 15 долларов за час.
Но тут в часу придется поработать побольше.

Разумеется я не говорю о ручном скрапинге.
Говорю об автоматизированном. И умении с этой автоматизацией работать.

Comments

[12ss]

Все так. Готовые решения никто не выкладывает, скопипастить неоткуда, приходится все изобретать самостоятельно. Уже использую свои наработки.
За совет по ценнику спасибо большое.

Answer 3

[xmoonlight]

Для скраппинга есть несколько требований:
1. скорость написания устойчивых к вёрстке правил
2. автопроверка таких правил
3. мультипоточность
4. архитекура скраппера под условия хостинга
Напишите любой свой аггрегатор или сервис-аналитику, и покажите, что Вы действительно можете создавать скраппер-системы: сразу люди к Вам и потянутся.

Comments

[abbrakadabbra]

Можно ли написать на php авто-парсер, регулярно копирующий информацию из закрытой области? (нужно собирать инфо о футбольных матчах для собственного анализа).
Можете немного пояснить про пункты 3 и 4? Спасибо!

[xmoonlight]

abbrakadabbra: можно.
3. multi_curl() (стандартная функция на php)
4. создание демона: micro-service

Answer 4

[Дмитрий Евграфович]

Вам не кажется, что у вас слишком много претензий к апворку? "Мне не нравится одно", "мне не нравится другое". Это не вы ставите условия апворку, это он ставит условия тысячам таких как вы.

Я решил специализироваться на web scraping: заказов много, можно начинать с легких и постепенно расти. Потом можно размещать своих пауков на виртуальных серверах и параллельно разбираться в администрировании. Потом можно сделать сайтик-агрегатор, чтобы разбираться в сайтостроении. Нужно ли говорить, что я застрял на первом шаге.

При этом те тысячи не будут спотыкаться на написании парсеров. Чем вам не нравится ставка 20%? Удвойте ваш ценник и будете зарабатывать больше, заглядывать в карман биржи у вас нет никакого права, они создали бизнес и они на нем зарабатывают. При этом они позволяют зарабатывать вам вместе с ними. Не нравятся их условия - ищите клиентов в других местах, вот только будет ли им достаточно ваших компетенций, если вы в своем пути застряли на написании парсера? Еще и демпинговать при ставке 8 баксов - шикарно.

Comments

[12ss]

Я вывалил весь негатив в одном вопросе. Вы правы, не биржа недостаточно хороша для меня, а наоборот.
Я рад, что это сделал. Советы получил отличные.

Answer 5

[Пума Тайланд]

Этот чат называется поиск в гугл
На upworkest.ru/spisok-frilans-birzh есть список почти всех бирж
Наверно это идиотизм ожидать что работа найдет вас сама когда вы ничего не умеете , ставьте по двадцать биржа в день первым и вы не будете знать когда же вам делать работу

Answer 6

[Mikhail Osher]

Вы ищете скраппинг вакансии, но не можете сами написать такой парсер вакансий по разным биржам?
Подозрительно.

Comments

[12ss]

Доступ ко многим работам есть только у авторизованных пользователей. Доступ к сайту с помощью роботов запрещается в пользовательском соглашении.
Поэтому я бы не стал парсить вакансии со своего компьютера. Этот вопрос у меня на повестке. До сих пор я концентрировался на прокачке своих навыков.

Answer 7

[bl]

Когда человек публикует очень короткое описание, я пишу: готов, могу, давай пиши детали. А он не отвечает.

При коротком мутном описании, смотри есть ли у заказчика опыт и верификация на бирже. Он может сам не понимать чего хочет, ответить непомерными запросами за копейки.
Возможно не стоит тратить время на такие заявки.

никогда даже не рассматривал web research работы. Стоит ли обратить внимание?

Там заявки для интернета на английскогом языке, или на испанском, индийском и т.д. А у вас опыт в рунете.
Также навыки рус. писателя на англ. бирже не нужны.