Можно ли «нормально» заработать на разработке парсеров?

Question

[Валера Программист]

Парсеры будут сделаны на Java/Spring суть идеи в том что бы под заказ делать парсеры под раличные сервиси, магазины!
сам парсер будет десктопным и будет даваться в аренду на определенный срок.
и сам вопрос будет ли спрос на такой продукт?

Answer 1

[myfirepukan]

Я сам себе парсеры пишу например. Думаю не взлетит потому что:
1. Иногда они не сложные, проще самому сдеать чем заказывать.
2. При тестировании парсера постоянно натыкаешься на новые исключения, дёргать ради них разработчика неудобно, долго, дорого.
3. Десктопный парсер вообще не вариант, мне надо например что б он 24 часа в сутки работал или в mysql всё складывал - на сервере это проще решить.
4. Парсер - часть бизнес-системы, значит должен быть написан на том же языке что и система, если у меня система на php на кой мне парсер на Java?

Да были случаи когда мне надо было спарсить 1 раз конечный объём информации и всё. Тогда заказывал.

Answer 2

[bromzh]

сам парсер будет десктопным и будет даваться в аренду на определенный срок.

Это до первой декомпиляции. Плюс ты сам же писал, что умеешь в Spring.
Логичный вывод - сделать это как онлайн-сервис. Чуваки оставляют заявку, ты пишешь парсер. Когда написал, в личном кабинете у заказчика появится интерфейс для его использования. Так ты и сможешь ограничить доступ по времени, и защитишься от декомпиляции.

Спрос наверняка будет, но, как уже писали, он довольно специфичный. Зачастую под каждый сайт надо писать свой парсер. Унифицировать сложно, однако можно написать DSL для таких вещей, чтобы ускорить процесс.
Находить же заказчиков можно на всяких фриланс-биржах. Потом можно и публичный сайт сделать, рекламировать его, как SaaS, и т.д.

Answer 3

[Олег Гамега]

прасер на java spring ? .... лично меня бы задушила жаба, не вижу серьезного профита по сравнению с нодой, пыхой или питоном, а вот по цене очень даже сущесвенно, понижать цены ? хмм а сроки тто разработки на spring один черт выше.
Java spring хороша именно там где используется, корпоративный сектор и решения где скорость работы критичны, для прасеров обычно это не так, более актуально оперативно пофиксить парсер

Comments

[Igor Nikolaev]

Добавлю, что парсер WEB сайтов на С не обгонит по факту парсер python или ещё что либо. Все будут работать на допустимой скорости. Т.к. любой адекватный сайт будет вас люто банить и решения в данном вопросе будут весьма сложными.

[Олег Гамега]

Igor Nikolaev: полностью согласен, хоть я не веб разработчик но для себя недавно писал прасер, ради интереса отключил все что могло его замедлить, даже убрал работу с бд, разницы не заметил(точнее она была настолько мала что ее можно считать неточностью замеров), все упиралось в скорость отдачи страницы сайтом ))

[Валера Программист]

Igor Nikolaev: gadfi: на spring серверную часть делать нужно, качаешь парсер вводишь логин пароль оно смотрит на серваке что по логину доступно, потом сервер передает сериализованные нужные данные (обьекты) для дальнейшей конфигурации парсера, потом ставишь галочки что нужно, выбираешь куда данные будут парситься: xml, Json, БДб жмешь старт и радуешься!)

вот зачем тут нужна java + spring.

[Олег Гамега]

Валера Программист: я знаю что такое di, но ведь ответ не про него. На чем быстрее написать парсер на java или python/php/node.js (специально указывал только те языки на которых относительно легко найти разраба) ? а в процессе когда понадобятся мелкие правки, а они понадобятся потому что где то чуть менялась вертска и тд, на чем их быстрее внести и самое главное если понадобится на чем дешевле поддерживать ? на любом из перечисленных мной яп можно нанять джуна а то и чуть ли не школьника который справится с задачей за копейки, а сколько стоит ваш час, или час любого java ee программиста ?

[Валера Программист]

gadfi: думаю что на java с этой либой будет очень просто и быстро!) jsoup.org

[Валера Программист]

gadfi: я планировал делать парсеры и сдавать их в аренду в качесте приложения, и на java эти парсеры не сложнее и не медлене пишутся чем на python/php/node.js

[Олег Гамега]

Валера Программист: я знаком с jsoup (нечто аналогичное есть на любом популярном яп), парсер не сложная задача на любом языке, но кроме парсера вам нужно писать еще кучу другого кода который к самому парсингу никак не относится, вот он то так раз и будет увеличивать стоимость разработки, там где на другмо языке все уместится в один два файла вам нужно будет выстраивать все архитектуру spring (элементарно посмотрите что нужно описать для работы с бд в hibirnate и в sqlalchemy, я не говорю что hibernate намного сложнее, говорю что кода больше, и так во всем, сроки разработки из за этого выше, при этом красивая архитектура и тд часто для простого прасера не нужны), но никто не мешает вам попробовать, сможете продать это на рынке прекрасно, нет ... на нет и суда нет )

[Валера Программист]

gadfi: эм... у меня уже есть готовая архитектура Spring!) мне нужно только сделать платформу на которой буду продавать парсер, а сами парсеры будут писать на javaFX.
думаю что такую платформу напишу быстрее чем многие php программисты так как я уже несколько торговых площядок писал с чистого листа на Spring!)

[Igor Nikolaev]

В любом случае, будет интересно понаблюдать за вашим проектом. Удачи вам.

Answer 4

[Igor Nikolaev]

scrapinghub.com
Вот классный сервис, они держат git - portia проект шикарный.

Answer 5

[Дмитрий Шинкарь]

Продавать можно все что угодно, так что я предполагаю что при грамотном подходе - бизнес какой-ни-какой, а выгорит...)

Comments

[Valera_gm]

Совершенно верно, парсеры востребованы, но анализируя запросы пользователей, здесь заработать не просто! Во первых, срок изготовления под конкретный ресурс, должен быть не более 2 дней(заказчики не любят ждать), а во вторых, людей работающих в этой нище достаточно много, поэтому надо быть готовым, что предложений по покупке дороже 40$-50$ просто не будет, а некоторые пользователи и 20$ будут считать слишком дорогой суммой. А есть еще, спец.программы, типа датакола и зеннопостера, к ним пишут код парсинга за 5$-15$...

Answer 6

[throughtheether]

Насколько мне известно, для сервисов типа auto.ru, drom.ru и прочая продают десктопные парсеры и их даже кто-то покупает (но там аудитория довольно специфическая).

Answer 7

[paulblack12138]

Я рекомендую вам использовать веб-страницу приобретения / страницы парсер.
Octoparse является свободным, несколькими наградами платформы на стороне клиента, который превращает веб-сайтов в структурированные таблицы данных без использования кода.
Я использую Octoparse, чтобы помочь мне собрать данные из Интернета. Это программное обеспечение на стороне клиента, который превращает веб-сайтов в структурированные таблицы данных без использования кода. Довольно проста в использовании, потому что это для не-программистов.
Но лет должны знать немного о форматах веб-страниц и X пути.

Scraperwiki требует навыков программирования. Раньше не пробовал Mozenda.