Ответы пользователя по тегу Парсинг
  • Насколько сейчас выгодно заниматься web scrap/data mining на фрилансе?

    @chromimon
    Много сайтов блочат парсеры?


    А зачем парзить с одного адреса и все подряд без пауз?

    Мельком глянул апворк, там вроде нормальные цены предлагают за проекты.


    Да так же как и все остальное, как любая другая работа: хорошо зарабатывают только профи.

    Выгодно только если вы на этом специализируетесь.
    Иначе накладные расходы на каждый проект - съедят все доходы.

    Если постоянно занимаетесь, то и пул веб-пауков держать можете и технологии уже все знать - следовательно выполнение конкретного заказа займет для вас всего ничего времени.

    Сложно ли парсить?


    Если вы задаете такие вопросы - то лично для вас: не стоит этим заниматься.

    Разумеется, исполнителю всегда это просто. Намного проще чем заказчику. Иначе бы заказчик не платит за это исполнителю.
    Ответ написан
    Комментировать
  • Парсить через свой сайт или напрямую в приложение?

    @chromimon
    Если из Андроид-приложения:
    1) Лишняя работа (каждый же пользователь будет на Андроиде это делать).
    2) Лишние затраты аккумулятора, серьезные ограничения на фоновую работу

    Поэтому - через сервер (не через веб-сайт).
    Плюс данные с сервера можно отдавать в уже переваренном подготовленным к отображению виде и упакованными.

    И по уму - серверов должно быть несколько, так как если вы с одного IP адреса начнете обходить все подряд на сайте, то админы сайтов за нагрузку вас и забанить могут
    Ответ написан
    Комментировать
  • Что такое парсинг с сайта (простым языком)? и на каком ЯП обычно пишется?

    @chromimon
    Парзинг сайта - извлечение информации с сайта теми же методами, как и у браузера.
    То есть парзер с точки зрения сайта не отличается от обычного пользователя.

    Если сайт не слишком зависим от JS, то парзится на любом языке, что ты лучше знаешь.
    Если сайт слишком завязан на JS - то используется например, SlimerJS
    Ответ написан
    Комментировать