Что сегодня могут парсеры? Можно ли парсить в режиме реального времени?
Хотел бы узнать у знающих людей. Я являюсь аналитиком, который хотел бы проводить исследования в области данных. Для анализа интересующих меня тем, мне бы в теории понадобилось парсить данные с сайтов постоянно, так как они обновляются ежесекундно.
Собственно хочу узнать, что сегодня могут современные парсеры и возможно ли их программирование освоить новичку в IT?
Приведу вымышленный пример, нужно в режиме онлайн собирать цены отелей по всему миру, которые ежедневно меняются, меняются в зависимости от выбранного типа комнаты, меняются в зависимости от даты бронирования, ежедневно появляются новые отели (новый источник цен). То есть в теории нужно было бы парсить хотя бы bookingcom (не ежесекундно конечно, но например скачивать всю их базу раз в неделю). По силам такое современным парсерам?
sim3x, То есть ответ да? В таком случае еще вопрос, по поводу скорости парсинга. На примере того же букинга: мне нужны данных по дням, способен ли парсер собственно говоря за тот же самый день спарсить весь букинг? Иначе говоря, если парсинг занимает 4 месяца, то получается в нем нет смысла для анализа дневного временного ряда
offtop: заранее извинияюсь за "деревенску" формулировку вопроса =)
sim3x, Например в случае вот этого сервиса (hypeauditor.com) все выглядит так, что они как раз таки парсят целый instagram, то есть парсинг подобного рода возможен. может и ошибаюсь....
Простой
