• На чем сделать одновременный JS-парсинг большого количества WEB-страниц?

    @forklive Автор вопроса
    Спасибо за ответы!
    >P.S. Если дадите глянуть страничку - скажу какая технология более пригодна.
    Это все сайты букмекерских контор, которые заблокированы в РФ.
    К примеру - https://www.betfair.com/sport/inplay, ну и там выбираете любое событие.
    Да, большинство из них посылают ГЕТ-ПОСТ запросы, и ответ приходит либо в виде JSON-а, либо просто в виде HTML-а.
    И да - разбираться очень тяжело - какое поле к чему относиться. К примеру - при первоначальной загрузке приходит таблица, в которой у каждой ячейки свой ID.
    И потом, в динамических запросах приходят пары - "ID ячейки - значение ячейки".
    И у каждой из 50-100 контор какой то свой алгоритм со своими особенностями.
    К примеру - посмотрел ты в Хроме какой запрос посылает страница - посылаешь его в другой вкладке - а сервер уже возвращает какую то ошибку. Т.е. сервер уже понимает что это какой то левый запрос. И вот нужно разбираться что не так...
    Поэтому, дабы достичь какой то универсальности, кмк - лучше писать JS-скрипты. Страница браузера (или эмулятора браузера) будет сама посылать все нужные запросы, и остается только забирать из консоли JSON массив, в котором ты уже не запутаешься.
    Ну это ход моих мыслей...

    >10 вкладок на компьютер, серьезно?
    Может и не 10. Но учтите, что в каждой вкладке каждую секунду выполняется скрипт, и потом происходит распарсинг JSON-а. Мои эксперименты показали что даже при 20 таких открытых страницах создается существенная нагрузка.
    Ответ написан
    Комментировать