• На чем сделать одновременный JS-парсинг большого количества WEB-страниц?

    @forklive Автор вопроса
    С течением времени я понимаю, что истина где то "посередине".
    К примеру открываем какую либо страницу события в какой нибудь конторе.
    На ней много коэффициентов на разные рынки.
    Смотрим JSON который приходит с сервера.
    Видим там примерно такие пары: 199969 - 1,5, 199970 - 3,4 и т.д.
    И нигде не написано что 199969 - это коэффициент на победу первой команды.
    Это можно определить только визуально.
    Причем на другой странице другого события ID рынка на ту же П1 будет другим.
    И как тут быть?
    Причем рынки могут добавляться, могут убираться, могут приостанавливаться.
    Возможно есть смысл сделать комбинированное решение: периодически запрашивать страницу браузером, чтобы определять ID-шники рынков. А основную часть запросов делать обычными GET-ми.
  • На чем сделать одновременный JS-парсинг большого количества WEB-страниц?

    @forklive Автор вопроса
    Go - это хорошо. Но я пока не дошел до этого этапа (2000 запросов). Я пока пытаюсь решить именно вопрос с парсингом данных с множества разных одновременно открытых страниц. И пытаюсь придумать какое то универсальное решение, дабы не разбираться в JSON-е каждого из сайтов, и в схеме работы. И сейчас мне нужно ответить на вопрос: парсинг в headless браузере - будет хорошим решением? Поэтому - если бы Вы сказали как Ваш коллега именно парсил - это было бы полезно.
    Спасибо.