Как спарсить сайт node js?

Question

[sheeel]

Собственно захотелось мне научиться сайты парсить и попробовал простые сайты с ними никаких проблем не возникло.
Как я понял понял данные туда загружаются динамически через websocket
Как спарсить?)

Comments

[Роман]

такими либами как Puppeteer
либо безголовыми браузерами:
Headless Chrome
selenium

либо можно пойти совсем муторным путем - реверсинженеринг протокола передачи данных

Answer 1

[Александр Аксентьев]

Подключиться к вебсокету и собирать данные, для этого нужен любой websocket клиент и немного поковырять сайт чтобы понять какие запросы отправлять.

Никакие браузеры не нужны для этого как пишут.

Comments

[Роман]

Далеко не факт, что нужный сайт с данными позволит вот так просто подключиться по вебсокетам и качать данные. А в случае если при подключении по вэбсокетам еще и проверяются данные сессии полученные по http, да еще и содержащие в себе информацию, сгенерированную клиентским js, то вы без безголовых браузеров или аналогов Puppeteer в принципе не сможете подключится.
Именно по этой причине я написал обо всех трех вариантах, включая и ваш.

Answer 2

[Дмитрий Свиридов]

Думаю, тебе поможет Selenium

Answer 3

[grinat]

Для сложного есть спец сервис apify.com, тут можно найти миллион примеров https://apify.com/store?type=acts если вкратце, то можно ли использовать встроенный в сервис pupetter либо закинуть свой dockerfile и в несколько потоков собирать данные с сайтов.
В твоем случае скорее всего достаточно просто открыть с браузере dev tools, оттуда выдрать url и данные для подключения к сокеты, пооиграться с отправляемыми данными и можно и без браузера дергать то что требуется.