Как парсить сайты на технологии web socket?

Question

[Alex Lukyanets]

Занимаюсь cбором открытых данных.
Сайты ниже работают на технологии web socket.

• https://dallas.tx.publicsearch.us/
  
• https://denton.tx.publicsearch.us/
  
• bexar.tx.publicsearch.us
  

Сталкивался ли кто-нибудь с парсингом на подобной технологии? Если да, буду благодарен если скинете статьи или проекты.
Пока что не знаю как это сделать.

Comments

[edward_freedom]

подключайся к сокету и слушай его, сложность может быть только в авторизации
wss://dallas.tx.publicsearch.us/ws

[shurshur]

pip install websocket-client

или если там socket.io, то

pip install python-socketio[client]

Я успешно парсил сайт, в котором использовался socket.io.

Answer 1

[StiflerProger]

const WebSocket = require('ws');

const ws = new WebSocket('wss://dallas.tx.publicsearch.us/ws', {
  headers: {
    "Origin": "https://dallas.tx.publicsearch.us",
    "Cookie": "authToken=51f69ac5-67c5-41ac-8943-cace7ebc6b3c; authToken.sig=x9S_G8Lwy6KHaB2Ek4PT1PR7jhE;"
  }
});

ws.on('open', () => {
  console.log('Соединение открыто');
});

ws.on('close', (code, reason) => {
  console.log('Соединение закрыто', code, reason);
});

у всех сайтов свои тараканы будут) к примеру в том что я скинул выше. Тебе обязательно передавать в заголовке запроса Origin и Cookie. Если с первым все ясно, то первая проблема будет с куками. Их как я понял можно получить сделав обычный GET запрос на главную. Тебе эти куки передадут в Response Headers


https://www.npmjs.com/package/ws

После удачного коннекта, не забывай потом слать пинги ) Формат пингов уже посмотришь во вкладке Network в браузере

Answer 2

[АртемЪ]

Точно так же как и любые другие JS сайты.
Либо ставите движок для исполнения скриптов и выполняете нужные запросы, либо управляете браузером.

Comments

[Rsa97]

Либо разбираетесь в скриптах и имитируете обмен с сервером в своей программе.