Парсинг чата на сайте?

Question

[NooBick]

Как парсить чат на сайте? Я подумал что можно читать каждый новый пакет, приходящего от сайта, но я не умею и не понял как это можно сделать?



Вот чат, как мне парсить *Network*, в инете по поводу этого ни чего не нашёл.

Comments

[Antonio Solo]

а вы вjобще умеете отправлять HTTP запросы и получать ответы ? гтовить данные для HTTP запроса и читать ответ сервера ?

Answer 1

[Александр]

Все что идет в Network - это запросы. И их можно отправлять с любой программы.

Comments

[NooBick]

Как их читать? Парсить?

[Александр]

Их нужно отправлять и получать в ответ необходимые данные. А вот эти данные уже парсить.

Есть конечно Selenium, но гонять браузерный движок это жесть.

[NooBick]

Александр, Как мне парсить новое сообщение в чате? Вот это я хочу узнать.

[Александр]

Все очень просто: шлете запрос авторизации, получаете сессию и шлете запросы на обновления сообщений раз в 3 секунды - в ответе будут все новые сообщения с последнего запроса для вашей сессии.
Надо лишь найти какие параметры и куки у этих запросов, где ид сессии - это надо вдумчиво смотреть все запросы на вкладке Network.

Код надо организовать как класс - инициализация с авторизацией, запуск потока проверки сообщений, вызов указанной функции(внешняя функция, указанная в параметре при инициализации) для каждого сообщения с передачей ей необходимой информации о сообщении и экземпляра класса вызвавшего ее. В классе надо реализовать также функцию отправки сообщения в чат(ответа на сообщения).

[NooBick]

Александр, Это очень интересно, но я прочитал много чего, залазил в vk_api, смотрел как он это делает(не чего не понял.) Просто, можете сделать код на примере vk. Пожалуйста.

[Александр]

Хорошо. По этапам.
1. Как происходит авторизация(получение сессии)? Нужен адрес запроса и параметры, а также ответ.

[NooBick]

Александр, я все это сделал, я получаю токен, аторизуюсь на сайте и т.д, захожу в чат, каждое новое сообщение в чате это новый пакет, он всегда приходит, я же не знаю как "парсить"(или как это называется), просто мне нужен пример, чтобы каждый новый пакет я мог получать в скрипте, да простой пример того, чтобы каждый пакет, а именно, его название просто было в print.
Мне просто надо узнать как "парсить/сниффить/красть" новые пакеты.

[Александр]

Как я могу знать что вы там видите.
Когда нет конкретных данных - я буду давать абстрактные ответы:
Смотрите что приходит и прогоняете через обработчик, если JSON то как json.loads() если html, то через соответвующий парсер. Когда видишь данные, то сразу ясно как их обработать. А тут я кроме тупого скриншота ничего не увидел, поэтому не могу утверждать что там вебсокет.