Как про парсить страницу роутера на предмет сбора подключившихся к нему клиентов?

Question

[Дмитрий]

Дано: роутер D-link dir860l, язык програмvирования Python(requests, bs4)

Вообщем проблема заключается в том что логинюсь на веб морде роутера, захожу на страницу с wifi клиентами и собираю всю информацию, но сама информация клиентов подгружается в форму чуть позже
как заставить код дождаться выполнения загрузки информации и вывести ее
силениум не предлагать тк нужно обойтись без вызова лишних окошек типо браузера
telnet, ssh, snmp не поддерживается

прошу помощи те форумы гугления и танцы с бубнами не помогают

Answer 1

[Руслан Федосеев]

парсите веб интерфейс

Comments

[Дмитрий]

а можно поподродней немошко)

[Дмитрий]

как requests сказать чтоб он подождал и после ожидания вывел страницу

Answer 2

[grafist02511]

В роутерах где есть телнет и вшит busybox можно узнать сколько пользователей(ip и mac) командой cat /proc/net/arp . потребуется библиотека telnetlib

Comments

[Дмитрий]

.Не удалось открыть подключение к этому узлу, на порт 23: Сбой подключения облазал кучу форумов компонент включен но вот такое получается

[grafist02511]

1. Возможно на компьютере выключен телнет клиент.(Windows)
2. Если клиент включен, то попробуйте из командной строки прителнетиться к роутеру и посмотреть что будет

[Дмитрий]

grafist02511: телнет включен пишет ошибку 23 порта

[grafist02511]

Дмитрий: Значит на роутере нет телнета. Надо искать другой способ

[Дмитрий]

grafist02511: нашел но не получается скомпилировать в exe. pyinstall компилит но файл не запускается((

Answer 3

[Евгений]

Роутер умеет в ssh? Если да, то paramiko и по ssh там командочками.

Comments

[Дмитрий]

да вот бы знать друг попросил для его делинка такое поднаписать а у меня tp-link

[Евгений]

На этот вопрос тоже на тостере должны ответить? Наверное какое-то минимальное шевеление перед поиском ответов надо же предпринять самостоятельно.

[Дмитрий]

Евгений: да это ладно но если нет ssh то есть другой метод поуниверсальней

[Евгений]

Дмитрий: ниже вон парсить веб интерфейс предлагают, тоже вполне рабочая идея.

[Дмитрий]

Евгений: с парсингом незнаком( можете пнуть на ресурс в гугле забанен)

[Евгений]

Дмитрий: а с питоном? выглядит так, что Дмитрий даже не пытался самостоятельно решить вопрос. Тут рады помогать, когда видно что человек что-то сделал, приложил усилия и столкнулся с чем-то что не знает. Направления дали - прошу в яндекс (раз гугл забанил)

[Дмитрий]

Евгений: да просто немугу понять с чего начать

[NOONE]

Дмитрий: C изучения языка Python.

[Дмитрий]

Евгений: знаю азы но хочется все больше и интересней вот такая задачка попросил пнуть в нужное направление тк с чего начать не понял реквест не прошел

[Евгений]

Дмитрий: да хватит уже. Вот дали кучу направлений - SNMP, telnet, ssh, web interface все рабочие. Выбирай ищи. Если хочешь чтобы за тебя это изучили, так мы уже.

[Дмитрий]

Евгений: да я то чего я просто отвечаю на коментарии то что дали это и буду искать спасибо большое

[Евгений]

Если столкнешься с какой-то практической проблемой в процессе реализации - пиши. Только описывай что уже пытался сделать и где попал в тупик, думаю охотнее будут помогать.

[Дмитрий]

Евгений: смотри щас пока пробую сталкнулся с проблемой телнета при попытке попасть выводит ошибку 23 порта что делать? компонент включен пк перезагружал форумы ничего не дали

[Евгений]

Дмитрий: когда пытаешься получить помощь по ошибке, лучше когда описываешь так: делаю то-то, ожидаю такое-то, получаю сякое-то. Сейчас абсолютно не понятно, кто выводит что и в какой момент. Для начала проверь без питона у тебя девайс по 23 порту в телнет пускает? Если нет - сделай сначала чтоб пускал обычным клиентом.

[Дмитрий]

Евгений: пока питон в игру не вступал пытаюсь через консоль попасть на роутер по телнету и при подключении выдает ошибку сбоя 23 порта

[Евгений]

Дмитрий: на утройстве нужно проверить настройки файрволла и что телнет порт слушается (включить сервис, разрешить подключения). Как это сделать? Смотреть мануал к роутеру. И гуглить.

[Дмитрий]

Евгений: это понятно но мне бы унивирсальность ибо роутеров много а танцы с бубном у каждоготроутера не представляетсч возможным те этот способ не подходит

[Дмитрий]

Евгений: на роутере включил порты но они всеравно по прежнему не работают

[Дмитрий]

Евгений: и новая проблемма когда по вэб интерфейсу иду на роутер он принудительно ставит 23 порт как сделать поумолчанию чтоб он на 80 шел

[Дмитрий]

Евгений: вообщем жопа не поддерживаются телнет ссш и снмп((

[Евгений]

Дмитрий: отличный роутер! ну тогда парсить веб интерфейс

[Дмитрий]

Евгений: не получается скомпилировать в exe. pyinstall компилит но файл не запускается((

[Дмитрий]

Евгений: а если ОС 64разрядная а питон и приложеня сконвертированы pyinstaller в 32разрядной версии будут ли они запускаться нормально

[Евгений]

Дмитрий: не знаю, я питоне в линуксе использую. В крайнем случае в Windows 10 Linux Subsystem

[Дмитрий]

Евгений: xD

[Дмитрий]

Евгений: не подскажешь как при парсинге через requests дождаться загрузки стрницы

[Евгений]

Дмитрий: если там js, то requests это не умеет. Selenium или что-то ещё нужно, я в парсинг не умею.

[Дмитрий]

Евгений: да там обычная страничка роутера не охото селениум он браузер открывает))

[Евгений]

Дмитрий: ну странички роутера бывают разные, даже на флэше могут быть. Посмотри исходный код

[Дмитрий]

Евгений: восновном html ну и не без js, открывается страничка а потом там появляются пользователи дак вот какбы подождать окончательной загрузки и собрать уже инфу со страницы а то он собирает ее до их появления а странице

Answer 4

[Владимир Куц]

SNMP-протокол
Как пример реализации
https://geektimes.ru/post/256262/
В python эти данные можно получать через соответствующую библиотеку для snmp-протокола