Как лучше организовать взаимодействие с настольным Qt/C++ Application через интернет?

Question

[Кирилл Халитов]

Здравствуйте. Возникла задача реализовать удалённое взаимодействие c Arduino через интернет. Кроме того необходим real-time мониторинг данных, посылаемых с Arduino. Я написал Qt App для первичного приёма данных с Arduino, чтобы потом в дальнейшем посылать пакеты данных на сервер (ethernet shield отсутствует) и этой же программой принимать управляющие пакеты.
Теперь я стою перед выбором с лёгким недопониманием. Посмотрев пару статей, я понял, что это мне это не подходит.
Немного поразмыслив, я пришёл к выводу, что можно воспользоваться сокетами. C сокетами работал мало и только в локальной сети. Однако решение я себе представляю таким. То есть создаю сокет в Qt App, запускаю отдельный поток под приём/передачу, делаю sendto to mysite.com. жду входящих пакетов.
С серверной стороной сложнее. Первое, что пришло в голову - это PHP Socket. С ними я никогда не работал и поэтому возникло много вопросов. Как организовать разметку веб-страницы, чтобы php-скрипт работал асинхронно и обновлял разметку в соответствии с полученными данными в реальном времени и при это ещё принимал управляющие frontend-команды пользователя. Да, ещё вдобавок ip-адрес, управляющего arduinoй компьютера, динамический.
Общую абстрактную структуру взаимодействия и процесс обмена данными на уровне пакетов(структур - то бишь void*-массивов) я понимаю. Не знаю какими средствами воспользоваться.
Что посоветуете, уважаемые?

Answer 1

[Кирилл Халитов]

Wt, оказывается платный для КИ. В топку тогда его...
Придумал вот такой вариант.
Покупаем VPS за 200 рублей в месяц. Ставим туда прогу на C/C++. Это прога принимает по UDP пакеты из Qt App (эта прога принимает пакеты с Arduino). Обмен проги на C/C++ с клиентским JS идёт по Web socket (libwebsocket for C/C++).
Таким образом я постараюсь добиться отображение данных на моём сайте с Arduino почти в реальном времени.
Тестировать этот вариант буду на 127.0.0.1

Answer 2

[Дмитрий]

Предложу три варианта взаимодействия через Web:
1. Соединение "клиент-сервер-клиент". в интернете организовывается простейший HTTP сервер. На него ложится CGI-скрипт, который принимает запросы от управляющего устройства и складывает их в файл. Второе (управляемого) устройство периодически скачивает с сервера запросы и отвечает на них - ответы также складируются на сервере. А затем управляющее устройство выгребает их. Это классический случай, в принципе тут ничего сложного и страшного нет. Но главный минус - real-time'a не получится. Задержки будут в пару секунд
2. Соединение "клиент-клиент через IPv4". Управляющий и управляемый компьютер каким-то образом договариваются о соединении между собой - с целью преодоления всевозможных NAT'ов и файрволлов. А затем обмениваются данными между собой. Плюс - real-time, минус - сложные решения для организации начального соединения. Причём минус жирный - для embedded устройств, особенно без полноценной поддержки сетевого стека и сторонних утилит для сети это организовать очень сложно.
3. Соединение "клиент-клиент через IPv6". Поскольку сеть - IPv6, то не нужно заморачиваться о преодолении NAT'ов - в IPv6 к любому устройству можно достучаться напрямую. Код совсем минимальный. Минус - IPv6 пока не сильно развит, но есть много сервисов, позволяющих пробросить IPv6 через IPv4. Но это требует установки дополнительного софта.
Так что решайте - стоит ли мучаться с Arduino, или же проще взять что-то помощнее, нп. тот же RaspberryPi и ему подобных товарищей

Comments

[Кирилл Халитов]

1. Отправляем из Qt App http-запрос на сервер сайта. А если воспользоваться QtWebKit, то можно будет не делать сложные http-запросы на C++, а воспользоваться JavaScript AJAX-запросом в WebKit. Так ведь можно сделать? Потом обрабатываем запрос php-скриптом и записываем в файл. Это для считывания показаний с Arduino. Придется ведь ещё страницу постоянно обновлять и ещё не факт что в это время файл уже занят для записи. Я не пониманию, каким образом Qt App выгребает управляющие команды. Делает постоянный запрос на получения данных?
2. Каким образом договариваются?. А как организовать это соединение? Какие технологии использовать?
3. Тут тем более не понятно.

А зачем что-то помощнее, если в данном случае Arduino никак не влияет на взаимодействие настольного Qt App и серверного набора скриптов?

[Дмитрий]

1. к сожалению не знаком с AJAX-запросами и слабо с PHP вебсокетами, поэтому не подскажу решения на их базе. Что я делал - это простой CGI скрипт который принимает данные из адреса страницы и сохраняет их в файл, а потом при запросе отдаёт.
2. Договариваться можно различными путями - можно через STUN, TURN, ICE протоколы - по последнему кстати работает Skype. Но это всё очень сложно и не стабильно. Можно конечно организовать VPN соединение - но бесплатных хостингов с такой услугой я не нашёл. Есть ещё протокол RESTful, но я с ним не работал - habrahabr.ru/post/177755
3. Тут и понимать ни чего не нужно - IPv6 сеть подразумевает что можно без проблем общаться с другим устройством через интернет, достаточно всего лишь знать его IP
habrahabr.ru/post/207562
habrahabr.ru/post/120875

Я что-то совсем запутался, какая у вас схема подключения устройств?
Arduino-------PC(Qt App)--------WEB-------PC(Qt App)
или
Arduino--------WEB-------PC(Qt App)
Я предлагал свои решения для второй схемы

Если же у вас первая схема, то это просто супер - можно обойтись без всяких серверов - это мой третий вариант.
Имхо - идеальный вариант, без промежуточных серверов - можно попробовать выжать максимальный runtime.

[Кирилл Халитов]

У меня вот такая схема подключения:
Arduino<--->PC-Ctrl(Qt App)<--->Web-Server<--->PC-User(Browser)

То есть я могу зайти с любого компьютера с любым браузером на свой сайт(Web-Server), посмотреть меняющиеся в реальном времени данные с Arduino и послать управляющие команды на Arduino, которые будут приходить с Web-Server на PC-Controler и далее на Arduino.

Ещё не могу определится с хостингом для этой задачи. Столько этих SaaS'ов и остальных этих "... как услуга", выделенный, не выделенный, выделенный виртуальный. Новичку в вебе можно запутаться. Хотелось бы провернуть это дело на бесплатном хостинге.

[Дмитрий]

В вашем случае, безусловно, никакие IPv6 и IPv4 не нужны - это для других случаев.
По поводу Real-time в вашем случае - что-то подсказывает что он будет не большим. Посчитаем:
1. Происходит какое-то событие и Arduino регистрирует его.
2. PC-Ctrl отправляет уведомление на Web-Server - x1 мс
3. PC-User периодически запрашивает у Web-Serverа новые данные, т.е. в худшем случае PC-User узнает о событии через х2 мс (интервал опроса)
4. Пользователь узнаёт о событии и отправляет ответ - который доходит до Web-Server - за x3 мс
5. PC-Ctrl периодически запрашивает у Web-Serverа новые запросы от пользователя, т.е. в худшем случае PC-Ctrl узнает о реакции пользователя через х4 мс (интервал опроса)
Итого: х1+х2+х3+х4
Если всё дело обстоит в локальной сети - то Real-time можно реализовать полноценный. А вот если через интернет - то тут будут сложности из-за задержек.
Если бы PC-Ctrl и PC-User были связаны напрямую, то задержка бы составляла х1+х3

[Кирилл Халитов]

Идеальный real-time и не нужен. Мне необходим максимально возможный не идеальный вариант.

Answer 3

[nekipelov]

Если у вас нет опыта работы с сокетами, то лучше и не беритесь. Воспользуйтесь протоколом более высокого уровня: HTTP, в качестве формата данных json. Не совсем понятно, что вкладывается в понятие "взаимодействие c Arduino", возможно вам потребуется что-то вроде WebSockets, если это взаимодействие может происходить с любой стороны.

Answer 4

[Кирилл Халитов]

Вот что я подразумеваю под взаимодействием с Arduino.
Например Arduino чем-то управляет и я хочу воспользоваться управлением Arduino через браузер. Я открываю браузер, набираю адрес и вижу страницу, на которой в реальном времени отображаются какие-то меняющиеся показатели, приходящие с Arduino (температура и прочее). Также на этой странице есть кнопочки, которые я могу нажимать и в следствии нажатия на одну из них Arduino должна отреагировать на эти нажатия соответствующим образом.

То есть Вы предлагаете посылать HTTP-запросы. Если я буду посылать запросы каждые 100 миллисекунд ничего страшного не произойдет? Просто не встречался с этим.
А как же поступить с входящими пакетами, которые формируются при взаимодействии с веб-интерфейсом по средствам кнопочек. Как их посылать на управляющий компьютер? Ответами на запросы? Пока не могу понять.

Comments

[nekipelov]

Не так. Запрос посылается один раз, устанавливается соединение и оно не обрывается. Учитывая, что взаимодействие двухстороннее, тут следует использовать WebSockets. Поэтому в дальнейшем будет обмен сообщениями в рамках установленного соединения.

Соотвественно когда пользователь в web приложении что-то тыкает, http сервер сразу отправляет запрос на Arduino, который получает и реагирует нужным образом.

Answer 5

[Кирилл Халитов]

Про сокеты. Так если с ними не работать, то откуда опыт появится?
Немного работал с UDP-сокетами на Linux. Общее преставление о них имею.

Comments

[nekipelov]

Если вам нужно не решение задачи, а получение опыта, то конечно используйте сокеты.

Answer 6

[Кирилл Халитов]

Размышляя о перспективах, я подумал, что хочу найти достаточно универсальный вариант общения с сервером. Чтобы, я например, имея операционную систему типа linux, android, windows на каком-либо устройстве с интернет соединением, мог общаться с сервером одинаковым образом для каждой из ОС. Ведь для каждой ОС есть реализация сокетов. Мне кажется, что это самый лучший вариант. Проблема только в том, что нужен хостинг с возможностью запуска свой собственной программы, например на С++, которая бы обрабатывал запросы по сокету. Лучше конечно общаться через php-скрипт, который будет работать на более дешевом хостинге. Конечно, это размышление чистого новичка в вебе.

Comments

[Дмитрий]

посмотрите на хостинг www.ho.ua
бесплатный, и куча возможностей - CGI, MySQL, SSI, Perl, PHP, Python, crontab, htaccess, phpMyAdmin;

[Кирилл Халитов]

Спасибо. Обязательно посмотрю на него.

Answer 7

[Robotex]

А почему бы на сервере не запустить приложение на C++, которое тоже будет использовать сокеты?
Посмотрите еще в сторону CppCMS и Wt.

Answer 8

[Кирилл Халитов]

Так я сразу и хотел использовать linux-сокеты на плюсах. Проблема в том, где взять такой хостинг, чтобы можно было запускать в терминале любые команды и программы и чтобы он ещё был бесплатный или хотя бы не дорогой. Тем более я ещё даже домен не нашел. Искал бесплатный 3-его уровня, но так и не нашел где заказать. Поэтому пока приходится проводить испытания на локальном сервере.
Вторая загвоздка в том, что я пока не имею полного представления о взаимодействии собственной программы на сервере и клиента. Пока у меня перед глазами такая картина.
Есть программа на плюсах, которая в отдельном потоке получает запросы и отвечает на них. Всё это происходит без остановки в реальном времени (с допустимыми для меня задержками). Тут у меня возникает трудность. Как организовать запрос от js/html клиента через jquery-ajax на сервер к программе на плюсах? Я пока только имел опыт отправки ajax-post запроса php-скрипту, который в ответ через echo отдавал json-строку. Обновление данных происходило только после перезагрузки страницы. Как сделать запросы клиента циклическими в отдельном потоке? Или придётся формировать html-документ вручную на сервере на плюсах?
Сейчас я экспериментирую и пробую обойтись php-скриптом. Уже получил двустороннюю связь, запуская php-скрипт просто в консоли, отдельно от браузера. Однако пока остаётся та же проблема. А именно, как со стороны клиента делать асинхронные непрерывные запросы к php-скрипту, который крутится в процессах и отдаёт json-строку?
Все мои сложности из-за непонимания взаимодействия сервера и клиента на уровне ОС. Уровень браузера не может дать мне полного представления. Что посоветуете на эту тему?

Answer 9

[Кирилл Халитов]

Посмотрел в сторону Wt. Заинтригован описанием на Wikipedia.
Спасибо, Robotex. Пока только не пойму на каком хостинге его можно развернуть. Буду разбираться.

Answer 10

[I_maleficus]

А если попробовать использовать стандарты OPC?

Comments

[Кирилл Халитов]

Что-то я не понимаю как сюда это вписывается, если я про то прочитал...