rPman

google: xml beautify

Вы явно где то ошиблись, не важно, как dom строится, с помощь javascript или загружается прямо из файла, javascript должен иметь к самой его последней версии.

Исключение, доступ к iframe, со стороннего домена.

Наверняка - корявые плагины в браузере у заказчика, к сожалению это наша реальность и с этим ничего не поделаешь. Попробуйте для отладки сохранить на сервере содержимое document.innerHTML и сравните с вашим.

Уменьшаете разрешение картинки (несколько раз в 2 раза), и для каждого раза вызываете рекурсивно очередное уменьшение до заранее заданного лимита (чтобы минимально допустимая область вмещала в себя больше одного пиксела, лучше четыре), затем ищете на итоговом изображении белые пикселы (в зависимости от выбора способа усреднения цвета, брать либо чисто белый цвет либо пороговое значение), найденные области (группы пикселов) возвращаете в предыдущую функцию, которая уточняет контур (в том виде какой вам нужен, либо векторном либо пиксельном формате) так же поиском белых пикселов но только в указанных областях, и так далее. К условию добавления пиксела в область можно добавить наличие соседнего белого пиксела, но это имеет смысл только на первом вызове (оригинальное разрешение изображения).

По завершению у вас метод вернет список областей, являющихся белыми.

p.s. если белые области чисто белые и замкнутые (точками другого цвета) то можно используя алгоритм заливки, сделать сканирование изображение вертикальными или горизонтальными линиями (с шагом равным или меньше минимального размера области) и как только находите белое изображение - заливаете его пока цвет белый (заливку производите в своей битовой маске - один на пиксел, т.е. итоговая область пиксельная).

Этот алгоритм значительно шустрее, но работает только с замкнутыми областями и относительно равномерным белым цветом, т.е. если там будут разводы и переходы, будет заметно сложнее)

ключевые слова:
javascript
ajax
websocket

p.s. ладно вы и сами это поняли. Вы должны формировать страницу не на серверной стороне в php, а на клиентской, в javascript на onload (фреймворков шаблонизаторов пруд пруди, но никто не мешает вам делать все самим), и опрашивая либо по таймеру сервер (плохая практика) либо используя вебсокеты, ожидать от сервера данных.

Какими инструментами, приложениями или библиотеками можно воспользоваться, чтобы оперативно отслеживать новые сообщения на публичных каналах telegram?
там решение https://github.com/TehDmitry/tg-cli

Собираете и запускаете консольный клиент под вашим аккаунтом, подключаетесь к нему своим приложением по tcp и делаете простые запросы (периодически, самое простое, можно ловить события, но к сожалению групповые чаты часто глючат).

Без относительно к формулировкам (веб страницу называете приложениями) существует древний способ, открывать страницу во фреймах, т.е. одновременно два запущенных приложения, если оба приложения ваши, вы можете контролировать какие ссылки в каком фрейме открывать.

p.s. очень грустно будет жить нам в будущем, все приложение в вебе, корявее некуда.

Если подгрузка на лету не подходит, используйте шаблоны, работайте с DOM элементами как с текстом везде где это возможно, так как быстрее чем со строками работать в принципе не возможно.

В вашем случае можно вставлять сразу целой строчкой (тег и содержимое tr) или даже подготовить всю таблицу в виде строки а потом вставить ее просто поместив ее в innerHTML нужного div.

наверное самый легкий вебсервер и клиент к сокетам, идеален для IoT:
https://github.com/jeremyhahn/cwebsocket

вообще то их много, гуглить websocket client c (или arm или iot)

вы можете поднять сервер прямо на устройстве но это плохая практика, если вам нужен доступ из интернета, а не только локальной сети.

Только если оба сайта подконтрольны вам, те.. вы можете добавлять туда свой код!

Если без заморочек - через свой сторонний сервис, GET HTTP запросами, кодируя нужные вам данные в параметрах (до 64кб после кодирования).
Оба сайта должны делать запросы к нему с пометкой, запрос данных или получение.

К сожалению, если у вас https, вас сервис тоже должен использовать https.

Открываем страницу в своем браузере (на основе любого решения на любом языке обычно это какой-нибудь WebBrowser контрол) в пару десяток строчек кода и инжектим в нее свой javascript, который эмулируем действия пользователя, обычно это очень простой код, сложнее когда формы многоэтапные.

Решение универсальное, нет ни одной защиты от автоматизации, которую бы это решение не смогло обмануть (но возможно создать сложности, так как правильно эмулировать в некоторых случаях клики клавиатуры сложно).

Я писал подобное на java, совсем давно были эксперименты на mono (c#), там используется основанный на firefox движок, работает неплохо и в безголовном варианте на любой дешевой vps-ке.

Если нет необходимости скрывать интерфейс (запуск в виде службы), можно использовать какие-либо плагины к браузеру (тот же tempermonkey/greasemonkey) и реализовать все полностью на javascript.

что выдает curl -v http://вашсайт.../inc/calc-parts/sketch-straight.php

p.s. немного смущает пробел после php в ссылке, плюс нет никакого смысла да и не красиво в ссылках на данные указывать анчор #, это сугубо html ui решение

где-нибудь сверху поставьте <a href="#" id="xxx"> а в нужный момент перейдите location.href = "#xxx";

Переделайте все на serverside, тем более благодаря nodejs это будет не так сложно как раньше.

т.е. исключите частично или полностью javascript на клиентской стороне, тогда воровать будет просто нечего.

Сохраните факт отправки где-нибудь, на выбор - cookies (рекомендуется, их поддерживают все и они простые), localStorage или на сервере (при следующем открытии формы вы должны будете вернуть этот флаг, но осторожно, при переходе назад в браузере запрос к серверу может не произойти, т.е. вы должны его сделать сами, перед созданием таймера)

Надежнее запускать серверное приложение в виде демона, если у вас критичная к остановке обработка (например лимиты времени работы скрипта) плюс удобнее разрабатывать приложение в виде standalone cli приложения.

Мало того, можно дальше пойти, начать писать на php react асинхроные приложения, когда уже оно само представляется в виде http/websocket сервера, без необходимости восстанавливать контекст на каждый запрос.

Где то под капотом nodejs работает обычный event loop, все асинхронные методы складывают в очередь свои события, каждый кусок кода выполняется, будучи вызван именно от сюда.

Все методы должны как то уметь работать асинхронно, т.е. будить event loop при завершении работы, если не умеют - наверное для них (каждого вызова) запускается свой поток, внутри которого работает обычный синхронный вызов, по окончании работы которого так же дергается тот же event loop.

например мы хотим асинхронно файл прочитать - метод получает от операционной системы хандлер объекта, который умеет работать асинхронно, как только получили порцию данных - в цикле event loop завершает работать метод ожидания хоть какого то события (список хандлеров в параметрах либо это специализированный семафор, который все дергают) и обрабатывает событие, которое его разбудило - т.е. видим что пришли данные и вызываем callback метод, у казанный в парметрах вызова работы с файлом, в параметрах - результаты работы. После их обработки снова в цикле вызывается метод ожидания. Таким образом основной цикл работает в одном потоке, но ожидания только если нет событий.