rPman

Да уж питон в зависимостях тут прямо 'детская неожиданность'

В похожей ситуации, когда было много кода и переписывать весь был не вариант, я создавал свою замену библиотеки, в которой реализованы только те методы, что используются в коде (а их почти всегда будет мало), зачастую это сильно упрощает работу но является адским костылем и все равно потребует рефакторинга в будущем, ну или как минимум нужно будет донести до следующего сопровождающего этот факт (а то он сильно удивится работающей не так как ожидается libcurl), кстати как вариант, с помощью инструментов ide редакторов переименовать имя класса curl на свой, типа mycurl, тогда тому кто будет это поддерживать в будущем будет проще это осознать.

Для таких простых (бывают сложности если автор сайта борется с автоматизацией, но маловероятны, чаще всего проблем нет, максимум сложно кликать на кастомные комбобоксы и скролить ненастоящие скролбоксы) нет смысла писать 'готовое' решение

Если тебе не серверное решение, т.е. подойдет работа в запущенном браузере, то устанавливаешь расширение типа tempermonkey, которое запускает пользовательский скрипт на указанных по шаблону страницах, а скрипт будет иметь вид, на каждый клик команда вида
document.querySelector('CSS-селектор').click()
либо если есть jquery
$('CSS-селектор').click();

CSS-селектор можно либо вручную смотреть на странице, либо в инспекторе браузера на нужном элементе правая кнопка - копировать css-селектор

паузы между действиями реализуешь через setInterval или setTimer, если нужно собирать данные а не только кликать, то советую либо складировать их в localStorage а потом одной командой извлекать и генерировать файл за загрузку (если кроссбраузерно то генерируешь ссылку data uri с типом например txt или csv и открываешь ее, либо пользуешься File System API.

У меня был кейс, когда я собираемые данные тут же отправлял на http сервер post ajax запросом, а тот уже складывал в нужном формате, но так как подавляющее большинство сапйтов теперь https то этот сервер тоже должен иметь https сертификат (иначе в браузере по умолчанию запрещены кросс запросы, это тюнится но с оговорками)

Странно, по уму сокет должен закрыться и открыться заново, если пройдет таймаут (он и для сервера и для клиента есть, не помню, можно ли его менять в браузере) или отправленные данные так и не дошли до клиекнта (полагаю в браузере время работы во сне создано специально для этого), но в 99% случаев на клиенте все ставят логику автоматического пересоздания этого сокета. Если сокет не был пересоздан, значит данных в канале новых нет, это смысл tcp протокола, отправленные данные либо дойдут либо будет ошибка но никак не их потеря.

и в этот самый момент, когда сокет открывается, на сервере должен быть функционал запроса либо всего текущего состояния, либо разницы, накопившейся с момента последнего подключения.

Веб технологии на самом деле очень сложный способ учиться программированию для новичков, так как затрагивает сразу несколько очень сложных и сильно разных областей:
* базы данных (для хранения данных я рекомендую sql базы данных, и для начала sqlite, не потребуется настраивать и устанавливать сервер, так как хранит все в файле)
* бакэнд (миллион способов, самый популярный php, можно python, так как зная его будет проще в другие области зайти, не рекомендую java или go для начинающих)
* фронтэнд (без или javascript)
* верстка и дизайн (html+css)

причем разработка требует понимание многопользовательского доступа, понимание конфликтов и т.п. если новичок совсем совсем ничего не знает, будет сложно.

потму что ты определил вложенные замыкания (не думал что такое синтаксически возможно)
(param) => () => {
вот пример

var x = (param) => () => {  console.log("Выхлоп!" + param);}
x();
// > function x()
x(1)();
// Выхлоп!1

var x = (param) => {  console.log("Выхлоп!" + param);}
x(1);
// Выхлоп!1

лично мне интересно почему надо писать x(1)() а не x()(1)

https://www.npmjs.com/package/websocket
смотри примеры client example

Не дам готовый ответ но посоветую - открываешь отладчик в браузере по F12, вкладку network, проводишь полный сеанс работы пользователя с учетом чистых кук (и отдельно повторный заход), делаешь экспорт .par файла (это json файл, там все запросы, и ответы, полная информация)

Затем смотришь нужные тебе запросы, они могут требовать (в заголовках или в параметрах) некие данные, которые собственно обфусицированным скриптом сайт и генерирует в 99% случаев это не скрытая строка а напрямую запрашиваемая в предыдущих запросах, т.е. ее можно поискать в par файле (лучше не как текст а разбирай json так как там могут быть строки с ковычками). Вместо ручного анализа может оказаться проще писать небольшой скрипт ковыряющийся в этих логах и доступных html/js файлах сайта.

По уму отладчик в браузере умеет искать по истории запросов (там где есть поиск по url есть кнопка лупа - поиск, ее нажатие открывает еще одно поле поиска уже по данным)

Работа с логом очень помогает, но сочувствую тебе.

Деобфусикация и реверсинженеринг кода веб сайта стоит 10х-100х от такой же но с использоанием selenium или инжекта кода на страницу (например отдельное самописное приложение с браузером), сочувствую тебе. Подумай еще раз хорошенько, так как через условный год этот сайт так же придется разбирать и анализировать за те же деньго-трудо-затраты.

p.s. для тех кто пишет защиту от парсинга - совет, увеличивайте нагрузку на процессор (в т.ч. используя gpu) чтобы всякие selenium потребовали ну очень много ресурсов (грубо говоря фиктивную задачу как в майнинге либо 100500-уровневая раз дешифрация или хеширование)... подбирая такие нагрузки, чтобы рядовой клиент все еще не замечал проблем а вот массовый анализ стал бы затратным.
Такова селяви.. либо делай данные общими либо создавай проблемы всем.

Например расширение WebRTC Control и у firefox

в принципе любой функционал на странице (в ее пределах само собой) можно контролировать через javascript, переопределив соответствующие методы на себя
т.е. берешь какой-нибудь RTCPeerConnection и присваиваешь ему пустышку
RTCPeerConnection={};
чтобы вернуть назад, предварительно сохрани старое значение в своей переменной

/^([0-9]+)(\.[0-9]+)(e([+-])?([0-9])+)?$/i
^ и $, метасимволы начала и конца, гарантируют что вся строка соответствует регулярке а не какая то ее часть
i в конце - опция игнорирования регистра для мантисы но можно задать в регулярке варианты и так
Данная регулярка пример и разберет на части целую, дробную и мантису
100
100.001
100.011e+12 (кстати формально неправильно целую часть при использовании мантисы делать больше 10 но все парсеры это обработают правильно)

Хранить данные нужно исходя из задачи, а точнее как именно ты будешь читать эти данные, как искать, в каком порядке (а нужен ли он) проходить, необходимость удалять или менять порядок и уровни вложенности и т.п.

Например хранить можно список элементов в виде плоского массива, и в большинстве задач этого будет более чем достаточно

Если нужно при этом знать, у какого элемента какой предок и какие потомки, то добавить поля parrent и childs со ссылками либо на сами объекты либо на их идентификатор (номер) в массиве всех элементов

Если нужна связь с элементами html dom то в соответствующие элементы добавляй либо сасылку на сам dom элемент либо на его уникальный id

Сообщения об ошибках должны быть видны разработчику в dev консоли, потому что ошибки должны быть обработаны не только с точки зрения кода но и владельца сервиса в целом!

Их нельзя игнорировать, каждая ошибка имеет причину, она должна быть выявлена, логирована и доведена до сведения разработчиков, даже если их причина - проблемы с интернетом (в текущих реалиях глобальный интернет в мире - сломан, он имеет частичную доступность, как благодаря блокировкам и цензуре так и тем что провайдеры вносят в не шифрованный контент изменения ради рекламы и других своих темных делишек).

Каждая проигнорированная ошибка или даже варнинг - это потенциальный технический долг. Даже если ты сейчас знаешь и понимаешь что конкретная ошибка не проблема, через год/два ты или твой заместитель, пришедший на смену тебе, этого знать не будет... а так как ошибки имеют тенденцию накапливаться, решать их в будущем будет все сложнее и сложнее

событие onload например на теге body (к сожалению оно не сработает для внутреннего контента и фреймов, т.е. страница и скрипты загружены, но изображения - нет, дляя них нужно блудет городить свой прелоадер)

но изначально это порочная практика, данные не должны меняться после загрузки, а то от сюда вылезают высеры когда страничка подгружается, ты наводишься мышкой к нужному месту и тут страничка догружается, меняются размеры и элемент уезжает.

Меняй данные сразу при загрузке страницы

использовать готовую функцию будет некрасиво, в правильной 'школе' за такой даже безупречный ответ должны ставить оценку 'хорошо'

для 'отлично' я предлагаю написать функцию, которая будет заметно эффективнее и вместо N умножений будет делать примерно log(N)
для этого попытаться представить возведение в степень не как N раз X*X*...*X а как (N/2 раз X*X*..*X)^2, а чтобы это делать в цикле, поступить так, если N четное, то делим его на два, вызываем рекурсивно свою же функцию и результат умнажаем на самого себя, иначе берем N-1 и делаем тоже самое но результат дополнительно умножаем на X

p.s. полгаю если сумеешь заменить рекурсию на цикл, будет однозначно плюсищем