VoidVolker

1. Сделать отладку и профилирование вашего кода
   
2. Найти проблемные места и бутылочные горлышки
   
3. Решить их
   

Или же вы уже это всё сделали и получили явные признаки/доказательства, что проблема именно в ноде?

Серверная часть приложения размещается в отдельном каталоге с ограниченными правами, а не в каталоге статических файлов, которые отдаются веб-сервером. Традиционно для бэкенда на сервере создаётся отдельный пользователь, от имени которого запускается NodeJS как сервис, а в его домашнем каталоге или в другом каталоге с ограниченными правами и размещается код бэкенда. Второй случай используется, когда доступ к данному каталогу нужен другим приложениям/сервисам. Например системе доставки и развёртывания.

proxy_pass https://localhost:3000;

Обратите внимание на протокол. Какой у вас протокол в вашем веб-сервере на ноде? А какой протокол в инструкции указан? Рекомендую детально и тщательно изучить что такое веб-сервер, как он работает, какие протоколы бывают, зачем они нужны и прочее из той же области.

Проблема кодировок. Просто измените путь на путь без русских символов.

Потому что JS не нужна компиляция, т.к. это интерпретируемый ЯП. Вики
npm run build - это просто команда сборки, которая применяется для всяких type-script, минификации файлов для фронт-энда, компиляции бинарных зависимостей, которые как раз могут быть написаны на уже компилируемом С++ или любом другом ЯП, и всего такого прочего.

Возможно клиент использует дополнительные зарезервированные опкоды для каких-то своих целей/задач со своим сервером и поэтому он не соответствует стандарту. При условии, что фреймы получены правильно, конечно.
UPD: вероятно фреймы просто приходят кусками и вы не учитываете данный момент в своём коде. Спасибо Ivan Ustûžanin за напоминание данного факта.

RFC 6455 #5.2

Defines the interpretation of the "Payload data". If an unknown opcode is received, the receiving endpoint MUST _Fail the WebSocket Connection. The following values are defined.

• %x0 denotes a continuation frame
  
• %x1 denotes a text frame
  
• %x2 denotes a binary frame
  
• %x3-7 are reserved for further non-control frames
  
• %x8 denotes a connection close
  
• %x9 denotes a ping
  
• %xA denotes a pong
  
• %xB-F are reserved for further control frames
  

Точно так же как и в любом веб-приложении - с помощью HTML, CSS и JS.

Для этого вам требуется провести аудит безопасности вашего сервера или серверов опытным системным администратором или безопасником. Если самостоятельно не можете этого сделать - то есть фриланс, как уже сказали. Дистанционно по симптомам механизм взлома выяснить невозможно - там тысячи вариантов. После выяснения деталей ОС со всем содержимым следует полностью удалить и поставить новую с правильными настройками безопасности.

Лучше взять что-то готовое, по типу: раз, два. Если хочется реализовывать полностью своё, то вот тут подробная схема работы сервиса авторизации(CAS).

Откройте для себя такую штуку, как "CWD", "Current Working Dir" или "рабочий каталог", а так же NodeJS переменные __dirname и __filename.

Удалить запись в реестре об установщике и уже потом поставить ноду правильно. А если необходимо полностью удалить - то и удалить после установки (чтобы установщик правильно удалил все).