Имеет ли смысл на NodeJSделать большое количество вычислений?

Question

[Александр Дегтярев]

Как эффективно на NodeJS выполнять большое количество вычислений с плавающей точкой?, подскажите модули)) без TS и прочих трансплайтеров.

Насколько я знаю JS для расчетов с плавающей точкой подходит плохо, верно?

Comments

[Dark Hole]

Зочим? На фронте - понятно, а в ноде то зачем?

[Александр Дегтярев]

Dark Hole: сбор и анализ данных

[Dark Hole]

Александр Дегтярев: тогда лучше не. JS работает неточно с большими числами. Сколько-то точек после запятой

[Александр Дегтярев]

Dark Hole: а с целыми если то нормально?

[Dark Hole]

Александр Дегтярев: если меньше 2^32-1, то да. С разрадами приблизительно то же. Иначе точность теряется

[Александр Дегтярев]

Dark Hole: а если смотреть не на точность а на скорость работы, то в этом плане как?

[Александр Дегтярев]

OnYourLips: Насколько js проигрывает в скорости?

[Александр Дегтярев]

OnYourLips: по моему это ощутимо. несколько раз))

[Александр Дегтярев]

OnYourLips: угроза больше именно в количестве расчетов, думаю это можно примерно хотя бы вычислить постараться. Благодарю

Answer 1

[Юрий]

"TS и прочих трансплайтеров."
они тоже компилируются в js и скорость получается та же. (хотя возможно какие то из них используют типизированные массивы, см ниже)

любые библиотеки отпадывают по той же причине. единственный бонус от библиотек может быть при работе с гигансткими числами.

насколько я помню в ноде числа все int32. когда целое число превышает эти рамки оно превращается в float где младшие разряды (для целых числе) сохраняются вплоть до 2^59 вроде бы, это весьма неплохо.

по поводу оптимизации в библиотеках связаных с мощными вычислениями (3д математика) (на фронтенде) часто используют типизированные массивы типа Int32Array как минимум меньше памяти и возможно более оптимизированные вычисления. самому интересно что есть на серваке в этом плане.

Comments

[Александр Дегтярев]

У меня больше не 3д а просто расчеты, связанные с покупками и коэффициентами статистики, кто где и сколько покупает, корреляции. Мне важно знать насколько JS с этим всем сможет справиться

[Юрий]

Александр Дегтярев: незная примерного алгоритма и нагрузки сложно сказать. может быть вы преувеличиваете проблему. вы ведь будете делать эти рассчеты в отдельном node процессе? не в том который обеспечивает http сервер для клиентов?

в вашем случае я бы просто попробовать сделать тесты банальные циклы с какой то примерной математикой, эмулирующей пусть отдаленно ваш алгоритм. и банально засекать время. я бы сделал так.

[Александр Дегтярев]

Юрий: я хочу сделать несколько worker и каждый будет заниматься своими делами, как думаете, это хорошая стратегия?

[Юрий]

Александр Дегтярев: однозначно тяжелые вычисления надо выносить в отдельные процесы. но не обязательео делать именно воркерами/кластерами. кластеры хороши когда вам надо несколько процессов с одним функционалом. хотя если вы имели в виду что у вас несколоько процессов будут делать эти рассчеты, то да, наверное воркеры лучше, чем запускать несколько отдельных процессов. хотя pm2 вроде бы умеет это делать (несколько одинаковых инстансов)?

[Александр Дегтярев]

на каждый воркер свои уникальные вычисления назначаю, по поводу процессов я скорей всего не дополнял, воркер разве это не процесс? или процесс создается cluster - ом

[Юрий]

Александр Дегтярев: воркер это отдельный поток, и это тоже хорошо. по сути и отдельный поток и отдельный процесс решает задачу. если у них будут разные функции то с воркерами имхо заморачиваться нет смысла - почему не сделать просто отдельные скрипты? это и проще и понятнее и логи отдельные проще читать. воркеры маст хэв когда нужно один алгоритм распаралеллить + у них есть шаринг http листенера. если честно не использовал их, но вижу что для некоторых кейсов штиука конечно удобная.

[Александр Дегтярев]

Юрий: в чем отличие процесса от потока в этом контексте? Идею вы отличную предложили, хочу попробовать. А не подскажете очень и очень понятно что такое TTY модуль в ноде и на каком - нибудь примере для понимания простейшем пожалуйста?)

[Юрий]

Александр Дегтярев: до вашего вовпроса даже не знал об этой ;) в рамках этой задачи это не надо. с помощью нее можно отрисовывать более сложное консольное гуи. например сделать свой midnight commander на ноде, имеется ввиду именно отрисовка подобного гуи.
вместо этого лучше сделайте веб интерфейс с вебсокетами.

поток от процесса для ваших потребностей практически не отличаются, для вас главное что они не блокируют друг друга при вычислениях.
каждый процесс - отдельная запущенная программа, которая имеет внутри себя как минимум один поток.
но эта же программа может запускать несколько потоков (как ваши воркеры, хотя фактически они там форкаются, то есть происходит копирование процесса в памяти и продолжается работа с места в котором произошло копирование), по идее они даже в диспетчере задач должны быть отдельными задачами.

[Александр Дегтярев]

Юрий: Интересно, подробнее про механизм где можно дополнительно узнать? Кроме оф документации))

[Юрий]

Александр Дегтярев: механизм чего? tty или процессы /потоки?

[Александр Дегтярев]

Юрий: второе

[Юрий]

Александр Дегтярев: если потоки, то гуглите типа "потоки vs процессы" это к любой программе относится не только нода.
плюс воркеры на ноде внутри делаются через функцию форк, поэтому гуглите как работает форк. "linux fork". это тоже понятие которое родилось еще задолго до ноды и к ней конкретно не относится.

[Александр Дегтярев]

Юрий: благодарю)))

Answer 2

[lem_prod]

JS не точно проводит вычисления, например:

(0.1 + 0.2) === 0.3 // false, потому что 0.1 + 0.2 = 0.30000000000000004

тут подробней https://learn.javascript.ru/number#неточные-вычисления

а по поводу производительности, ничего не утверждаю, но js должен показать себя хорошо, особенно если много асинхронных вычислений.

Answer 3

[Виталий]

Насколько я знаю, node.js может получить доступ к видеокарте, которая отлично подходит для сложных распределённых вычислений. Если разберётесь с этой темой - отпишитесь, буду благодарен)

Кроме этого, всегда можно написать библиотечку на С++, которая легко встраивается в окружение node.js.

Comments

[Александр Дегтярев]

Как знал что нужно изучать C++ но пока не изучил))) а по поводу видеокарты, это идея очень даже интересная