Как ускорить работу с массивами?

Question

[Дмитрий]

Работаю над проектом в котором нужно обрабатывать большое количество сырых графиков, применять разные формулы усреднения и т.д. Упрощенная схема такая: взять сырой массив точек -> обработать их-> запушить в новый массив-> отрисовать.
Сырых графиков может быть много, 250-500 графиков по 4000 точек в каждом. Нехитрой математикой получаем 500х4000=2 000 000 точек к которым нужно еще применить математику. Все это естественно начинает тупить и плохо работать. Можно как то силами js приемлемо обрабатывать такой массив данных? Спасибо.

Comments

[alexalexes]

А если не выводить over9000 графиков на одной странице?
Как-то разбить графики по группам, каталогизировать наблюдаемые процессы.
Для наблюдения одного процесса подгружать на странице только 10 графиков.
Для другого - 15 графиков. Для третьего нужно только 3 графика и т.д.

[Ярослав Иванов]

Задайте себе вопрос. А так ли нужно выводить 2кк точек? К чему такая точность?

[Дмитрий]

Ярослав Иванов, Научный проект, графики зумируют и изучают.

[WbICHA]

Tim308, как насчёт webassembly или на сервере считать?

[Дмитрий]

WbICHA, сервер не вариант, а webassembly как я понял будет так же крутиться на на одном ядре и особой разницы не будет. Скорее буду смотреть в сторону вебворкеров.

[Froggyweb]

Ярослав Иванов, Научный проект, графики зумируют и изучают.
А может для зума получать свои данные и детализировать

[Kovalsky]

Лучше объясните о чем конкретно речь, что за вычисления и в каком это всё формате происходит. Обозначить предметную область тоже было бы неплохо, тк я думаю тут найдутся люди которые сталкивались с подобными задачами.

[WbICHA]

Tim308, вебассембли в первую очередь быстрее работает, если не надо работать с домом. Это как раз твой случай. Напиши логику на тех же плюсахи получи высокую скорость работы. Параллелизация не панацея.

[freeExec]

WbICHA, но молотить бездумно цифры это как раз оно.

[Антон В.]

WbICHA, может вы встречали сравнения, или статьи которые помогают увидеть когда есть смысл использовать webassembly?
Ведь передача данных из js в webassembly и обратно может съесть весь профит полученн от ускорения.

[WbICHA]

Антон В., это было давно... Но всё верно, он как самолёт, долго готовится к полёту, но до места, если оно далеко, добирается намного быстрее машины.
В данном случае очевидно будет очень много расчётов, так что профит, думаю, будет, но надо проверять.

[Антон В.]

WbICHA, Да с самолетом пример очень наглядный. Как я понимаю то выходит что профит можно получить если большой кусок расчета передается на сторону wasm. и совершаются единичные взлеты/посадки

Answer 1

[Alex]

А что подразумевается под "обработать"?
Выносите тяжелые вычисления в Web Worker. Это позволит распаралелить вычисления.
Можно вынести какую-то логику в модуль webassembly.
Можно не рисовать в графике 2000 точек. А сделать динамическую точность. Рисовать, скажем 200 точек. В заданном интервале. Пользователь зумит -- изменяется интервал -- увеличивается точность.
Можно не рисовать все графики сразу. Например свойство content-visibility может помочь.
Или изменить способ отрисовки графиков.
И ещё очень много вариантов.

Прежде чем задавать такой вопрос, стоит розобраться что именно тормозит и почему. Загрузка сырых данных? Математика? Отрисовка браузером? И уже исходя из этого гуглить как исправить.

Comments

[Дмитрий]

По моему в вопросе четко все описано что именно тормозит. Я же спросил "Как ускорить работу с массивами", а не "Как ускорить отрисовку графика". Из вопроса следует, что тормозит обработка больших массивов.

Answer 2

[Антон Шаманов]

логичные ответ
1. улучшить железо
2. обрабатывать запросы на стороне сервера(php/ruby уж точно быстрее) т.к. js работает на стороне клиента, а железо у клиента..

Answer 3

[Владимир]

Может быть вообще можно заранее подготовить данные или хотя бы их часть? Особенно если разные люди работают с одними и теми же данными, то неплохо держать где-нибудь кэш и грузить данные из него в фоне пока юзер смотрит на график крупного масштаба, отрисованный, скажем, по сотне точек и думает где ему нужно увеличить.

В общем, если уточнить задачу, могут найтись разные решения.