Как обработать большие объёмы данных в NodeJS?

Дмитрий Беляев: она в нём, но глубже. Этот кусок запускается 100500 раз для одного пользователя и некоторые выполнения могут занимать до двух 2 сек...

Как обработать большие объёмы данных в NodeJS?

Дмитрий Беляев: https://www.dropbox.com/s/b0vhhlsr6kjuplo/%D0%A1%D...

Как обработать большие объёмы данных в NodeJS?

sim3x: Проблема не в количестве сайтов, а в количестве HTML кода этих сайтов и задержке при запросах.

Как обработать большие объёмы данных в NodeJS?

Alastor: Говорю же - дело тут не в сайтах. Дело в ноде. Нужно её каким-то макаром заставить не засирать основной луп

Как обработать большие объёмы данных в NodeJS?

Кэширование уже намучено через редис. Проблема в том что каждый пользователь может искать разные вещи и возможность повтора 1/100. Тобиш тут нужно как-то ускорить сам процесс или же как-то не забивать главный лооп но у ноды нет мультифрединга

Как обработать большие объёмы данных в NodeJS?

sim3x: 12 сайтов, на каждом по 400-500 результатов - следовательно 400-500 реквестов, парсинг целой страницы, из каждой парсинг автора.

Возможно ли смёрджить только последний коммит из дев'а в мастер?

jcmvbkbc: я не последний коммит из дева хочу увидеть, а последнюю версию проекта из дева в мастере одним коммитом хочу. При git merge dev в мастер перенесутся и все коммиты из дева или же только код?

Возможно ли смёрджить только последний коммит из дев'а в мастер?

Ну мне не обязательно мёрджить. Просто то, что есть на данный момент в дев закомитить в мастер одним коммитом.

Как правильно работать с репозиториями при клонировании в GIT?

При git pull там только master есть, создав dev он остаётся только локально.

Как правильно работать с репозиториями при клонировании в GIT?

Ну у меня щас так и есть. Может вопрос не правильно составил... Как мне с рабочего компа коммиты из дев бранча перекинуть на домашний ком в дев бранч?