Как расчитать какую нагрузку можно дать на железо?

Question

[Kotaro Hiba]

Есть ли возможность расчитать какую нагрузку можно дать на том или ином железе.
Что я имею ввиду, например у меня есть скрапер, который скрапит просто огромное кол-во страниц и если делать все в одном потоке, то может отрабатывать и 20 часов.
Скажем можно ускорить этот процесс при помощи создания доп воркеров.

И вот встает какой вопрос, как расчитать сколько воркеров сможет вытянуть ПК или насколько сложные операции он может обрабатывать.
1. Я не знаю мощностей ПК на котором будет запускаться скрипт
2. В идеале дать пользователю возможность самому выбирать сколько ресурсов он выделит для работы.
Если есть какой то метод расчетов или лит-ра по данному поводу, поделитесь пожалуйста.

На данный момент я придумал только 1 метод, посмотреть сколько ядер процессора есть у пользователя и запускать столько же воркеров, правда не знаю на сколько это правильно :)

Comments

[Дмитрий Беляев]

Дмитрий, ну во-первых, уже поддерживает https://nodejs.org/docs/latest-v14.x/api/worker_th...
а во-вторых, параллельные вычисления можно запускать в нескольких процессах, и в большинстве случаев их так и запускает, притом не только в node.js

[Дмитрий]

Дмитрий Беляев, окей, удалил комментарий