Какие книги почитать про параллельные вычисления локально на нескольких компьютерах?

Question

[deleted-rss1alex]

Нашел 3 устаревших и традиционных способа в книге QNX/UNIX Анатомия параллелизма Олег Цилюрик, Егор Горошко, опубликованной на сайте flibustier librusec пиратской библиотеки, запрещенной в РФ (частично) и опубликованной на другом сайте.

Прочитал комментарий на сайте крупного магазина о том, что можно сделать "дочерний процесс на CPU локального компьютера вместе с дочерними службами". Эти процессы и службы обозначаются почти по нолям при простое и производят вычисления пропорционально незанятым ресурсам ТРЁХ персональных компьютеров, соединенных ПО СЕТИ Ethernet и непрерывно, всего лишь предварительно распределив первоначальные материалы по сети. Итоги и результаты пересылаются на персональный компьютер, на котором запущен главный процесс.
Суть заданной мне задачи такая, интерфейс можно заменить на другой, более производительный в порядке убывания пропускной способности:
- подключение через южный мост (неограниченная скорость и зависит от материнской платы) мной будет рассмотрено для других закупленных компьютеров перед их покупкой,
- 24 Гбайт в секунду оптический интернет-интерфейс,
- 20 Гбайт в секунду - thunderbolt 2,
- 10 Гбит в секунду - шина PCI Express 16 мной не будет рассматривается и самый медленный из указанных.

Ответьте на вопрос: "Какие книги по параллельным и распределённым вычислениям почитать?"

Comments

[deleted-rss1alex]

Чтобы не смущать читателей, нужно не читать про южный мост. Материнская плата дает ограничение пропускной способности и больше, чем вычисления в процессоре. Моджно объединить несколько материнских плат и вычисления не будут ограничиваться.

[deleted-rss1alex]

Через шину PCI Express 16 не рассматривал и возможно реализовать.

[deleted-rss1alex]

- 24 Гбайт в секунду оптический интернет-интерфейс,
- 20 Гбайт в секунду - thunderbolt 2.
В этих двух вариантах реализовать легче всего.

[deleted-rss1alex]

Правки в связи с полученным ответом от https://toster.ru/user/saboteur_kiev. Мой вопрос не меняется.

Данные из таблицы страницы интернет-библиотеки Википедия https://ru.m.wikipedia.org/wiki/SATA
Название
Пропускная способность шины (Mbit/s) Скорость передачи (MB/s)
Макс. длина кабеля (m) Передаёт энергию Устройств на канал

Fibre Channel
по оптоволокну 21 040,3 200
2-50 000,Нет,126 (FC-AL) (16,777,216 при использовании коммутаторов)

Я назвал это оптическим интернет-интерфейсом в тексте вопроса.
(Может использоваться для подключения нескольких подвижных камер вместо 4G-модема для режима реал-тайм и без тормозов интерфейса)(Фотография здесь https://ru.m.wikipedia.org/wiki/Fibre_Channel)

Thunderbolt 2
20 000,2 500,3 (по меди)
10 Вт, 18 В, 7
Повторяю, в этих двух вариантах реализовать легче всего.

Есть материнские платы без шин PCI Express. У меня есть такой компьютер. Видеокарта графическая. Fibre Channel можно подключить к Южному мосту. Про Южный мост уже давно читаю комментарии, видел фотографии, как это работает. Фотографию, где больше 12 материнских платы, соединенных вместе через южный мост не могу приложить, статья была мало информативна. На фотографии почти в каждую материнскую плату воткнуто по 4 видеокарты. Можно и больше. Можно использовать Елочки для этой шины и выносить наружу. Мои вычисления производятся не в видеокартах.
Справку нельзя считать постановкой задачи, если её сделал человек по моей профессии, т. е. бухгалтер. Правка: скорость теперь рассчитывается в Гбит в секунду.

Дополненная информация на вопрос https://toster.ru/user/saboteur_kiev, вопрос который дан в виде ответа ниже.

[deleted-rss1alex]

Ответ безсмысленный, https://toster.ru/user/saboteur_kiev. Кэш процессора должен быть любой, но не 32 кб. Лучше всего 5 штук по 64 Мб.

Answer 1

[Сергей Протько]

неограниченная скорость и зависит от материнской платы

У шины данных есть ограничения, если что.

www.open-mpi.org - пожалуй из фришного лучшее что есть для организации паралельных вычислений в кластере. Эдакий стандарт дэ-факто.

Вообще пропускная способность не столь важна, так как профит от этого подхода достигается только тогда, когда выполнение задачи сильно дольше времени пересылки сообщений. Да и сообщения эти шлются по сети, а это само по себе налагает ограничения. Можно конечно написать и общение напрямую, через DMA но что-то мне кажется что это будет сильно накладно.

p.s. 10 гигабит в секунду медленно (или 8, я уж не помню сколько там x16 3.0 вытягивает)? Я может плохо помню, но CPU bus в современных материнках примерно такие показатели выдаст (или 15-ку). Я правильно понимаю что вы хотите сделать из трех компьютеров один? Не выйдет.

Comments

[deleted-rss1alex]

Это будет три компьютера. По ситуации изменяется оценка производительности процессора каждого ПК.

[Сергей Протько]

rss1alex: ммм... можете пояснить? Что значит "по ситуации изменится"? В следствии чего?

[deleted-rss1alex]

Именно 3 компьютера можно объединить через Ethernet и именно показатель продуктивности работы процессора будет увеличиваться. ОС Windows 7. Оценка производительности системы. Оценка производительности процессора увеличивается. Драйвер не меняется. В BIOS отображается тот же процессор. Вольтаж не менял (и не собираюсь увеличивать) в BIOS для процессора. В реестре ОС Windows 7 ветку реестра не менял и не подменивал номер модели процессора. Это общие моменты.

[deleted-rss1alex]

Процессор работает так же.

[deleted-rss1alex]

Оценка производительности процессора увеличивается.

[deleted-rss1alex]

Это программно нужно что-то дописать и, возможно, но не обязательно, дописать ещё какую-нибудь ветку реестра. Производительность действителльно вырастет. Один комментарий и одно видео. Больше я ничего не нашёл. Как это называется тоже не знаю.

[Сергей Протько]

rss1alex: воу воу, это немного не те штуки. Тут у вас будет три винды, которые могут вместе обрабатывать какую-то распределенную задачу (вроде обсчет большого количества данных), по сути это как посадить трех людей что бы они что-то считали и обменивались промежуточными результатами. То есть это не слияние трех людей в одного который внезапно сможет решать все задачи сам в три раза эффективнее.

Шарить задачи аля "прогони мне одну оценку производительности между тремя машинами" увы не выйдет никак. Нельзя из трех компьютеров собрать один комп, можно только собрать один но в три раза более мощный комп.

[Сергей Протько]

А то что вы ищите очень смахивает на cluster computing

[Сергей Протько]

rss1alex: опять же повторюсь, никак не выйдет сделать так, что бы операционная система думала что три физический компа это один виртуальный. Уж темболее винда. Есть отдельная редакция Microsoft HPC Pack для того что бы работать с класстером, но это опять же варианты с диспетчеризацией и распределением задач, а так же MPI.

[deleted-rss1alex]

Сергей Протько: Задача решается не просто в три раз быстрее, а ещё быстрее. Ищу дальше, завтра напишу.

[deleted-rss1alex]

www.k2x2.info/kompyutery_i_internet/parallelnoe_i_... Здесь что-то полезное есть? С каких статей начать? Все ли необходимые вопросы рассмотрены на этих страницах указанного сайта? Что-нибудь ещё искать?

[Сергей Протько]

rss1alex: в принципе там есть все что нужно для понимания того, как это все работает и т.д. Опять же сомневаюсь что это именно то что вы хотите сделать (я до сих пор не понимаю чего вы хотите и мне уже если честно без разницы). Там все идет к MPI и паралельным вычислениям на кластере.