Как вести распределенные вычисления оп заранее неизвестному алгоритму?

Question

[MegaMufa]

Добрый день.

В распределенных вычислениях понимаю очень мало. Но встала задачи написать софтину, которая позволяла бы разделить вычисления между несколькими машинами.

При этом заранее неизвестно, что это будут за вычисления. Может быть, что угодно: от парсинга больших текстовых файлов до обработки видеопотока.

Т.е. часто производятся вот такие сложные и долгие операции. И есть несколько компов, простаивающих без дела. Хотелось бы как то их задействовать.

Честно говоря, я совсем не представляю, как это сделать. Пожалуйста, подскажите, в каком направлении двигаться? Может есть идеи или какие-нибудь статьи на эту тему? Буду очень благодарен за любую информацию.

Comments

[Виталий Пухов]

Если не секрет что была за задача? Как рас создал подобный софт, теперь ищу чем его напрячь для тестирования:)

Answer 1

[_ _]

Для начала вам надо понять, можно ли работу, требующую распределения, разделить на независимые блоки. В одних случаях это достаточно легко - парсинг файлов можно построчно разбить на блоки и парсить каждый блок на своей машине. С видеопотоком уже сложнее.
Если это сделать можно, то просто пишете воркер и координатор. Воркер регистрируется в координаторе, координатор разбивает задачу на мелкие блоки, отправляет их на доступные воркеры, собирает обратно результаты - сама по себе задача организации такого взаимодействия достаточно тривиальна.
Т.е. основная ваша задача это разобраться с самими распределенными вычислениями, задачами, которые могут решаться с их помощью. Вот, например, курс интуита
www.intuit.ru/studies/courses/1146/238/info