Где найти задачу на распределенные вычисления?

Question

[Виталий Пухов]

Написал библиотеки для создания распределенной вычислительной сети буквально в 3 строки кода, хочется попробовать ее на какой ни будь более менее реальной задаче, так сказать словить все грабли при тестировании. Какую задачу можете посоветовать?

Answer 1

[Валентин]

Для тестирования матрицы перемножь. Размером, например 10^10 степени и с числами float

Comments

[Виталий Пухов]

Этап "сырого" тестирования уже прошел, проблем уже нет, думал более реальную задачку дать, например многопоточный парсинг или т.п.

Answer 2

[Владимир Мартьянов]

Для целей оценки производительности задача должна быть "ничего не делать" - посмотрите сколько времени тратится на накладные расходы, какие сетевые задержки и т.д. Вторая задача для оценки загрузки ядер - в цикле увеличивать счетчик, например от нуля до 0x80000000.

Comments

[Виталий Пухов]

Это уже пройденный этап:) Отсыпается на 1500 секунд за десяток с сотней "работников". Накладных расходов проктически нет, сетевые задержки

[Владимир Мартьянов]

Виталий Пухов: Ну если там точно все ОК - пишите факторизацию, нормальных распределенных систем для нее я как-то не встречал.

[Виталий Пухов]

vilgeforce: Примитивную реализацию попробовал, работает, но там с факторизацей проблема в том что нормального алгоритма пока нет, все что есть либо медленные либо распределение ничего особо не дает, самый быстрый алгоритм, который использовался нигде не могу найти, только формальное описание

Answer 3

[Дима Петрук]

Посчитать SVD матрицы.

Comments

[Виталий Пухов]

не нашел информации зачем оно нужно, в алгебре много чего используют, но обычно 1 раз и не похоже чтобы это было очень сложно сделать

[Дима Петрук]

У меня как раз недавно была проблема с использованием SVD для создания мини-поисковика(для учебного проекта). Была матрица 35640x10000. И нужно было ее разложить на сингулярные числа для уменьшения шума. Так почти все реализации(в python делал):
1. работали очень долго
2. вылетали из памяти

[Виталий Пухов]

Дима Петрук: вот как раз такое и хотелось проверить, вылеты там по всяким "магическим" причинам.

Answer 4

[Игорь Ермолаев]

У вас неправильный порядок действий. Надо было не решать абстрактную задачу путем распределенных вычислений, а потом искать куда бы ее можно применить. Правильный путь, хотя конечно это мое сугубо личное мнение, это при наличии реальной задачи - пытаться ускорить ее при помощи распределенных вычислений, если это конечно требуется и если это возможно. Потому как все задачи разные в плане требований к вычислительным ресурсам, памяти, возможности распараллеливания. И потому не возможно создать систему одинаково эффективную для них всех.

Comments

[Roman K]

А что, если академический интерес?

[Игорь Ермолаев]

Roman Kitaev: Интерес может быть любым, однако сначала должен следовать вопрос, а потом ответ, а не наоборот.

[Виталий Пухов]

Игорь Ермолаев: При создании системы была 1 цель, возможность распеделенного вычисления Любого кода, который взбредет в голову, лишь бы его физически реально было распараллелить, систему написал, а вот чем напрячь в голову не приходит:) Фактически это аналог BOINC, но для своего кода и в сотни раз быстрее, то есть пригоден не только для очень медленных операций.

Answer 5

[Влад Животнев]

Посчитать число pi.
Найти число по его md5-сумме перебором.

Comments

[Виталий Пухов]

вообщем то можно, но зачем это делать?:)