Что такое распределенная система?

Question

[Марик Цукор]

Сколько раз встречаю понятие distributed system, никак не могу понять, что оно означает. Google трактует сложно и не понятно, нету конкретных примеров. Объясните, пожалуйста, доступным языком, что к чему.

Answer 1

[Сергей Протько]

A distributed system is a software system in which components located on networked computers communicate and coordinate their actions by passing messages. The components interact with each other in order to achieve a common goal.

Мне кажется более чем понятное определение.

Если простым языком, представьте себе что вы разделили ваше приложение на куски и раскидали эти куски по разным физическим машинам. Что бы что-то сделать каждый кусочек общается с другими отправляя им сообщения и получая ответы. Если на какую-то часть системы приходится большая нагрузка чем на остальные - можно продублировать этот кусочек на нескольких серверах и т.д. Так же в случае больших объемах данных удобно хранить данные по частям на разных серверах.

Это один из основных подходов при построении реально больших проектов. Можеет так же почитать про микросервисы и другие схожие подходы.

Answer 2

[Алексей Черемисин]

Самый простой пример - хранение информации. Пусть у нас будет 5 серверов, которые будут хранить файлы. Для того, чтобы распределить нагрузку по этим серверам мы будем каждый файл класть на один из серверов, а сервер выбирать по очень простому алгоритму, будем считать хеш имени видеофайла и делить его на остаток от деления на 5 ( по количеству серверов). Так как предполагается, что хеширование у нас подчиняется нормальному распределению, то файлы на серверах тоже будут распределены равномерно.
Итого, когда нам нужно узнать, на каком сервере лежит файл, нам достаточно посто посчитать хеш, найти остаток от деления и обратиться к нужному серверу.
Тоже самое можно сделать не только с хранением, а и с вычислениями. Передавать задачу на один из серверов по какому то признаку, например по текущей загрузке или по наличию свободной памяти или еще ко какому признаку.

Пример на питоне

import hashlib
h = hashlib.md5('my_cool_filename').hexdigest() # получили 16-разрядную строку
# h =  '13061a556715c93e5543f20b7001c669' - это строка
hi = int(h,16) # перевели ее в лонг
# hi = 25287019810011413006158894310673729129L
index = int(h,16) % 5 # нашли остаток от деления
# index = 4L

Еще раз, нужно не делить, а взять остаток от деления, операция %

Comments

[Ai Lab]

про хэш отличная идея, но откуда уверенность что хэши нормально распределены? о каком алгоритме хэширования речь?

[Алексей Черемисин]

vpuhoff: конечно же уверенности не очень много, но:

Основным требованием к хэш-функциям является равномерность распределения их значений при случайном выборе значений аргумента.

по идее...

[Ai Lab]

Алексей Черемисин: возможно) Но остается вопрос как поделить результат скажем md5 на 5?:)

[Марик Цукор]

vpuhoff: md5/5= md1

[Алексей Черемисин]

vpuhoff: Даочень просто! Есть такая операция, называется остаток от деления! Обычно, во многих языках программирования записывается как знак процента (%). Например на питоне будет

>>> import hashlib
>>> h = hashlib.md5('my_cool_filename').hexdigest() # получили 16-разрядную строку
>>> h  # вот она какая
'13061a556715c93e5543f20b7001c669'
>>> int(h,16) # перевели ее в лонг
25287019810011413006158894310673729129L
>>> int(h,16) % 5 # нашли остаток от деления
4L
>>>

[Алексей Черемисин]

Вынес в ответ.

[Ai Lab]

Алексей Черемисин: не подумал что можно так нагло ее в long переделать) Спасибо.

[Алексей Черемисин]

vpuhoff: питон, аднака! Но лучше не строку получать, а последовательность байт методом .digest(). Спазу число и получаем, а так, для наглядности.

Answer 3

[Пума Тайланд]

распределенная на несколько серверов система, что тут не понятного.