Что такое data locality?

Question

[Parseltongue_developer]

Привет!

Хочу узнать, что такое data locality и как решают задачу его оптимизации современные распределенные системы?

Спасибо!

Answer 1

[mayton2019]

Насколько я помню - это использовалось в Hadoop/BigData. Это когда вам надо посчитать допустим среднее значение поля по тера-байтному файлу - вы не скачиваете все данные к себе а вы транслируете логику туда, ближе к нодам-воркерам и они уже расчитывают среднее значение локально в своей сверх-быстрой сети и уже вам отдают результат.

Во фреймворке Spark это скрипт spark-submit. И он как раз это и делает. Передает jar файл с логикой (или python-файл) на узел-координатор.