Задать вопрос
@denislysenko
data engineer
apache-spark

1 rdd это один кусочек 128 байт или поток?

1 rdd это один кусочек 128 байт или поток?
То есть, что такое rdd, кроме как resilient distributed dataset?
  • Вопрос задан
  • 65 просмотров
Комментировать
Подписаться 1 Простой Комментировать
Решения вопроса 1
@Cheypnow
RDD - это распределенная коллекция. То есть набор данных, распределенных по кластеру, над которыми можно выполнять распределенные операции.
Например, есть файл, лежащий в распределенной файловой системе, каждая нода хранит свою часть файла.
При чтении создастся один RDD, представляющий содержимое этого файла. При этом каждая нода, на которой он хранился, будет обрабатывать свою часть данных.
Ответ написан
3 комментария
3 комментария
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
Data Engineer
Автомакон • Москва
от 250 000 ₽
ML-инженер (удаленно)
Wanted. • Санкт-Петербург
До 200 000 ₽
Python разработчик (удаленно)
Wanted. • Санкт-Петербург
До 200 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Дорвботать приложение под IOS на Swift vocechanger
25 нояб. 2024, в 12:49
50000 руб./за проект
Мат. модель по вероятностям
25 нояб. 2024, в 12:43
20000 руб./за проект
Требуется сделать видео/анимацию конвертирования OST файла
25 нояб. 2024, в 12:12
10000 руб./за проект
Ещё заказы