Задать вопрос
@denislysenko
data engineer
apache-spark

1 rdd это один кусочек 128 байт или поток?

1 rdd это один кусочек 128 байт или поток?
То есть, что такое rdd, кроме как resilient distributed dataset?
  • Вопрос задан
  • 62 просмотра
Комментировать
Подписаться 1 Простой Комментировать
Решения вопроса 1
@Cheypnow
RDD - это распределенная коллекция. То есть набор данных, распределенных по кластеру, над которыми можно выполнять распределенные операции.
Например, есть файл, лежащий в распределенной файловой системе, каждая нода хранит свою часть файла.
При чтении создастся один RDD, представляющий содержимое этого файла. При этом каждая нода, на которой он хранился, будет обрабатывать свою часть данных.
Ответ написан
3 комментария
3 комментария
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Специалист по внедрению искусственного интеллекта
OOO МИКСИТ • Москва
До 200 000 ₽
Разработчик хранилища данных (АС Персона)
Сбер • Москва
от 300 000 ₽
Data инженер ДРУГ
Сбер • Москва
от 250 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Исправить код шахмат на С++ с использованием библиотеки winbgim
10 мая 2024, в 05:53
2000 руб./за проект
Создание короткого видео
10 мая 2024, в 03:40
1500 руб./за проект
Набор заданий по OpenGL
10 мая 2024, в 03:02
5000 руб./за проект
Ещё заказы