Задать вопрос
@denislysenko
data engineer
apache-spark

1 rdd это один кусочек 128 байт или поток?

1 rdd это один кусочек 128 байт или поток?
То есть, что такое rdd, кроме как resilient distributed dataset?
  • Вопрос задан
  • 71 просмотр
Комментировать
Подписаться 1 Простой Комментировать
Помогут разобраться в теме Все курсы
  • Учебный центр IBS
    EAS-015 Основы Hadoop
    1 неделя
    Далее
  • Сетевая Академия ЛАНИТ
    Реализация решений данных в Microsoft Azure
    1 неделя
    Далее
Решения вопроса 1
@Cheypnow
RDD - это распределенная коллекция. То есть набор данных, распределенных по кластеру, над которыми можно выполнять распределенные операции.
Например, есть файл, лежащий в распределенной файловой системе, каждая нода хранит свою часть файла.
При чтении создастся один RDD, представляющий содержимое этого файла. При этом каждая нода, на которой он хранился, будет обрабатывать свою часть данных.
Ответ написан
3 комментария
3 комментария
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
DevOps/ML Engineer
Deco Systems • Москва
До 330 000 ₽
Аналитик-разработчик (команда Intelligent Search)
Сбер • Москва
от 250 000 до 400 000 ₽
Middle/Senior Data Scientist (команда ИИ и аналитика)
Сбер • Москва
от 200 000 до 350 000 ₽
Ещё вакансии