@Dima231

Большие данные на домашнем компьютере?

Здравствуйте! Хотелось бы заняться изучением больших данных. Насколько мощным должен быть компьютер для работы с такими данными, именно для изучения этой темы?
  • Вопрос задан
  • 265 просмотров
Пригласить эксперта
Ответы на вопрос 3
sergey-gornostaev
@sergey-gornostaev
Седой и строгий
Для работы одного компьютера не хватит, нужен кластер. А для изучения работы с большими данными сами большие данные не нужны.
Ответ написан
@rPman
Само понятие 'большие данные' подразумевает что данных ТАК МНОГО что обычные подходы и инструменты не катят.

Например (все цифры от балды, только чтобы показать порядок проблемы), вам надо обработать логи вашего веб сервера, ваши скрипты перелопачивают данные за сутки посещаемости - за пол часа на вашем домашнем компьютере. А теперь попробуйте обработать логи какого-нибудь avito или яндекс, даже нагрузив все ваши домашние компьютеры, телефоны, роутеры, компьютеры ваших друзей, родни и даже компы в вашем классе, ваш скрипт все равно не будет успевать их обрабатывать, так как их будет поступать больше на порядок.

Это и есть big data.

Т.е. задачи в этой области стоят такие, чтобы искать нестандартные подходы к решению, либо менять алгоритм, чтобы он позволил увеличить эффективность обработки на порядки (т.е. это не оптимизация кода а именно смена подхода), либо вам потребуется действительно большой кластер машин, а это дорого.

Чтобы изучать и экспериментировать, сами большие данные не нужны, хотя чтобы протестировать алгоритмы, выборки из них понадобятся.
Ответ написан
angrySCV
@angrySCV
machine learning, programming, startuping
для изучения можно легкий ноутбук использовать, схемы и подходы одни и теже.
тотже Spark, можно запускать локально хоть на ноутбуке
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Rubbles (SBDA Group) Москва
от 160 000 до 230 000 ₽
Кометрика Санкт-Петербург
До 300 000 ₽
Retail Rocket Москва
До 170 000 ₽
06 мар. 2021, в 22:58
70000 руб./за проект
06 мар. 2021, в 22:36
10000 руб./за проект
04 мар. 2021, в 00:21
75000 руб./за проект