Хочу занятся проектом (стартапом) с использованием Big Data — с чего начать?

Question

[Радмир]

Есть идея стартапа с использованием big data и визуализации, с чего можно начать изучение темы.
Также планируется вести анализ собранных статистических данных (в идеале миллионы записей) есть ли у кого опыт как это вообще реализуется и в какую сторону можно смотреть (изучать).

Answer 1

[lPolar]

Для начала надо понять нужна ли Вам Big Data habrahabr.ru/post/194434
Если у вас не совсем Big Data, то можно взять вот такие инструменты:
1. Pandas - обработка данных, I/O
2. Sklearn - построение моделей
3. В плане БД для хранения возможны варианты:
3.1 SQL-базы - SQLite, постгрес
3.2 NoSQL - Mongo и т.д.
4. Если предполагается, что часть данных будет использоваться более активно, т.е. вам нужно горячее кеширование - возьмите Redis или его аналоги
Если у Вас действительно Big Data, то на мой взгляд вам хватит следующих инструментов:
Apache Kafka - онлайн процессинг данных
Apache Sqoop - для того чтобы тягать данные из реляционных баз
Apache Hive - чтобы все это хранить в удобоваримом виде
Apache Spark - чтобы строить предиктивные модели и всякие неклассические группировки
С визуализацией дела обстоят сложнее. Для начала нужно понять какая визуализация нужна - статическая или динамическая + язык, на котором лично Вам будет удобнее писать визуализацию.
Если визуализируем в статике (в .jpg файлы, например), то вот так:
R - lattice,ggplot2
Python - matplotlib,seaborn
Если хотим суперклассные дешборды в реалтайме, то вот так:
R - Shiny
Python - bokeh
P.S. Вы бы для начала написали какие источники данных у Вас, будет проще понять что копать и какими инструментами.

Answer 2

[Yuri Shikanov]

Копайте Hadoop, Kafka, Storm, Apache Spark, R.

Comments

[Радмир]

спасибо друг!

[Радмир]

А на обычном выделенном сервере можно будет что нибудь такое запускать? Я так понимаю для сервака несколько миллионов записей не проблема?

[Yuri Shikanov]

RadmirZ: для обучения/тестирования можно, почему нет

[Радмир]

Yuri Shikanov: спасибо еще раз

Answer 3

[Андрей Буров]

миллион это не bigdata, Для начала советую посмотреть www.youtube.com/watch?v=TEHdfPa1eJA

Comments

[Радмир]

спасибо!

Answer 4

[Сергей]

Начать с того, что подумать "а кому это нужно?" и предложить тому свои услуги.

Comments

[Радмир]

Уже, в начале была идея мобильного приложения/сайта который бы решал определенные проблемы, но для их решения нужны большие статистические данные которые в том числе будут собираться с помощью этого мобильного приложения/сайта. Кроме того возможно это поможет в нашей текущей работе - мы занимаемся интернет-магазинами.

Answer 5

[Дмитрий]

Согласен с Сергеем) надо сначала определить целевую аудиторию, а потом уже думать "Кому что и с чем подавать!"))) Ну Вы поняли о чем я) а то Azure пока что рулит...