Какие технологие модные в data scince и big data?

Question

[Multigame]

Добрый день!

Некоторое время назад я занимался аналитикой по данным, и если не БИГ, то где-то миддл дате (сотни миллионов записей). Задачи решали мы на стеке довольно стандартном. php, java, pgsql, mysql, sphinx, etc.

Все в принципе реализуемо и работало, но сейчас уже хочется чего-то более "изкоробочного". Какие сейчас технологии модные для сбора, хранения, распределения, обработки и аналитики по данным.

Интересует все. Языки заточенные под работу с данными и статистическими функциями, хранилища заточенные под большие объемы разных данных, распределяторы(mapreduce) и серверы очередей, изкоробочные olap решения и т.д.

Принимаются названия, желательно с кратким синопсисом, но можно и без него :)

Answer 1

[dmshar]

Ничего себе вопросец :-).
Ну, в общем, если интересует, что в тренде - то вот "почти последние" обзоры на тему. Даже - с кратким описанием.
ru.datasides.com/big-data-analytic-tools
www.kdnuggets.com/2016/06/r-python-top-analytics-d...
www.itpro.co.uk/strategy/28161/the-best-big-data-t...
Думаю, для начала более, чем хватит.

Answer 2

[Dr_Gonzo]

Смотрите в сторону Hadoop, mapreduce и питона.

Comments

[Pavel Ivanov]

Точнее все наоборот. На чистом Map Reduce сегодня мало кто считает. Сейчас модно использовать Stream обработку. Смотреть стоит в сторону Spark, Kafka + их интеграция.