Почему БигДата делается на Scala?

Question

[Сергей Нижний Новгород]

Всем привет

Обратил внимание на парадоксальную вещь.

1) Везде пропагандируется питон для БигДаты и многие туториалы делаются именно на нем.
2) Реальная практика показывает, что питон считается "песочницей", а реальные бигдата проекты делаются на Scala/Java.

Вопрос: Чем так плохи питон для бигдаты, и если все так плохо, то зачем его пропагандируют?

Comments

[Arris]

Туториал это учебник, а в учебнике должен быть простой язык программирования. Максимально простой. Авторы, вероятно, таковым считают пайтон. Может быть вы этого не помните, но во многих старых учебниках программирования примеры шли на паскале или даже бейсике (ну это на совсем старых). А серьезные вещи писали совсем на другом...

P.S. Имхо конечно.

[Сергей Горностаев]

Это какая такая реальная практика показывает? И кем именно питон считается песочницей?

[Сергей Нижний Новгород]

Сергей Горностаев: HR-Mail.ru сказал, что все реальные проекты делаются на java/scala. На питоне ничего серьезного сделать нельзя.

[Сергей Горностаев]

Terras: аббревиатура HR должна уже стать синонимом тупости. Возможно, в MailRu все реальное проекты делаются на Scala, но вообще, в мире, Python для обработки данных применяются на порядок больше той же Scala.

Answer 1

[ivodopyanov]

Не питон плох для бигдаты, а джава хороша для энтерпрайза

Answer 2

[⚡ Kotobotov ⚡]

проблема с эффективность использования ресурсов в питоне
тк это динамически типизированный язык.
Джава / скала - статически типизированный языки.
При статической типизации ниже гибкость, но выше эффективность работы с данными, при динамической наоборот.
Скала позволяет сочетать в себе плюсы динамической типизации (благодаря автоматическому выводу типов), и сохранять высокую эффективность работы.
Есть еще и другие детали, например если говорить за SPARK -> который на скала реализован, зная скала, ты уже знаешь спарк, тк там практически такойже апи для работы с коллекциями, все что тебе нужно для того чтоб твой код работал на спарк кластере, заменить название коллекции которую ты обрабатываешь с например Array[MyClass] на RDD[MyClass], и грубо говоря - весь твой код без изменений будет обрабатываться на спарк кластере, само собой такого нет и не будет в питоне, там тебе нужно будет осваивать дополнительный апи.

Answer 3

[Pavel Ivanov]

На JVM хорошая поддержка многопоточности, а в Scala отличная библиотека коллеций. Да и много решений в поледнее время пишутся на Scala (Spark, Kafka, ...)