• Стоит ли испольщовать хадуп?

    @mossat
    Hadoop потянет конечно. Имею в админе и разработке 2 Пб кластер с логами в 3-4 ТБ/сут., которые после ETL обращаются в 5-10 млрд строк в Hbase. Вопроса здесь скорее в железе и его количестве. Также быстрая запись требует навыков, а это Java Api MR, Pig или NiFi.
    В эластике все легче.
    Ответ написан
    Комментировать
  • Как легко подключить Hadoop к большому MySQL-проекту?

    @mossat
    Самый легкий способ это использовать встроенный REST или Thrift коннектор для HBase.
    1.Создать бд Hbase
    2.Занести данные.
    3.Включить Rest или Thrift сервер для Hbase
    4. Установить коннектор и подключиться.
    Очень подробно об этом написано в Hbase Definition Guide
    Ответ написан
    Комментировать
  • Автодобавление нод в hadoop, возможно ли это?

    @mossat
    "Но, к примеру, у нас упала одна из нод (т.е. число репликаций снизится по идее), я правильно понимаю?" - не совсем. Число репликаций только для тех блоков, которые хранились на данной ноде. Кроме того, практически сразу стартует репликация для потерянной ноды. Поэтому "...после смерти одной из нод, автоматом подключалась/создавалась другая (с заранее введенными параметрами) и вся информация с других реплик (датанод) бы копировалась на нее." - происходит и так, только для рабочих нод.
    Резюмируя в этом нет необходимости.
    Также количество StandBy NameNode и HBase Master устанавливается заранее и может быть более одного, двух, трех.
    Ответ написан
    Комментировать