Как легко подключить Hadoop к большому MySQL-проекту?

Question

[valentyn_troian]

Я делаю курсовую работу. Пожалуйста, помогите мне понять, в каком направлении я должен двигаться.

Итак, у меня на моем компьютере имеется большая база данных MySQL (31.3Gb, 130 миллионов строк). Я написал простую html-страницу (интерфейс для моей программы). Я использую PHP для подключения к моей базе данных, AJAX для асинхронного получения данных с сервера и OpenServer (локальный сервер для тестирования).

Как все работает: пользователь выбирает некоторые фильтры для таблицы на моей странице html, нажимает кнопку поиска (укр. пошук) и ему отображается таблица. Если записей много, автоматически создаются следующие страницы.

Все работает хорошо, но что я должен сделать, чтобы подключить к моему проекту Hadoop? Это обязательное требование. Может быть, HortonWorks / Cloudera / Docker?

Основной критерий ПО - простота в настройке и установке. Кроме того, у меня на ноутбуке всего 4 ГБ ОЗУ, поэтому, скорее всего, мне придется использовать старые версии тулзов. HortonWorks 2.1 был успешно установлен на моей виртуальной машине (Ubuntu 14.04).

Заранее благодарю всех за вашу помощь!

Answer 1

[Александр Аксентьев]

31.3Gb, 130 миллионов строк

вам нужно добавить пару индексов, а не хадуп ставить.

Вот когда будет 33.3TB, тогда смотрите на хадупы.

https://www.chrisstucchio.com/blog/2013/hadoop_hat...

Comments

[valentyn_troian]

Индексы есть.
Хадуп нужен чисто для студентской практики использования, в моем случае для сдачи курсовой работы

Answer 2

[Dimonchik]

collaboradev.com/2010/12/10/using-hadoop-and-php
https://github.com/adprofy/Php-Hadoop-Hdfs

короче, найди клиент-коннектор

ну и данные перенеси

Answer 3

[mossat]

Самый легкий способ это использовать встроенный REST или Thrift коннектор для HBase.
1.Создать бд Hbase
2.Занести данные.
3.Включить Rest или Thrift сервер для Hbase
4. Установить коннектор и подключиться.
Очень подробно об этом написано в Hbase Definition Guide