Как развернуть Big Data в своем бизнесе?

Question

[Reeho]

Здравствуйте!

Сразу извиняюсь, если кого-то ввел в заблуждения мой вопрос, просто,возможно, он задан не совсем корректно, но, тем не менее, попытаюсь сформулировать что я хочу.

Как я понимаю, Big Data - это сбор структурированных и неструктурированных данных из различный источников, их обработка и анализ.

Как организовать это? Есть задача постоянно мониторить определенный рынок (цены, налоги, стоимость услуг - в определенном сегменте). Есть огромное количество источников информации, и в ручную все это не реально охватить.

Как я понимаю, существует специальное оборудование для хранения и анализа, специальный софт.

Так же я понимаю, что я далек от всего этого, поскольку сейчас данные в основном собираем в ручную, но, я понимаю, что нашему бизнесу необходима эта технология.

С чего начать? К кому обратиться?

Спасибо!

Answer 1

[Anton Kravchenko]

Определите для начала, у Вас действительно BIG Data или просто Data.
BIG характеризуется:
1. Огромные объёмы данных (в ТБ +-)
2. Огромная скорость их генерации (в ГБ/сек +-)
3. Высокая требуемая скорость их обработки (вплоть до real-time)
4. Неструктурированность (голос, текст, числа, двоичные данные) и множество источников их поступления (датчики, сохранённые ранее данные и т.п.)

Судя по Вашему вопросу, у Вас подходит только п.4 - поправьте, пожалуйста, если ошибаюсь.
Ещё важный момент - для чего Вы планируете использовать результаты анализа этих данных? Вопрос задаю потому, что под многие задачи уже есть готовые решения - типа сервиса товарных рекомендаций RetailRocket (не реклама, просто привожу как пример) для интернет-магазинов, задача которого - рост среднего чека по покупкам.
Так вот, в зависимости от Ваших задач вполне возможно, что Вам будет достаточно некоторого самописного или готового софта, в т.ч. и без лейбла Big Data ))
Опять-таки, как пример - мы в своё время делали простую систему прогнозирования продаж для крупного дистрибьютора на связке Terrasoft BPM'online + 1С + Deductor. В проекте мы оперировали примерно 27 000 единицами номенклатуры и 250 000 позиций в отгрузках за год. Разбивку делали по 3 филиалам и 20 товарным категориям. Из 1С брали факт по реализациям, загоняли всё это в Deductor для построения прогноза (при этом в BPM'online вручную указывали коэффициенты сезонности - проект был достаточно простой), из Deductor-a перегружали данные в BPM для наглядной аналитики и привязки прогнозов продаж к планам работы менеджеров (кроме прогноза, мы ещё в BPM'online вели аналитику по суммарным потребностям клиентов, и проводили сравнение прогноза продаж данному клиенту и известной потребностью клиента и при сильном отставании прогноза от потребности "натравливали" менеджеров на этого клиента).

Какую задачу Вы хотите решить?

Comments

[Reeho]

Большое спасибо за Ваш развернутый ответ!

По поводу задачи: сбор информации из различных сторонних источников, такие как:
- доски объявлений
- сайты администрации/налоговой и т.п.
- различные новостные источники

Все это по плану должно выполняться в рамках всей страны!

[Anton Kravchenko]

Тогда ищите программы веб-парсеры, они как раз для этого и созданы

Answer 2

[moropsk]

Как вариант www.teradata.com.ru
Они железо также продают под БигДату

Answer 3

[sim3x]

В большинстве случаев у тебя не будет Биг, а будет просто Дата - почитай про 4v www.ibmbigdatahub.com/infographic/four-vs-big-data

Если тебе интересно, что у тебя в бизнесе происходит, то подумай какая информация у тебя есть.
Логи с твоего сайта, список корзин (завершенных и нет), обработка телефонных запросов, список поставщиков с их характеристиками. Нужно сохранить максимум информации. Если есть информация и у тебя сомнения, нужно или не ее сохранять - сохраняй в как можно менее обрезанном виде.

Как хранить? Желательно сохранять в том виде в каком она приходит. Идеально стандартизировать параметры для ввода - операторы не всегда корректно вводят значения в текстовые поля.

Как я понимаю, существует специальное оборудование для хранения и анализа, специальный софт.

В случае больших данных оно необходимо, но до него тебе еще нужно вырасти.
Так что тебе подойдет любой сторадж вплоть до флешки подойдет. Не забудь продублировать в нескольких местах и проверять бекапы регулярно!

Единственное, что потребудет квалификации - написание скриптов для максимальной автоматизации сбора и сохранения статистики

Теперь когда у тебя есть данные за месяц, ты берешь ексель и начинаеш строить по данным графики.
Дада, ексель единственный инструмент, который тебе нужен для анализа.

Только смотри на свои данные с долей скептицизма - индустрия анализа данных строилась на статистике и данных за 20 и более лет - полностью доверять выводам из своих, даже годичных, данных не стоит.

Comments

[Николай]

Эксель загибается и пыхтит уже при 30 тыс товаров с 20 столбцами, предложите человеку хотя бы MS Access

[sim3x]

Николай:
Поставить 16-32гб оперативки и будет 100к кушать с мин лагами
Перед использованием постгрес стоит попробовать Jupiter+scipy/numpy

Answer 4

[ribiruby]

Big Data - это дохрена данных. Которые вы не из воздуха возьмете, а эти данные у вас уже есть.
Осталось только научиться их использовать.

Для того, чтобы обслуживать хотя бы генерацию и хранение этих данных у вас постоянно работают высококвалифицированные специалисты. И далеко не один.

Пообщайтесь с ними для начала.

Если у вас этих людей нет - у вас нет даже близко ничего пригодного для BigData.

Answer 5

[awdemme]

У вас данные размещены уже на паре сотен серверов?
Нет?

У вас нет никакой БигДаты.