Какой инструмент выбрать для визуального анализа данных (база MySQL)?

Question

[Арсений]

Имеется база розничных транзакций (6+ млн записей; id клиента, товара, категорий, сумма, дата/время), сейчас загружена в MySQL-базу. Также имеем человека, знающего что вытащить из базы ("средний чек у покупателей категорий 1, 2, 3", "распределение оборота по месяцам" и т.п.), но совершенно не знакомый с SQL (и обучать нецелесообразно).

Что может посоветовать уважаемое сообщество из инструментов/подходов в данном случае? Сейчас все выборки делаются через сисадмина, что сильно не эффективно и не гуманно ;)
Нашел вот этот вопрос, но здесь скорее инструмент для управления с 1 табличкой и вводом/поиском простых значений (вроде поиска по фамилии).

Спасибо ;)

Answer 1

[Дмитрий Энтелис]

Сформулировать требования, обратиться на фриланс, получить решение.

Comments

[Арсений]

Кол-во и момент возникновения таких мини-задач случайные. Если бы это был конечный набор запросов/выборок мы бы один раз сходили на поклон к админу и все.

[Сергей]

Написать генератор отчетов самим:

Например, есть код:

!ОТЧЕТ "По сегментам"
!ПО ДАТЕ
!ВЫЧИСЛИТЬ
Конверсия = ОКРУГЛИТЬ(СЕГМЕНТ.ПРОДАЖИ / СЕГМЕНТ.КЛИКИ_УНИКАЛЬНЫЕ),
Openrate = ОКРУГЛИТЬ((СЕГМЕНТ.ОТКРЫТО / СЕГМЕНТ.ОТПРАВЛЕНО)*100),
Clickrate = ОКРУГЛИТЬ((СЕГМЕНТ.КЛИКИ / СЕГМЕНТ.ОТПРАВЛЕНО)*100),
CTR = ОКРУГЛИТЬ((СЕГМЕНТ.КЛИКИ / СЕГМЕНТ.ОТКРЫТО)*100),
RPE = ОКРУГЛИТЬ(СЕГМЕНТ.ДОХОД / СЕГМЕНТ.ЛИДЫ),
EPM = ОКРУГЛИТЬ((СЕГМЕНТ.ДОХОД / СЕГМЕНТ.ОТПРАВЛЕНО) * 1000)
!ПОКАЗАТЬ ТАБЛИЦУ И ГРАФИК
СЕГМЕНТ.НАЗВАНИЕ_СЕГМЕНТА [ !НАЗВАНИЕ "Сегмент" ],
СЕГМЕНТ.ОТПРАВЛЕНО [ !НАЗВАНИЕ "Отправки" ],
СЕГМЕНТ.ОТКРЫТО [ !НАЗВАНИЕ "Открытия" ],
Openrate [ !НАЗВАНИЕ "Открытия, %" ],
СЕГМЕНТ.КЛИКИ [ !НАЗВАНИЕ "Клики" ],
Clickrate [ !НАЗВАНИЕ "Клики, %" ],
CTR,
СЕГМЕНТ.ЛИДЫ,
СЕГМЕНТ.ПРОДАЖИ,
СЕГМЕНТ.ДОХОД,
RPE,
EPM,
Конверсия
!ГДЕ СЕГМЕНТ = [[ СЕГМЕНТ ]]
!ИТОГИ !ПО [[ ИТОГИ_ПО ]]

Который генерит формочку:
www.awesomescreenshot.com/image/84052/226ca992c5a6...

И по ней уже строит нужные данные.

[Арсений]

Сергей: то есть это какбе проще SQL, да? :) А что за программа парсит такой скрипт?

[Сергей]

Не знаю как вам, возможно вам будет проще.
Программа собственной разработки.
Фактически переводит такой скрипт в набор SQL + HTML для генерации формы.

[Дмитрий Энтелис]

Арсений: ну тут собственно решений простых нет.
Или перейти на какую нибудь из существующих систем имеющих функционал аналитики.
Или пилить своё решение.
Или иметь человека который может руками сделать запрос.

Все зависит от объемов, если запросы нужно строить редко - вариант с человеком самый бюджетный

Answer 2

[Here_and_Now]

Tableau подойдет. Он подключится к базе, а ваш аналитик сможет считать свои параметры уэе в самой программе. Правда определённые типы запросов, которые требуют джоинов, все равно придётся писать в SQL.

Эксель в чистом виде не потянет, но есть надстройки вроде PowerPivot, которые позволяют использовать его с большими данными.

Ну и последнее - учить SQL. Аналитику это 100% необходимо, а учить его не так уж и сложно.

Comments

[Арсений]

Да, спасибо, пробуем Tableau. Пока что симпатично, но не ясно наше ли это. Смущает, что все расчеты проводятся на твоей же машине, то есть нельзя загрузить это все на мега-сервер-убийцу для расчета, а потом с клиентских машин дергать готовые результаты...

Да, SQL нужен аналитику, просто он у нас пока маленький, скорее личинка аналитика :)))

Мы еще пробуем Jedox (jedox.com; OLAP-решение), получается симпатично (считается один раз на сервере, дальше отдает клиентам ч\з Excel и другие api), но тоже не идеально... Нет нам счастья в личной жизни...

[Here_and_Now]

У Tableau есть сервер, но там нужны бюджеты. Tableau online - младший брат, с меньшим функционалом. 500 $ в год за юзера. Удачи!

Answer 3

[Андрей]

в Excel есть совершенно чудные Сводные таблицы (Pivot table)
поробуйте

Comments

[Арсений]

Угу. Обязательно попробую, когда Excel начнет поддерживать больше 1 млн строк. Вы читали вопрос полностью?

[Андрей]

да читал, и думал что Excel не справится, но нашел такую информацию

Row Fields

The product of the number of items in all row fields in a PivotTable cannot exceed 2^31 (2 raised to the 31st power), or approximately 2.1 billion items. The same logic that applies to column fields also applies to row fields.
https://support.microsoft.com/en-us/kb/211517

[Андрей]

сам с таким количеством не пробовал
если не получится то есть индустриальные вещи которые могут, но там все намного сложнее
и я бы вам посоветовал решить вопрос в рамках в Excel

Возможно стоит сгруппировать данные по какому-то признаку, например по дням, и в Excel анализировать уже агреггированные данные, то все будет работать быстрее или просто работать :)

[Арсений]

Спасибо, не знал что пивоты могут такие объемы ворочать. Но с экселем все равно не получится решить, даже при открытии файла с частью базы (500к строк) на маке эксель тупо виснет, а на винде каждое простейшее движение вроде изменения ширины колонки - 10-20 сек (а то и несколько минут) ожидания...
грусть :)

Answer 4

[Федор]

Недавно наткнулся на PowerBI от Майкрософт.
Вроде с MySQL работает, но сам не проверял.