Существуют ли фреймворки для формирования статистики данных в БД?

Question

[dk-web]

Дабы не изобретать очередной велосипед. Я очень люблю статистику...
Динамичную и актуальную (как правило бесполезную-(). Так вот в чем вопрос... допустим идет процесс регистраций - на мероприятии.. стремительный.
Для примера - я хочу знать, что сегодня на мероприятие зарегистрировалось 15 человек из 10 городов 5 стран мира из них 19 студентов :) привязочка к карте.. ммм... и это все обновлялось в онлайне. А еще выгружалось в эксель да в ворд для особо продвинутых..

Понятное дело, что я ручками без проблем напишу это все на сотне selectов.. и like ов..
а вдруг уже что-то изобрели?) а то встряну как с таблицами...
п.с. решил привязать это к клиенту (jquery), но понял сходу утопичность этой затеи..
проще выполнить динамичную подгрузку через ajax с интервалом... или это все будет визуально заметно?

Comments

[xmoonlight]

Вот же Вас шарашит из стороны в сторону! (Первый раз такое вижу!)

[dk-web]

xmoonlight: приятно быть первым. Но на самом деле все очень и очень просто - делаю то, чем обычно занимаются команды, где есть четкое разделение обязанностей.. дизайн, код, идея и т.д. - а у меня all inclusive) так веселее

[dk-web]

xmoonlight: это я еще безопасностью не занялся.. а придется(

[xmoonlight]

dk-web: понятно... ну ответ про ODBC (касательно отчетов для аналитики для админа) - ниже.

Answer 1

[dk-web]

Виктор Ablebeam Весь день думал.. неспокойно на душе.. и хотел бы извиниться на ночной приступ. Не прав...
слова xmoonlight действительно заставили задуматься...
и беру паузу со всем этим делом.. действительно за 2 недели в голове каша и сумбур (PDO, SASS, круглые кнопки будь они не лады, высоты блоков и 500 строк на jquery). Оттого новую информацию сложно воспринимаю. Все вроде бы реализовал, но понимаю, что вместо бмв опять получился запорожец, как и 3-4 года назад. Задача была в другом, не быстро что-то сделать... а именно научиться новому, понять. Мне это действительно, нравится и по душе. Но вечно куда-то лечу, тороплюсь и пытаюсь нахрапом новые, правильные современные вещи навесить на все свои глобальные вопросы. Оттого не понимания, страх от синтаксисов и ошибки... Спешка.. И размениваю время по мелочам... Три дня угрохать на плевое дело, вместо того, чтобы понять принцип.
Спасибо за помощь, в личку получил очень хорошие замечания по моим наработкам. Простите за тупые вопросы и нервяки.
Время просто читать и смотреть... и делать базовые! примеры - пытаться найти ответ на Кто виноват и что делать Зачем и Почему так?. Как говорится в первый раз в первый класс.
Да поможет мне Евгений Попов) шучу. Почти!

Comments

[xmoonlight]

Начните с архитектуры будущего проекта, описав задачу текстом.
Затем действуйте чётко по шагам, описанным у меня в блоге: sitecoder.blogspot.ru/p/blog-page_23.html
После полной картины - Вы сможете выделить однократно или многократно используемые блоки, объединяя и превращая их в классы и функции.
И каждый блок - уже будете реализовывать "по карте".

Answer 2

[AlikDex]

че? =)
1 таблица на это дело + база городов. Фреймворк не нужен.

Comments

[dk-web]

)))))) ну видимо я не правильно все эти новые для меня слова интерпретирую.. вот шаблонизатор - не дается... поставил sass вроде ничего - но потом путаться начинаешь и сводный css на 700 строк мусора - все, что используется и что нет... все с опытом приходит. Вот сколько раз уже себе говорил - найди человека, который за разумные финансы сядет и просто объяснит - на пальцах.. мне не надо всего разжевывать - принцип.. нужно понять принцип.
Читать начинаешь - первое желание закрыть ноут и забыть про это все. А ведь не все так сложно, если в школе бейсик со второго класса на IIDM 386? и гоночки на 5 дюймах)

[AlikDex]

dk-web: в пень те шаблонизаторы. Гугл любит минимум лишнего. Любит скорость загрузки, любит скорость отображения контента. Яндекс тоже любит. Так что...

По существу вопроса. Завести таблицу с юзерами (рега подразумевает это, с личными данными, как то: место проживания: id города из базы городов, социальный статус и т.д.). Таблицу мероприятий(название, описание, атрибуты, прочее). Связывающая 2-х колоночная таблица id мероприятия | id юзера. Таблица городов. готовые уже есть: citieslist.ru или www.geonames.org (эта платная, но есть координаты и все такое прочее).
Далее делаем выборку с джойнами из связывающей таблицы и циклом считаем нужную стату + через апи выбранных карт ставим метки на карте согласно координатам городов. Полученный массив сериализуем и кешируем до обновления статитстики(регистрации нового юзера на этом мероприятии или любые другие изменения в любой из таблиц, относящиеся к мероприятию).

П.С,
погорячился с одной таблицей, прошу прощения =)

[dk-web]

AlikDex: приятно мудрого человека почитать! спасибо - действительно все так и есть как вы описали.. ровным счетом так и делаю. Просто есть нюанс - я это делаю не для публики - так что гуглы и яндексы меня в этом контексте не очень интересуют. Фронтовая страница с информацией о мероприятии - да, а вот весь этот админ-ресурс... там главное, чтобы любому менеджеру-студенту было понятно куда тыкать и впоследствии разграничить (жестко!) права доступа к информации... кто может принимать решения, утверждать и корректировать информацию, кто может видеть, допустим, паспортные данные.. -
я думаю к концу недели закончу структуру и базовые принципы.. набрасываю основные модули.. пока все очень мило ложится.
Статистика (тестовая, конечно) пошла и на jq - но это бред.. не буду продолжать
и на php..
ideone.com/Xcdshl
С утра набросал схематично.. громоздко конечно, но это будет универсальной функцией, где display будет заменяться на индекс.

Answer 3

[Армянское Радио]

ETL это называется, и SAS тому пример. Стоит как самолет, требует этаж серверов для обработки.

Comments

[dk-web]

ну это крутовато)))

Answer 4

[Viktor Vsk]

Нет, таких решений, готовы под ваши нужды нет (фреймворки тут ни при чем)
Если бы вы были в теме, не употребляли бы вместе слова:
- статистика
- регистрация
- страны
- студенты
- обновлялось
- онлайн
- карта
- эксель, ворд

А каждая абстракция (процедура, функция, система, ПО ... ) должны хотя бы стремиться выполнять одну функцию.

Вы же написали "Обрывки хотелок зелёного заказчика"

Comments

[dk-web]

да ну... в полемику вступать не буду после слова абстракция. иногда все проще чем кажется if then else

[Viktor Vsk]

dk-web: если все просто, то к чему создавать вопрос?

[dk-web]

нет все же отвечу... в какой теме? да, я не понимаю ваших абстракций, но я неплохо понимаю почему я употребляю эти слова вместе! Когда и кому и в какой ситуации такая информация нужна в режиме онлайн. Более того - однажды я уже сам это реализовывал. Да, заняло полтора года - да, без всяких полезных, наверное, штук и умных названий - не требовалось никаких bower npm и командную строку я последний раз видел году в 97. И все работало и работает. И карту сейчас переписал на свг вместо флеша и все наносится и считается... прост когда на пару простых mysqlquery говорят - фу.фуфу - надо тебе умных слов. Все специалисты в своей области. И если бы я осмелился выйти на рынок с такими вопросами - да, соглашусь, это был бы клоун. Вот из-за таких ответов - такие сайты теряют посетителей. Посмотрите зарубежные сайты - stack и тд - там нет столько снобизма и нравоучений.
Мне здесь за мои 20 с небольшим простых вопросов - действительно помогли, но больше желания выглядеть клоуном и получать нравоучения нет - спасибо. Не мальчик ужо. Английским слава богу владею, а единственное видео, которое мне помогло было на испанском. Я уж молчу про великий индусский английский.
К чему это я?
Да так... абстракция на тему.
Удачи. Ничего личного

[dk-web]

Виктор Ablebeam

[dk-web]

Виктор Ablebeam: да потому же, почему нельзя поставить точку после первого предложения. Не переживайте, больше не побеспокою...
в заключение, вдруг кто прочитает когда из новичков. Ребята, если владеете английским - dev tips на ютюбе - потрясающий парень, да и язык подтянете.

[Viktor Vsk]

dk-web: Действительно, посмотрите стак - там таких вопросов нет :)
Абстракции были к тому, что готового продукта под ваши требования нет, т.к. те программы, что хорошо оттестированы и лежат в открытом доступе - выполняют одну функцию и делают ее хорошо.

Под ваши же требования, как минимум, самому нужно взять и собрать их все вместе. Готовое если что-то и есть, то такое же как у вас - на коленке, не тестированное, не документированное. Если кто-то такое и выложил куда-то, то использовать его - как минимум бомба замедленного действия.

[dk-web]

Виктор Ablebeam: мы по разному понимаем слово функция... вы в правильном значении - я в function () {}.. который у меня с десяток в файле my_functions.php )

[Viktor Vsk]

dk-web: не пойму, при чем здесь функции :)
Мой совет: возьмите текст вопроса, выбросьте из него лирическое повествование, составьте функциональные требования, которые вы хотите в итоге получить, замените слово "фреймворк" на "продукт\программа\решение\сервис" и возвращайтесь с вопросом "Как мне оптимальнее всего добиться нижеперечисленных требований?"

[dk-web]

Виктор Ablebeam: ideone.com/Xcdshl - примерно вот, что я имел ввиду.

Answer 5

[index0h]

допустим идет процесс регистраций - на мероприятии.. стремительный.

мероприятие зарегистрировалось 15 человек из 10 городов 5 стран мира из них 19 студентов :)

"стремительный" - это 2-3 / сек

А еще выгружалось в эксель да в ворд для особо продвинутых..

Тебе это не нужно))

а вдруг уже что-то изобрели?) а то встряну как с таблицами...

Джойны + индексы + временные таблицы изобрели))

проще выполнить динамичную подгрузку через ajax с интервалом... или это все будет визуально заметно?

Вы путает real-time backend, систему отчетов (как правило длительная) и frontend.

-------

По статистике - посмотрите Piwik

Comments

[dk-web]

1) Порой и так, бывало и в секунду приходили регистрации..
2) нужно... хоть тут и публичное пространство, но поделюсь негативным опытом, который очень сильно ударил по моей деловой репутации. Наше мероприятие обслуживала компания - устанавливала СКУДы.. девочки чекали беджи при пересечении контрольных точек, входов в залы.. так я неделю! неделю, Карл (сорри, впервые использую) не мог от этих дебилов получил список человек, которые присутствовали на одном конкретном мероприятии... в итоге это было очччень "больно". Кстати между делом - вообще это же несложно организовать с т.з синхронизации? Есть СКУД - есть бейдж с вшитым ID, есть база пересечения контрольных точек... есть моя база регистраций... SELECT * FROM scud.base as a INNER JOIN my.base as b on a.uid=b.uid - и вуаля? или я слишком уж все упрощаю?
3) это да... использую
4) не совсем понял слово длительная... возможно и путаю - для меня frontend - это mysite.ru - backend - mysite.ru/admin у которого, в свою очередь, также есть frontend)

[Viktor Vsk]

dk-web: бэкэнд - код исполняющийся на сервере, фронтэнд - код исполняющийся на клиенте.
Вы говорите, что компания, занимающаяся железками, людьми, софтом и организацией за неделю что-то не сделала, аяяй, а сами уже почти сутки не можете вопрос сформулировать :)

[index0h]

1) Порой и так, бывало и в секунду приходили регистрации..
В смысле не пиковая нагрузка, а постоянная))

2) нужно...
Я не о том. Я о doc/docx, xls/xlsx,... Под таблицы - как правило вполне норм старый добры csv

4) возможно и путаю
Все верно, путаете. Backend - работает на сервере, Frontend - работает в браузере.

4) не совсем понял слово длительная...
Генерация отчетов, как правило занимает довольно большой промежуток времени, для довольно сложных - счет идет на часы.
Если отчеты наполняются в реальном режиме времени - тогда будут проблемы с общей производительностью системы.

[dk-web]

index0h: спасибо за комментарии. Особенно про бекенд и фронтенд) эх - моя страсть к автоматизации не доведет до бобра... это все следствие работы в одной из госструктур - где кроме экселя ничего не было( все самом приходилось "автоматизировать" - сначала эксель через формулы адовые по 10 строк ПОИСКПОЗ - через полгода просто удалил этот файл, что-то понять в нем было невозможно.. хотя симпа была и гордость. потом вба, потом "дорос" до php и mysql... у меня запрос SELECT (потом 10 полей в связке 6 таблиц" а WHERE формировался 500 строк! до 50 and, чтобы сделать выборку из БД. И я до сих пор не уверен, что можно это упростить... вот теперь после трех лет перерыва решил тот проект переписать, но моментально забросил. Переписывать сложнее чем что-то с нуля сделать - delete.. С одной стороны жаль времени, но это для меня скорее хобби такое. Всем добра)

Answer 6

[xmoonlight]

Если это надо для Вас (а не для пользователей сайта) используйте ODBC и все отчеты Вы сможете получать в любой программе пакета Microsoft Office штатно.

Запросы на выборку данных - создайте хранимыми процедурами в сервере базы данных. (для простоты использования в MS Office-программах)