Как организовать сбор статистики, обработать и вывести в приятном для глаза виде?
Нужно сделать сбор статистики по проектам. Информация будет браться с гугл аналитикс, количества сообщений, комментарий, посещаемости, голосования, соц.сети. Часть которую нельзя автоматизировать будет вводится вручную.
По каждому источнику строится график. Источники объединяются в группы. У каждого источника есть приоритет важности (например посещаемость стоит выше голосования) и с учетом этого строится график группы. Группы тоже имеют приоритеты и по ним строится уже график всего проекта.
Все это должно выводится в User frienldy интерфейсе с удобной навигацией и красивыми графиками.
Вопрос сводится к тому "Есть ли такие готовые системы?". Платные не интересуют, может есть Open-Source? И если нет, то какими инструментами я могу воспользоваться для создания такой системы?
Под руками PHP и Python (он желательнее).
Благодарю за ответы.
-----
upd.
Дополню, что нужно.
Нужен сбор статистики по социальным сетям. ВК, ОК, Фейсбук. Как их автоматизировать? Crawler или есть аналитика от них?
Ну и какие нужны инструменты для бек-энда.
1) У большинства сервисов есть API.
2) Я использую TalendOpenStudio. В нём можно выстроить работу Запрос к RESTApi -> трансформация -> таблица (Excel/база)
3) TOS умеет генерировать скрипт, который можно залить на сервер и настроить автоматическую работу через cron или Планировщик.
4) Как только база заполнена, визуализируйте чем хотите. Либо d3.js, если умеете и нужно веб френдли. Либо Excel если он у всех на работе есть. Я использую Tableau, но вам он не подойдёт. Скорее какой-нибудь Cyfe. Он почти бесплатный + часть ваших потребностей покроет встроенными коннекторами
Ну либо пишите всё сами. У facebook к примеру есть готовый SDK для питона и для PHP. Курите документацию и по другим сервисам.
Если API нет, то придётся писать Crawler. Но я, например, студентов нанимаю, чтобы ручками всё делали.
Простой
