Как работает/какое временное хранилище использовать?

Question

[WebFenix]

Есть идея написания своей статистики для сетки сайтов.Смотрел некоторые решения, и почти у всех перед добавлением в базу данных перехода(будем считать это статистикой переходов) складывается все дело у специальные файлы.И потом по крону добавляется в базу.Как по мне,это правильно ибо при кучи запросов,сервер упадет.Как этот подход реализован?Какие есть ещё варианты для продуктивной работы системы учета?(слышал что-то про MEMCACHE хранилище,но что и как - загадка)

Слышал также про подход записи в виде логов, но как с производительностью...

IP - XXX || BROWSER - OPERA ...

P.S - Сайты посещаемые. Их куча. Обычные статистики не подходят.Прошу к вам вариантам написать коротко как лучше хранить это дело...Например в каком формате хранить данные в MEMCACHE=)

Answer 1

[Stalker_RED]

Для начала, у вебсервера (nginx, apache) есть стандартный такой access.log в котором уже есть и ip и браузер, и полный url запроса. И можно парсить эти логи и считать статистику. Программ для обработки хватает.

Memcache - хранилище которое живет в памяти. По этой причине оно работает быстрее чем "обычные" реляционные базы данных. Впрочем, на memcache свет клином не сошелся. Redis уделыает его практически по всем параметрам. Да и многие другие СУБД умеют держать отдельные таблицы в памяти.
Ссылку на википедию сами найдете?

Если у вас настолько большой поток информации, что вы не успеваете записывать его на диск, то можно посмотреть в сторону AMQP или специализированных логсерверов типа nagios, logstash (хотя эти скорее не для производительности, а для обработки и хранения).

Comments

[WebFenix]

Знаю я и про REDIS. Хотелось бы услышать совет по хранению этого дела в оперативке.

[Stalker_RED]

WebFenix: Вам кусок кода написать, в котором будет

$memcache->connect(...);
$memcache->set(...);
$memcache->get(...);

Так это всё написано уже

[WebFenix]

Stalker_RED: Нет,в каком формате хранить...

[Stalker_RED]

WebFenix: Не понял вопрос.

[WebFenix]

Stalker_RED: Ну нужно как-то хранить это дело,чтобы потом добавлять в базу. То есть должен быть определённый формат,который скрипт прочитает...

[Stalker_RED]

WebFenix: Строка? Сериализированный массив? json? Какая нафиг разница?

В случае с json есть некоторый профит в том, что некоторые хранилища (тот-же redis) умеют с ним работать.

Answer 2

[xmoonlight]

1. положить в базу - это сокет-мост (напрмер, на PHP) до базы с постоянным соединением (pipe-log).
2. получить/оперировать данными из базы - это обычный PHP-скрипт.

Answer 3

[ZLOFENIX]

Вижу 2 варианта:
1. сайты не настолько посещаемые и база не упадет.
2. сайты посещаемые и не стоит изобретать велосипед, при отсутствии знаний, лучше взять яндекс/гугл/ли и радоваться.
Но если все же хочется - мемкаш хорош, настройка в 1 строку, подключение в пхп - тоже не сложное, но тут он мало чем поможет, т.к. он хранит ключ-значение, не знаю как спроектируешь и что хочешь заложить - от этого и надо плясать, если просто считалку не уникальных - нормально, если еще хранить ип - хуже, т.к. простой инкремент у него есть, а вот чтоб взять данные и изменить - уже не получится так просто и красиво, понадобятся блокировки и прочие извращения.

Comments

[WebFenix]

Очень посещаемые + решения не подходят ибо таких сайтов вагон и пол Китая.И надо ещё некоторые возможности. Мне в основном нужна статистика по стране, уникам, просмотрам, браузерам, ботам

[ZLOFENIX]

WebFenix: Тогда все же рекомендую найти что-нить готовое и не обязательно на пхп, во всяком случае для учета. Т.к. писать свой велосипед под все это - приличная трата времени и сил, которая не стоит того.

[WebFenix]

А что если использовать HASH файловые базы?То есть фактически получать с урла hash,на который юзер зашёл и потом из хеша прокладывать путь к файлу(естественно дальше запись).Таким образом получается что мы разделим много переходов в разные файлы.Потом раз в сутки брать и тупо очищать ,выбирай все данные и сканируя созданные папки и файлы

[ZLOFENIX]

WebFenix: Тогда лучше хранить как написали выше - в редисе, а потом собирать нужные данные. База все же лучше файлов, да еще и в таком виде. Ну или хотя бы логи вебсервера парсить, 1 файл лучше тысяч, еще и в разных папках.