Как сделать счетчик просмотров статей?

Question

[Салават Ситдиков]

Всем добрый день.

Задача - есть сайт, СМИ. Считаем количество просмотров каждой статьи. Проблемы по идеи никакой нет, кроме одной - фронтом стоит nginx, который кеширует страницы и отдают статику, и уже готовую html-страницу.

Как в таком случае лучше всего считать просмотры? Вариант с разбором логов access на самом последнем месте.

Один из вариантов - ajax-запрос после загрузки страницы. Все данные записываются в таблицу MEMORY и по ней кроном каждые n минут в основную таблицу заносятся.

Что можете предложить еще?

ИТОГО

Прислушившась к советам, решил сделать следующее. Так как все статьи начинаются с /article/ - создать локейшн для него в nginx и прописать отдельный access log с нужным мне форматированием и кроном из него доставать действительные просмотры страницы.

Answer 1

[Илья Лесных]

Изучив выдачу гугла по этому вопросу, пришел к выводу, что анализатор логов - лучшее решение.

Но если по какой-то причине он не подходит, то кроме сторонней статистики и аякс запросов, предлагают еще вариант с динамической однопиксельной картинкой, ведущей как раз на скрипт подсчета посещаемости.

Comments

[Салават Ситдиков]

За вариант однопиксельной картинки спасибо!

[Салават Ситдиков]

@Aliance, кстати, по поводу анализаторов лога - в основном используют сторонние сервисы / приложения. Это немного не то, в сообщении выше я задал вопрос по поводу более-менее разумной логики парсера, ваш ответ так же был бы интересен мне.

[Дмитрий Энтелис]

1px картинка это для старых браузеров которые не умеют ajax.
Это не очень хорошо на самом деле, она будет все равно кешироваться некоторыми браузерами не взирая на заголовки которые вы отдаете.

[Илья Лесных]

@DmitriyEntelis вот так не будет:
<img src="counter.php?1234567890"/>

[Дмитрий Энтелис]

@Aliance вот так не будут учитываться множественные просмотры статьи одним пользователем, т.к как написано автором - у них жесткий кеш на фронте

[Илья Лесных]

@DmitriyEntelis как не будут-то? После ? нужно ставить текущий timestamp, тогда картинка не должна быть закеширована.

[Дмитрий Энтелис]

@Aliance У них страница статикой жесткой. Где ставить таймстапм? в JS? Чем это тогда отличается от обычного ajax?

[Салават Ситдиков]

@DmitriyEntelis, я так полагаю, что @Aliance предлагает ставить 1px картинку через document.write, чтобы метка времени была динамичной и кеш не играл никакой роли.
Что-то вроде,

document.write('<img src="counter.php?' +  timestamp + '">')

где timestamp уже выше считается как-нибудь.

Answer 2

[Дмитрий Энтелис]

Вы сами собственно ответили на все вопросы :)

1. Внешняя статистика. Например яндекс.метрика. Есть API api.yandex.ru/metrika из которого можно легко все получить.
Плюс решения - никакой дополнительной нагрузки
Минус решения - чтобы считать статистику мобильного приложения придется хорошо извратиться

2. Собственная статистика - ajax запросы как вы написали, только я не стал бы использовать memory таблицу, а прикрутил бы redis, он во первых быстрее, а во вторых не надо нагружать основной sql сервер.
Плюс решения - можно мониторить что угодно
Минус решения - лишняя нагрузка на бекенд. Не знаю количества ваших просмотров, но потенциально может быть весьма немаленькой.
Еще один минус - без дополнительной логики на сервере - легко накрутить счетчики.

3. Разбор access логов - это на самом деле правильное решение. С точки зрения бизнес логики, realtime обновление счетчиков не нужно (тем более если у вас спереди кеш в статику), так что можно спокойно считать статистику в фоне, сохраняя агрегированные данные в базу раз в nn секунд.

Comments

[Салават Ситдиков]

По поводу API Яндекса - я так и не понял, как там получить количество просмотров страницы /article/200/, через методы Отчет по параметрам URL
или по Заголовку, и потом из полученного массива дергать нужный?

По поводу мобильного приложения - похоже придется использовать под это отдельную таблицу и потом уже суммировать.

[Салават Ситдиков]

@DmitriyEntelis хотел задать вопрос по поводу разбора access логов. По хорошему она пишется за сутки, но парсить многометровый-гиговый файл раз в 10 секунд не вариант. Правильно ли я понимаю, что лучше всего его делить на части? И вообще все это поручить какому-нибудь скрипту на bash?

[Дмитрий Энтелис]

@zona7o могу ошибаться, но можно настроить nginx что бы он резал файл лога не на сутки, а например поминутно.
Ну или реализовать просто по крону копирование текущего лога куда нибудь с очисткой основного файла.

[Илья Лесных]

@zona7o такое конечно нужно отдавать на работу крону.

[Салават Ситдиков]

@DmitriyEntelis @Aliance вот о чем подумал. Так как у меня известно, что все статьи находятся как /article/ID - то можно же в nginx для этого локейшена отдельный Access Log прописать и оставить только нужные мне параметры, тогда и парсить его будет проще (так как не будет другого мусора)

[Дмитрий Энтелис]

@zona7o да, отлично