Какой фомат БД использовать для большого количества записей и чтения и таблицы?

Question

[Алексей Алюшенко]

Здравствуйте,
Необходимо реализовать статистику посещений и считывания ее.
В день ~750000 обращений к скрипту по 13 select и update на 2 таблицы.
Запросы простые, вида

SELECT count(*) as users_more_3 FROM `users` WHERE date=? AND script_show>2 LIMIT 1

Использую сейчас MYSQL Innodb, но днем из-за этого возрастает нагрузка на ЦП и 4 процессора работают под 70-90%

Собственно вопрос, какую использовать БД, или же необходимо сократить количество обращений базе(сейчас реализовано так так как делаю проверку существуют ли нужная строка или нет)

Comments

[Алексей Алюшенко]

Владлен Ultra: я же написал, это самый сложный скрипт который использую.
Идея такая есть 2 базы по дням и по пользователям, по структуре они почти одинаковые
по дням там всего 12 записий(количество дней работы скрипта), а самая большая users ~1,500,000 записей (date,user_id,script_show(количество просмотров страницы)).

Сейчас скрипт работает по такой логике:
1) проверяю есть ли запись за текущий день(по date и user_id), если нет, создаю ее, если есть делаю update счетчика(для обоих таблиц)
2) Проверяю условие счетчика:
SELECT count(*) as users_more_3 FROM `users` WHERE date=? AND user=? AND script_show>2 LIMIT 1
на основе этого может быть еще несколько update

На сколько такой подход не верный?

[Алексей Алюшенко]

Туплю, скорее всего ошибка из-за бд dates в Innodb где в день ~ 3М апдейтов, если поставить myisam поможет ли?

Answer 1

[sim3x]

Слишком мало конкретики
Посмотри на
redis.io/commands/INCR

Или сделай кеширование руками
Или средствами мускула
Или средствами пхп-мемкеша
Или средствами nginx

Answer 2

[Oleg Shevelev]

Если MySQL принципиален - попробуйте HandlerSocket, улучшит запись и чтение соответственно, но потребует изучения нового API.

Небольшое описание со ссылками есть в другом моём ответе по смежному вопросу: Вопрос по подключению системы кэширования?

Answer 3

[lega]

Для данного запроса можно выделять одну строку таблицы в день.

А вообще если у вас там много параметров и нужно хранить все, то можно просто заливать в файл линейно, один сервер с кешированием может по +10млн/сек записей писать, далее воркеры потихоньку разгребают эти файлы и итоговые цифры ложат например в redis для быстрой отдачи, а сырые данные например пакуют в архивы если они нужны для полной аналитики.
В итоге БД не будет проблемой, и сервер упрется в разбор http запроса если вы используете PHP/Python и т.п., т.к. там лимит до 100к/сек, хотя для ваших объемов и PHP потянет.

Answer 4

[Евгений Ахметов]

redis или подобное для этого оптимально.