MySQL: На сколько рационален подобный подход к хранению данных?

Question

[beduin01]

Каждый день программа собирает данные и кладет их в БД. Всего два столбца: дата | данные
12.11.2014 | Небо, Воздух, Вода, Камень, Небо, Небо

Дальше мне нужно проводить обработку и выбирать наиболее часто встречающиеся слова.

Отсюда два вопроса:
Имеет ли смысл мне до вставки проводить статистическую обработку и склеивать слова в с количеством повторений т.е.
12.11.2014 | Небо:3, Воздух:1, Вода:1, Камень:1

Дальше мне нужно как-то иметь возможность удобно запрашивать статистику по дня. Отсюда вопрос. Нужно ли мне все слова преобразовывать в столбцы, чтобы для каждого писать популярность? Это же очень неудобно т.е. когда слов 5, it's ok, но вот как быть, если у меня будет около 1000 слов. Что теперь для каждого столбец создавать?

Как это покрасивее сделать? Как все хранить?

Answer 1

[Леонид Сысолетин]

Ну, например, две таблицы: "дата | id_слова | количество" и "id_слова | слово".
Какие индексы накладывать - тема для самостоятельной проработки.

Comments

[beduin01]

А что мне даст разбитие данных на две таблицы?

[Леонид Сысолетин]

beduin01: Ну, из очевидного - экономию места. Слово "Попокатепетль" будет храниться в БД один раз, а не по разу на каждый день. А вообще можно почитать про нормальные формы, там это объясняется.

Answer 2

[Rsa97]

Изначально неправильно организованы данные. Нужна одна таблица,

CREATE TABLE `table` (
    `date` DATE,
    `word` VARCHAR(64),
    `count` INT, 
    PRIMARY KEY(`date`, `word`));

Добавление слова:

INSERT INTO `table` (`date`, `word`, `count`) 
    VALUES (CURDATE(), :word, 1) 
    ON DUPLICATE KEY UPDATE `count` = `count`+1

Comments

[beduin01]

Может я не так понял, но как вы предлагаете хранить статистику для каждого отдельного слова по дням? Для каждого нового слова создавать новую строку с датой, которая уже была, но для другого слова?

[Максим Гречушников]

да

[Rsa97]

beduin01: Да, это будет соответствовать нормальной форме базы данных.

[Rsa97]

beduin01: Можно, конечно, сделать ещё таблицу для хранения списка слов, но при коротких словах особого выигрыша это не даст, а запросы станут сложнее.