Найти источник дублированния даных в mysql?

Question

[cccr85]

В общем есть 2 сервера, с одного второй забирает данные, парсит, и сохраняет в базу. Заметили, что начали появляться дублирующие записи. Дублей может быть сколько угодно. Начал грешить на клиент выводящий записи, посмотрел, через phpMyAdmin базу, все ок (вернее не ок :) ), в базе действительно дубликаты. Сделал сохранение пришедших с первого сервера данных + sql который отправляется в базу. Сейчас смотрю лог, в пришедших данных, в sql дублей нет, в базе дубли имеются…

Я зашел в тупик, подскажите хотя бы куда можно копнуть, что еще проверить.

Answer 1

[JeanLouis]

Сделайте составной первичный ключ, чтобы он был уникален и вставляйте записи, используя INSERT IGNORE.

Comments

[cccr85]

Спасибо, сделал, посмотрим результат.

[niko83]

Этот совет это как лечить проявление болезни вместо того чтоб лечить саму болезнь. Капайте глубже.

Answer 2

[Макс]

А триггеров нет у Вас там?

Comments

[cccr85]

Нет. Запрос самый обычный

if (count($new) > 0) {
$sql = 'INSERT INTO `progstat` ';
$sql .= '(`id`,`phone`,`operator`,`start`,`duration`,`error`,`duration2`) ';
$sql .= 'VALUES '.implode(',', $new);
mysql_connect('localhost', '', '');
mysql_select_db('stats');
mysql_query($sql);
$merror = mysql_error();
}

Answer 3

[xmeoff]

Выше уже подсказали решение.
От себя добавлю, что в вашем случае составной ключ не нужен, достаточно одного unique-индекса для поля 'id', если конечно его название соответствует содержанию).
Как-то так:
ALTER TABLE progstat ADD UNIQUE INDEX (id)


Comments

[cccr85]

У меня было сомнение по поводу добавления еще одного индекса. так как id это AUTO_INCREMENT с ключом PRIMARY. В итоге я добавил, и получил от phpMyAdmin «Следующие индексы определены как идентичные, и один из них должен быть удален: PRIMARY, id»

Answer 4

[niko83]

Может у вас нейким образом образуется несколько потоков (процессов)? например скрипт срабатывает по крону раз в минуту, а сам скрипт выполняется больше одной минуты. или что-то ещё

Comments

[cccr85]

Сервер отдает данные только 1 раз. При повторном запросе вернуться пустые данные. плюс в логе было бы видно повторная загрузка данных.