Взять рандомную строку с удалением?

Question

[Роман]

Помогите составить запрос для выборки рандомной строки с удалением. Поиском в инете составил такой запрос:

DELETE FROM cat_product
WHERE IN
(
SELECT * FROM cat_product
ORDER BY RAND()
LIMIT 1
)

Если я правильно понял, первым выполняется запрос в кавычках, потом WHERE IN указываем что удалить. Я не спец в запросах, поиском ни чего не нашел.

Comments

[Immortal_pony]

ChairfaceChippendale чушь. Смотри мой ответ

Answer 1

[ThunderCat]

запрос для выборки рандомной строки с удалением.

Так для выборки или для удаления?
Во первых - задача какая стоит? По описанию похоже на лютый треш.
Во вторых - ордер бай ранд - ОЧЕНЬ затратная операция, ее лучше не использовать на более-менее больших таблицах.
В третьих - WHERE `имя_поля` IN (select `имя_поля`... , но вроде более старые версии мускуля такое не поддерживают.

Если вы нормально опишете зачем вы удаляете рандомную строку, будет проще понять что надо сделать на самом деле.

Comments

[Роман]

Задача чтение без дублей. Так как операций очень много в короткий промежуток, вероятность того что будут дубли при взятии очень большая, тоже касается и с селектом и последующим удалением. Моя задача исключить дубли при чтении, для этого и беру строки рандомно и с удалением. Строк около 6ККК одновременных обращений к базе ~1К, ели брать построчно, будут дубли. Если есть идеи как исключить дубли при чтении с такими объёмами охотно выслушаю. Я не специалист, поэтому для меня чтение с удалением единственное разумное что приходит в голову.

[ThunderCat]

Роман, Все еще нифига не ясно.

Задача чтение без дублей.

При limit 1 у вас и так дублей не будет

Так как операций очень много в короткий промежуток, вероятность того что будут дубли при взятии очень большая

Что за взятие? Выборка? При лимит 1 вероятность дублей равна нулю, вы же выбираете 1 запись, какие дубли?

тоже касается и с селектом и последующим удалением

Это вообще причем? Что за логика стоит за выборкой СЛУЧАЙНОЙ записи с ее последующим удалением?

Моя задача исключить дубли при чтении, для этого и беру строки рандомно и с удалением.

В ответ на нападение непонятно откуда, Америка нанесла ядерный удар куда попало? Почему рандомно, почему не конкретно дубли???

Если есть идеи как исключить дубли при чтении с такими объёмами охотно выслушаю.

Самый эффективный способ не читать дубли - не записывать их в базу, что достаточно просто же реализуется, делается уникальный ключ, и дальше инсерт-он дупликэйт игнор/апдейт по ситуации. И не надо каких-то странных рандомов...

[Vitsliputsli]

ThunderCat, походу он не про дубли, он пытается решить состояние гонки. Отсюда и попытка атомарного чтения/удаления.

Роман,

Задача чтение без дублей.

Не такая у вас задача. Почему бы ее не описать? А не предлагать сразу поправить решение, которое может быть не правильным.
"Строк около 6ККК" - прям 6 миллиардов? На MySQL?! И вы при каждом запросе даете каждой строке рандомный номер?!

По вашим хотелкам, можно догадаться, что у вас некая очередь. Несколько воркеров или клиентов, которые забирают из очереди задания. Соответственно, когда они обращаются одномоментно, то получают одно и тоже задание - это называется состоянием гонки.
Обычно строки из очереди удаляют не сразу, а используют статусы (это уже описали в одном из ответов), т.к. получив строку воркер может умереть и не обработать ее.
Состояние гонки решается либо блокировками, либо распределением работы между воркерами.
Конкретнее можно сказать, когда будет описана задача.

[ThunderCat]

Vitsliputsli, Возможно, звучит хотя бы более-менее логично. Ну, так как тс свалил в туман, ответа на эти вопросы мы скорее всего не получим )

[Роман]

Vitsliputsli, Да 6ККК. Ниже в комментарии подправил вопрос. Нужно взять строку с отображением результата и удалить её. Все верно, к таблице несколько К потоков, и чтоб исключить дубли нужно брать с удалением.

[ThunderCat]

Роман, похоже вам нужна просто блокировка строки на чтение, что-то типа
SELECT * FROM tbl WHERE id=1 LOCK IN SHARE MODE;

[Роман]

ThunderCat, Сделал тестовый шаблон. Логика следующая, беру строку запросом SELECT * FROM tbl WHERE id=1 LOCK IN SHARE MODE; беру уникальный ид из строки, удаляю по иду строку и пишу в тестовую базу с уникальным индексом. В итоге имеем...

Всего на 100 потоков. То есть не успевает удаль за собой считанною строку. На рандоме грузит на 50 потоках весь проц. Не знаю правильно ли я понимаю, нужно подзапросом удалять выбранную строку, что то типа этого

DELETE `cat_product` FROM (SELECT * FROM `cat_product` LIMIT 1)

, только правильны запрос. Еще раз попробую, мне нужно выполнить селект с результатом и последующим удалением.

[Роман]

Такой фокус SELECT count(*) FROM cat_product с последующим запросом SELECT * FROM `cat_product` LIMIT {-Variable.v2-},1 где {-Variable.v2-} рандом число от 1 до количества строк, тоже ресурсоемкий, больше 20-50 потоков не могу запустить, проц 100%.

[Роман]

Решено!

LOCK TABLES cat_product READ LOCAL;
(SELECT * FROM `cat_product` LIMIT 1);
UNLOCK TABLES

Спасибо ThunderCat дал нужное направление!

Answer 2

[Александр К]

Я не сильный знаток, но
1. в данном случае вы просто удалите строку без её получения.
2. Моё видение
2.1 разбить на 2 запроса, select+delete
2.2 хранимая процедура либо без оной, сохраняете в переменную( не очень хорошо знаю использование переменных), затем из переменной берете свой PK и удаляете запись, после чего возвращаете значение переменной

Comments

[Роман]

Я так и делаю, но уверен что можно обойтись одним запросом. И так нагрузка не хилая на базу.

[Александр К]

Роман, Раз нагрузка большая, попробуйте добавить столбец с флагом deleted или status и меняйте его, т.к. насколько я знаю, операции удаления довольно затратные. А удалять можно по крону пачками, во время наименьшей нагрузки

[ThunderCat]

Роман,

Я так и делаю, но уверен что можно обойтись одним запросом.

Если вам нужен и результат выборки и удаление - то нет.

Answer 3

[Immortal_pony]

Ваш запрос похож на попытку удаления случайной строки из базы.
Это действительно можно сделать одним запросом.
Вот он:

DELETE FROM `cat_product` WHERE `id` IN (SELECT `inner`.`id` FROM(
    SELECT  `cat_product`.`id` FROM `cat_product` ORDER BY RAND() LIMIT 1
) as `inner`)

Если это не то чего вы хотели, то, пожалуйста, чётко сформулируйте в тексте вопроса желаемый результат. Максимально подробно.

Comments

[Роман]

Нужно получить строку с результатом и удалить её. Главное чтоб строка не осталась в таблице, иначе её возьмет другой поток. Раномн очень затратный по ресурсам.
Запрос SELECT * FROM `cat_product` LIMIT 1 возвращает результат, с этим все нормально, теперь эту строку нужно удалить. Добавил DELETE FROM `cat_product` WHERE EXISTS что в общем получилось

DELETE FROM `cat_product` WHERE EXISTS (SELECT * FROM `cat_product` LIMIT 1)

. В итоге удаляет не только взятую строку но и другие. Я ноль в запросах, уровень примитива, методом поиска готового решения и копипаста. Уж простите за возможно не правильный вопрос.

Answer 4

[Роман]

Почему я не могу в 2 запроса, взять одним и удалить другим. Да все просто, я работаю через конструктор, и пока я буду удалять строку на другом экшне, другой поток её считает, и будет треш в виде дубля.

Где черта, возможная задержка, где другой поток возьмет эту же строку.

Comments

[Роман]

Сейчас так и работаю, в 2 запроса.