Как определить % пройденного пути?

Question

[anna_makeenko]

К примеру, на сайте есть 100500 постов. Запускается скрипт, который находит нужные посты при помощи регулярного выражения (MySQL). Допустим, что скрипт обходит 500 постов за один запуск, в конце своей работы записывает ID поста и при следующем запуске продолжает работу.

Как определить количество пройденных новостей в % зная ID поста, на котором остановился скрипт?

Comments

[Hcuy]

ну если id отсортированы, то просто от общего числа отнимаете последний id и считаете проценты

[anna_makeenko]

Hcuy, дело в том, что некоторые посты могут быть удалены, т.е. могут быть пробелы

[twobomb]

Ну судя по всему скрипт должен запоминать кол-во пройденных постов, чтобы при следующей выборке делал оффсет. Так вот делим этот оффсет на общее кол-во постов и если нужно чтобы % был от 0 до 100 то умножаем на 100

[anna_makeenko]

twobomb, Да, понимаю, просто интересно есть ли какие-то хитрые приемы, возможно с MySQL

[anna_makeenko]

ubuntu_lts, я не являюсь разработчиком CMS

[anna_makeenko]

twobomb, P.S. в настоящий момент offset делается так:

... WHERE `id` > $lact_checked_id

[anna_makeenko]

ubuntu_lts, удаляются

[twobomb]

anna_makeenko, А ну тогда еще проще

SELECT (SELECT COUNT(*) FROM posts WHERE id <= $lact_checked_id)/(SELECT COUNT(*) FROM posts)*100 as percent

[anna_makeenko]

twobomb, то, что нужно, добавьте в ответы - отмечу решением ;)

Answer 1

[twobomb]

SELECT (SELECT COUNT(*) FROM posts WHERE id <= $lact_checked_id)/(SELECT COUNT(*) FROM posts)*100 as percent

Answer 2

[Иван Шумов]

Сохранять число пройденных постов и число всех постов. Делить одно на другое, думаю, учить не надо)

Comments

[anna_makeenko]

Да, это понятно, без этого никак? Интересуют какие-то хитрые приемы, возможно с MySQL

[Иван Шумов]

anna_makeenko, все можно, даже на лету, но тогда надо на лету считать количество записей до последней отметки и всего. Нужен какой-то критерий, который в сферической в вакууме базе данных определить невозможно. Хранить ID записи все-равно где-то придется. а так COUNT(...)*100/COUNT(...) никто не отменял.

Только вот задача, исходя из текста вопроса, должна решаться со стороны php. Если скрипт прерывается или имеет какие-то особенности то тут база данных не при чем становится резко.

[Stalker_RED]

anna_makeenko, более хитрые, чем поделить одно число на другое? Ну можете сделать это в полнолуние стоя на левой ноге.

[anna_makeenko]

Иван Шумов, проблема в том, что посты могут быть удалены/добавлены в любой момент

К примеру, мы прошли 500 постов, после чего 50 из них удалили. Счетчик уже будет работать неправильно.

[Иван Шумов]

anna_makeenko, это не проблема как раз. Просто вы решаете проблему, которую не озвучиваете полностью и мы не можем вам помочь из-за не знания контекста. Выбрали какую-то часть просто

[anna_makeenko]

Сайт, на сайте 100500 записей, нужно обработать все записи, текст которых попадает под regex.

Посты удаляются/добавляются.

Выборка:

SELECT * FROM `posts` WHERE `text` REGEXP '$pattern' WHERE `id` > $lact_checked_id LIMIT 500;

Далее идет обработка на PHP:

foreach ($posts as $post) {
 //

$last_checked_id = $post['id'];
}

Хотелось бы отобразить ход выполенния задачи в %, можно сохранять количество пройденных постов, как предлагаете вы, но кажется счетчик будет работать неправильно, если посты будут удаляться/добавляться.

[Иван Шумов]

anna_makeenko, вот и отлично, у вас нет проблемы подсчета, у вас только не уверенность когда завершится и как это будет. Добавьте колонку в таблицу с маркером факта обработки. По ней и мониторе остаток. По окончанию можно колонку удалить

[anna_makeenko]

Иван Шумов, тоже, как вариант, но выше twobomb уже предложил другое решение, которое позволяет не вмешиваться в структуру существующих таблиц.

SELECT (SELECT COUNT(*) FROM posts WHERE id <= $lact_checked_id)/(SELECT COUNT(*) FROM posts)*100 as percent

[Иван Шумов]

anna_makeenko, ваше дело)

[Иван Шумов]

anna_makeenko, особенно будет классно когда скрипт сломается на полпути или будет ошибка

[Иван Шумов]

anna_makeenko, не говоря уже о том что при добавлении записей алгоритм может выдать id из списка пустующих < максимального

[anna_makeenko]

Иван Шумов, можно подробнее? При каких условиях это произойдет?

[Иван Шумов]

anna_makeenko, у меня нет точной информации, но это известный факт. И да, это происходит, особенно при большом числе записей в таблице