Степан

Средствами самой бд не пробовали генерить рандом и инсертить?

sixarm.com/about/mysql-create-random-data-text-str...

Если удалили бекапы, скорее всего никак..

Вы explain запроса делали?
Использовать просто IN не очень то рекомендуют, а у вас вообще IN (SELECT ...)
Сделайте explain вашего запроса и смотрите сколько затронуто строк. В вашем случае это будет несколько млн сортировок.

Делайте как вам рекомендуют выше. Добавьте поле в tasks и делайте его индексом. Поле делайте tinyint или set('done','hide') что бы не занимало много места.

Вот у человека похожая проблема. Видиму у Вас тоже самое
unixway.info/mysql/innodb-the-error-means-mysqld-does-not-have-the-access-rights-to-the-directory/

Почему бы не попробовать Sphinx?
Один раз настроил и будь там хоть 500к пользователей, sphinx довольно быстро справится с этим.

Если я правильно понял.

Одним запросом через джоины вытаскиваете все данные. Поле у которого какой например description= NULL говорит о том что это не запись а элемент записи(фото, видео...). В цикле когда обрабатываете запрос сразу же видите как его рендерить.
То есть вся идея в том, что вы результат запроса сводите к одному формату который уже кодом направляете куда вам нужно.

Сталкивался с похожим…
Проблема была только в том, что некоторые записи имеют год а некоторые нет.
Выбираем только месяц+день и ставим год теперешний. Эту переменную ставим индексом и фильтруем как хотим.
От селектов DATE_FORMAT отказался так как база очень больших размеров, и выборка по int индексу в разы быстрее.

Из вашего объяснения я понял что база не уходит в даун, а просто собирается большая очередь запросов?
Какого рода запросы? insert/select/update?

Посещаемость сайта имеет не большую роль в нагрузке… Все зависит от структуры базы, ее размеров, действием над данными в ней. Можно повесить mysql и одним запросом на очень долгий период.

Создайте для дельта-индекса отдельный конфиг.
После завершения индексирования генерируйте новый конфиг-файл с последним проиндексированным ид

Костыль конечно, но должно работать.

При количестве 1млн из 1мл допустимых значений ни какой рандомности не может быть. Думайте как выдавать вообще не используя таблицу.
Первое что пришло в голову мне, это использовать мемкеш для хранение уже выданных id.

$rand = rand(1, 1000000);
$memkey =«ticket_».$rand;
if ($get_result = $memcache->get($memkey))
{
Такой билет уже продан, генерим другой
}
{
Билет не продан. Записываем в БД и в мемкеш
$memcache->set($memkey, $rand, false);
}

На php можно использовать

if(mysql_query("INSERT ...")) $last_id=mysql_insert_id();

1. Вы всю статику держите в одной папке?? И сколько у вас там файлов?
2. Имена файлов указывают ваши наполнители? Странно…

Все это сделать не сложно. Напишите скриптик который дает всем файлам уникальные имена и распределите их по папкам.
У меня все это делаеться так:
1.Имя файла это его хеш.
2. Файл помещаю в папку a/b/c/abcdefg.....jpg Папки это первые 3 буквы имени файла.