boodda

При таком железе, почему бы не использовать MySQL или Postgre c секционированием данных блоками по 1М-10М, сделав ID инкрементарный BIGINT первичным ключом и поле данных, фиксированного размера(fixed), тогда поиск будет сводиться по сути к выбору нужной секции по iD и выбору нужной записи по формуле id*row_len. Это будет работать очень быстро даже с диска при условии, что файлы таблицы не будет фрагментированы физически на диске, ну а если из памяти не думаю что будет чем то уступать Mongo. Но естественно надо тестить

Постоянные коннекты тут будут обязательны я думаю.

Вообщем прошелся PHP скриптом как посоветовали

Стоял OCZ AGT3 на 60G, не знаю как у кого, но у меня начинал сильно тупить, если он был заполнен больше чем на 35ГБ, не знаю с чем связано, да и вообще меньше 120 брать сейчас нет смысла, по-моему.

Вам дали ответ, но вот у меня был опыт изготовления именно этой функции, задание на скачивание URL, его обработку и выдачу данных в аккаунт. Решил это так немогу конкретный код сейчас привести, но суть такова:

Скрипт получая все параметры
1. вставляет все данные в MySQL со статусом «Ожидает», получает id
2. скрипт скрипт лочит файл .lock(php ждет если он в данный момент залочен)
3. открывает файл urls пишет туда ID:URL (ID это который от базы получили) в режиме APPEND
4. снимает лок с файла
5. выдает статус «ID: Ожидается» во фронтэнд
6. завершает свою работу.

По крону каждые 3 секунды запускается bash скрипт который:
1. лочит файл .lock
2. читает файл urls, отрезает оттуда 10 урлов, остальные складывает обратно в файл
3. снимает лок.
4. С помощью lynx качается урл, и сразу скидывается на диск (есть ключ для lynx, хотя вы можете закачать wget, смотря какая у вас задача).

По крону каждые 10 секунд, запускается PHP скрипт который:
1. открывает папку и получает её листинг
2. выбираются все задания, статус которых «ожидается»
3. 30 записей из них помечаются статусом «обработка»
4. 30 этих файлов обрабатываются, результат по ID(из имени файла) присваивает статус в MySQL «готово», туда же вставляются все данные, которые были получены при обработке
5. скрипт завершается, удаляя все обработаные файлы.

Ajax скрипт периодически узнает не готовы ли файлы которые в очереди.

спасибо всем, вижу проблем много, к тому же, ессли я правильно понял, SPF запись указывает не на mail.ama*****.com, а просто на ama****.com, и все остальные записи MX и иже с ними указывают на него. а вот рассылка идет с mail.ama*****.com

Помогите настроить SPF…

тут как бы изначально была попытка настроить посылку писем с акка gmail. Но и там было тоже самое, все шло в спам, и простые тестовые письма и с кодами регистрации. Поэтому и решили поднять почтовый сервис на сервере. IP нету спам базах проверял.

И мои 5 копеек, было такое аж 2 раза, первый раз из-за обильной термопасты вкупе с неверно выставленым креплением кулера, из-за которого кулер не прилегал с одной стороны и в итоге пасты было очень много, как итог тепло очень плохо отводилось когда проц нагревался выше 50 градусов, решилось соответственно, мало пасты, правильная установка.
Второй раз пришлось заменить материнскую плату на такую же, дефект не был установлен на 100%, но все сошлись на косячной обработке сигналов датчика либо дефектами самих датчиков, так как проверяли без кулера, инфракрасным термометром(такой с лазерной точкой), там было при запуске всего 52, а биос показывал в этот момент 78.

Грунтовка, шпаклёвка, покраска.
Все как с машинами:)
А если серьёзно, думаю тут поможет лишь замена корпуса.

Так может просто база разрослась настолько, что индексы не стали влазить в key_buffer и теперь индексы мускулом просто перестали юзаться?