Как оптимизировать сервер под тяжелые скрипты с небольшим количеством пользователей?

Question

[Lu_den]

На VPS выполняется ряд тяжелых php-скриптов (работают вплоть до 1500 секунд, потребляют довольно много памяти). Обрабатывается много строковых данных.
При этом в единицу времени обычно запускается не так много процессов (чаще всего 1). Т.е. ситуация обратная большинству сайтов, где множество запросов простых быстрых скриптов.

Посоветуйте, в какую сторону копать в настройке сервера?

Answer 1

[Игорь Воротнёв]

Я понимаю, что зная PHP хочется решить эту задачи с его помощью. Но вот смысла в этом ровно ноль, обычная лень. Строковые данные можно спокойно обрабатывать вообще через sed, это будет на порядки быстрее. А PHP сделать всего лишь интерфейсом.

Answer 2

[ThunderCat]

А есть возможность переписать серверные скрипты на, допустим, С, или чем то компилируемом, питоне например, или это не входит в проект? Это серьезно ускорило бы работу системы.
Диски - если есть возможность и еще не сделали - поставить ssd, это реальный прирост даст при работе с файлами.
Если есть работа со значениями key->value ставьте редис или мемкеш и оптимизируйте под них скрипты.
Остальное без конкретных деталей сложно сказать, бо скрипты с такими расчетами сложно невидя оптимизировать.

Comments

[Lu_den]

Спасибо! SSD уже использую, редис или мемкеш взял на заметку.
Другой язык - это слишком сложно получится.
Возможно есть какие-то примеры конфигов Апача или Nginx для такой ситуации?

[ThunderCat]

Lu_den: а что апач? апач и нгинкс отдает контент, ему фиолетово что вы там вычисляете, насчет языка - ничего сложного, из пыха отдаете строчку к внешней программе консольной с параметрами - на си думаю прирост раз в 10-30 будет легко.

[Lu_den]

ThunderCat: просто у меня Апач падал, пока я не пошаманил с MaxRequestsPerChild (по мотивам searchengines.guru/showthread.php?t=333791), проблема в том, что именно пошаманил :), т.е. без нормального понимания.

По си - благодарю, подумаю, нельзя ли и правда самые узкие места туда вынести.

[ThunderCat]

Lu_den: Настройки апача гуглятся на раз-два, настройте по любому мануалу аля "создаем свой вебсервер ламп", у вас проблема в "бутылочном горлышке" скрипта же? Ну так ее и надо в первую очередь решать. Нет желания переписывать код на другой язык - запускайте пыховый скрипт в отдельный поток, пусть страничка отдается пользователю сразу, типа - "ваш запрос обрабатывается, пожалуйста подождите", и тыкать в сервер аяксом, пока скрипт не закончит работу и не выдаст результат. Потом отдать юзеру готовый результат.

[Lu_den]

ThunderCat:
>>настройте по любому мануалу аля "создаем свой вебсервер ламп",
Спасибо, никогда с этим не работал, казалось что задача сложнее.
>>тыкать в сервер аяксом
Да, так и делается.

Answer 3

[Пума Тайланд]

в никакую, оптимизировать здесь можно только код.

Answer 4

[Андрей]

Какая подсистема нагружена больше всего и какой профиль нагрузки? Используется ли БД? Используют ли скрипты временные файлы?

Comments

[Lu_den]

Андрей, по первому вопросу недостаточно компетентен для ответа :( Не понимаю, что значит профиль нагрузки.
БД - MYSQL
Используется 1 временный файл.

[Андрей]

Lu_den: ок, основная нагрузка на что? Процессор? Диски? RAM?

[Lu_den]

Андрей: в основном RAM

[Андрей]

Lu_den: а что вообще скрипт делает?

[Lu_den]

Андрей: SEO-анализ сайта

[Андрей]

Lu_den: единственное что, можно попробовать его распараллелить, это единственный вариант. Ну и как вариант - оптимизировать сам скрипт

Answer 5

[Виктор Таран]

очень большая тема.
В общем
1. поставь bitrix vm - там 95% уже сделано
увеличь время с 300 до 1500 в nginx и в принципе этого хватит.