Apache2: отредактировать конфигурацию, ограничить MaxClients. В идеале или расположить его за Nginx или действительно использовать связку nginx+php-fpm. Apache2 - это не web-сервер, а сервер приложений в первую очередь, стоит это учитывать и грамотно использовать.

Mysql: используйте mysqltuner.pl для выявления узких мест в конфигурации, ограничивайте максимальное использование памяти, изменяя указанные скриптом переменные. Рассмотрите вариант использования Percona или MariaDB.

Для отслеживания потребления ресурсов пользуйтесь htop.