Линукс сам по себе старается максимально эффективно использовать всю доступную память и не нужно бояться, что показывает, что занято 98%, например. Нужно смотреть, подо что именно она занята, может это дисковый кеш.
Если занята именно процессами апача, мускула и nginx, то надо смотреть конфиги и оптимизировать их под конкретный сервер и конкретные задачи/нагрузки.
Отдать побольше памяти для mysql - тоже правильно, чем больше таблиц размещается в RAM, тем быстрее работает база. Но, естественно, при этом надо не забывать оставить памяти для остальных сервисов.