несколько мыслей по Вашему вопросу
1. я бы вернулся на дифолтный конф для начала. в дистре (по крайней мере во freebsd) есть примеры конфигов для таблиц разного размера, а потом наворачивал все, что касается кеша. Но опять же, если мало памяти, то кеш складывать некуда
2. mysql прекрасно работает при наличии большого кол-ва памяти независимо от движка
3. рассмотреть возможность перехода на mariadb или percona, обычно безкровный
4. mtop покажет "грузящие" запросы
5. рефакторинг коды сайта (или что там у Вас), каждый коннект в бд считается
6. на стороне сайта настроить кеширование всего, что только возможно. Опять же нужна память
Ну как-то так