рекомендую 5.3.4 из свн, собрать с -disable-all и включать только нужные модули, по необходимости. Не забываем apc — последняя версия уже хорошо с fpm работает. Ну и оптимизации сборки под свою платформу.
Btrfs + хранение нескольких картинок в одном файле и указанием позиции в урл или еще где. Почитайте про архитектуру facebook и контакта, там много полезной информации.
www.mysqlperformanceblog.com/ — всяческие тюнинги конфига там детально разжеваны
И я бы попробовал 5.5 версию на денек, там innodb заметно посвежее. Ну и собирать icc.
Потом уже обсуждалась тема переноса таблиц в оперативку — в поиск