Посмотреть настройки Mysql сервера, оцпии *size=, например myisam_sort_buffer_size
Mysql резервирует место в памяти в процессе использования, и если место было выделено - назад эта память не возвращается (чтобы не тратить процессорное время на очистку и затем повторное выделение).
Память может так и висеть в простое.
Можете сравнить используемую память сразу после перезапуска mysql, и после выполнения каких-либо операций
