nonname

Если проблема в max_allowed_packet - в error логе сервера должны быть ошибки «Packet too large» если его не хватило.
Так же хорошо бы глянуть настройки клиента, в котором выполняется запрос

habrahabr.ru/post/193756 Вот хорошая статья по нормализации БД. Там по сути есть ответы на ваши вопросы.

Нужно понимать что СУБД не просто так занимает это место, это буфер прочитанных данных, поэтому чтобы занять, грубо говоря, 1гб буфера, сначала нужно прочитать 1гб из файла данных.