Если у вас стоит Bitrix VM, то настройки mysql из my.conf перекрываются настройками в следующих файлах:
# Parameters set by bvat are stored in /etc/mysql/conf.d/bvat.cnf.
# If you want to change any parameter, you'll have to redefine it in /etc/mysql/conf.d/z_bx_custom.cnf
Так что или приведите их содержимое, или выгрузите активные настройки через mysql, используя SHOW VARIABLES.
Подозреваю, что у вас просто в вышеуказанных мной файлах настройки, которые превышают имеющуюся ОЗУ на сервере.