В подтверждение слов
Rsa97 и
zedxxx могу привести
код на godbolt.
Там выбрана архитектура ARM, так как там хорошо видно разницу из-за его простоты.
В жёлтом блоке ассемблерного кода происходит побайтовое чтение поинтера из байт 3, 4, 5, 6 и его склеивание, т.к. отключено выравнивание.
В голубом блоке происходит чтение сразу всего поинтера потому что он выровнен.