С этим разбиением на колонки лучше не связываться. Flex бери или даже CSS Grid, если IE11 и ниже поддержка не нужна. Так у тебя будет практически полный контроль над построением таких вещей.
Даже если задать высоту, марджины первого элемента первой колонки и первых элементов других колонок работают по-разному, отсюда и проблема.
Плюсую, такая сложная колоночная вёрстка нужна только в весьма специфичных случаях. Например: вёрстка сайта газеты по реальному прототипу и тому подобное, но уж никак не для списка из ссылок.