С этим разбиением на колонки лучше не связываться. Flex бери или даже CSS Grid, если IE11 и ниже поддержка не нужна. Так у тебя будет практически полный контроль над построением таких вещей.
Даже если задать высоту, марджины первого элемента первой колонки и первых элементов других колонок работают по-разному, отсюда и проблема.