С помощью гридов у меня легко получилось, но поддержка у них пока слабая. С помощью флексов... разметка несколько сложноватая будет. Masonry - с адаптивностью придется много ковыряться. Спрашиваю из любопытства, может еще кто способ знает?

Я наверно не очень точно выразился. Это нужно реализовать без оберток. Вот представьте, что это 4 li и все они находятся в одном ul