Похоже, что код откуда-то выдран. Флекс здесь лишний, можно сделать всё проще:
https://jsfiddle.net/vd9u00jv/
p.s. смысл flex в том, что там блоки сами растягиваются и сужаются, чтобы показать контент (впихнуть невпихуемое), а не просто удобное позиционирование. Поэтому такое поведение стоит ожидать.
