Ощущение, что браузер самостоятельно определяет в какую сторону "расширить" контент (увеличивающийся тег параграфа) так, чтобы он был на виду. А из-за флексов возникает визуального ощущение смещения соседнего контента. На самом деле изменяется скролл страницы.
Интересно, что при наличии в области видимости других элементов, такого поведения не наблюдается.
https://jsfiddle.net/s9n85rd7/106/
Вряд ли это можно исправить.