Почему не заменяются компоненты при роутинге?

Владимир, здесь.
Работает приблизительно так (в действительности же, через регулярные выражения):
С exact: window.location.pathname === path
Без exact: window.location.pathname.startsWith(path)
Ну и Switch прекращает дальнейшую цепочку сравнений, после первого совпадения.

Почему не заменяются компоненты при роутинге?

Владимир, exact перед path="/"

Почему не работает React Router?

Ну теперь, после того как показали <About />, всё стало ясно.

Вот приблизительная структура вашего PageHeader:

<PageHeader>
  <MainNav>
    <Switch>
      <Route exact path='/about' component={About} />
      <Route exact path='/contacts' component={Contacts} />
    </Switch>
  </MainNav>
</PageHeader>

А это About:

<About>
  <PageHeader />
  <MainBlock />
  <PageFooter />
</About>

Вы внутри <PageHeader /> рендерите <About />, который внутри себя вновь рендерит <PageHeader />... ну и так по кругу. Вот вам и забитый браузерный стек.

Как скрыть ненужные компоненты?

Рендерите MainCases /> на том рауте, на котором вы бы хотели его видеть.
Возможно вам нужно это:

<Main>
  <MainBanner />
  <MainCases />
</Main>

ну и первый раут поменять на это:
<Route path={'/'} exact component={Main} />

Как в родителе узнать, что удалённый дочерний компонент принадлежал именно ему?

Петр Мухуров, спасибо за ваше время. Будет хорошим бонусом в копилке вариантов.

Как в родителе узнать, что удалённый дочерний компонент принадлежал именно ему?

Петр Мухуров, не затруднит ли вас показать наглядно? Хотелось бы полностью разобраться в возможных вариантах. Попробовал самостоятельно - не вышло.

Как в родителе узнать, что удалённый дочерний компонент принадлежал именно ему?

То что надо. Премного благодарен.

Как в родителе узнать, что удалённый дочерний компонент принадлежал именно ему?

Метод вызывается. С этим проблем нет. Нужно чтобы дропдаун не закрывался после удаления его дочернего компонента. В песочнице можно потыкать на иконки, сразу станет понятна проблема.