Опишу только принцип, реализацию уже сделаете сами, либо попросите AI.
Кнопка "назад" работает просто: переводит браузер на предыдущий урл.
Это можно использовать. Вы же, наверняка, используете history API в вашем приложении.
Так вот, при открытии модального окна добавляйте хэш к адресу в history.
https://example.com/page // окна нет
https://example.com/page#modal1 // окно открыто
Таким образом, при нажатии пользователем кнопки "назад", этот хэш удалится из адреса, потому что браузер перейдет на предыдущую страницу, которая имеет тот же адрес, но без этого хэша.
Ваша программа должна добавлять к текущему адресу хэш при открытии окна, и закрывать окно, когда хэш из адреса убирается.