Суть в том, что браузер использует JavaScript для формирования страницы. Если нужно скачать только данные - то найти запрос, который браузер шлет в бэкэнд и скачать данные им (там будет JSON или что-то подобное)
Если нужно скачать сайт прямо с оформлением - то проще всего написать небольшую программу, которая запустит реальный браузер (chrome точно так можно, насчет firefox не уверен) в автоматическом режиме и может имитировать в нем любые действия пользователя. См. chromedriver. Если ничего не путаю, то Selenium такое умеет.
Средний
