Если именно все и с любого сайта, то нужен встраиваемый браузер, то есть Selenium или Phantom.js, потому что на дворе 2016 год, и JavaScript все-таки уже существует, а еще есть Flash, который все-таки еще существует, и с ним еще сложнее все.
Ну а если достаточно простых <a href>, причем только тех которые не загружаются AJAX'ом, то можно с помощью RoboBrowser (BeautifulSoup) и т.п, то есть библиотек, которые только с DOM (HTML) работают.
