Я как-то давным давно для парсинга и автоматизации действий на веб-страницах использовал Selenium. Но спустя некоторое время перешёл на ручное написание запросов через http библиотеки и разбор html. Только так можно понять низкоуровневую механику взаимодействия клиента и сервера. Придётся изучить основы http-запросов, html, cookies и прочих понятий. Без этого не обойтись.
Под питон могу посоветовать связку
request +
pyquery, сам пользуюсь.