Ivan Yakushenko

Автоматизация процесса парсинга. Вместо того, что бы самому писать логику многопоточности, перехода по страницам, обработку/хранение данных и прочее, можно использовать Scrapy, который деляет это все из коробки.

Я вам ответил, зачем вы новый вопрос создаёте-то?

ArtiomK, хоть-бы про xpath прочитали. Вы привязываетесь к id, а они меняются каждый раз, xpath динамично меняться не может. В вашем случае нужен именно xpath. К примеру:
xpath формы логина:

//*[@class="Wt-domRoot"]/div[2]/div/div/div/div/div[3]/div/div[2]/div/input[1]

xpath формы пароля:

//*[@class="Wt-domRoot"]/div[2]/div/div/div/div/div[3]/div/div[2]/div/input[2]

Кнопка на данной странице всего одна, ко-этому xpath можно привязать по атрибуту type button:

//*[@type="button"]

Тут про xpath очень подробно и с примерами.

У вас в тегах указан Selenium - в headless режиме он запускается где угодно и ему все-равно что там за url, он работает с элементами страницы.