alegast

немного поспешили вы ) можно было бы для начала sudo service jenkins stop и посмотреть . вполне вероятно что в нем могли присутствовать какие то jobs запускаемы по расписанию или тп

парсер это только половина роботы, beautifulsoup вполне себе пойдет.
2я половина требует авторизации на сайте, сохранение кук (которые прийдут в респонс хедерах) и передачу их при каждом последуюющем за авторизацией реквесте