Для теста данные библиотеки подходят, но если действительно хотите парсить большие сайты, то надо использовать scrapy.
- Если предстоит спарсить несколько тысяч страниц, какие меры безопасности нужно предпринимать, чтобы не быть забаненым?
Если нет авторизации, то можно использовать: user-agent rotation, proxy rotation, random delay.
- Вероятно. если поставить паузы между запросами можно не попасть в бан? (и как вообще "разведывается" обстановка, чтобы понять: здесь можно спокойно парсить, а здесь тебе покажут сложную каптчу после первых 3 запросов).
Просто пишешь парсер без пауз, если все парсится, то защиты нет. По моему опыту могу сказать, что очень мало сайтов имеют защиту от множества запросов, в основном крупные проекты.
- Стоит ли парсить с десктопа (как делал автор)?
Конечно.
- Достаточно ли отправить заголовки похожие на те, что отправляет мой же браузер?
Тут надо смотреть на защиту, в основном хватает user-agent'а.