Сергей Горностаев

Прежде всего надо понять, что защиту от парсинга пишут не дураки. И так же то, что все защиты разные. Как только в интернете появляется гарантировано работающий рецепт обхода какой-то за защиты, ей сразу меняют. Поэтому в каждом отдельном случае приходится искать способ обхода защиты самостоятельно и быть умнее её разработчиков. В каких-то случаях, вы боретесь с подростком-фралансером, пишущим код для маленького бизнеса со скромным бюджетом, тогда вам придётся столкнуться с чем-то типа проверки заголовков, csrf и тому подобными простыми штуками. В каком-то, вы боретесь с корпорацией, в которой целый отдел отличных опытных разработчиков пишет поведенческий фильтр и валидацию на клиентской стороне. В последнем случае вам придётся применять Selenium, ежемесячно платить за прокси и так же ежемесячно править довольно сложный алгоритм, притворяющий группой людей.

https://qna.habr.com/q/1003313
https://qna.habr.com/q/1181654

Начать забавы ради считать такие вопросы что ли? Во-первых, на современных сайтах часть контента подгружается динамически JavaScript'ом, так что парсеры этих данных не видят. Во-вторых, почти все сайты от парсинга защищаются.

item.find('span', {'data-ftid': 'bull_price'}).text.replace('\xa0', '')

Но желательно добавить проверку на то, что BS нашёл нужный тег и вернул строку.

https://qna.habr.com/q/495636

Способов множество, в большинстве своём они держаться в тайне и постоянно дорабатываются. Я видел системы, подобные искусственному интеллекту, которые ищут закономерности в действиях клиента с сайтом, и достаточно точно отличающие людей от роботов. Конечно, такие системы применяются не везде, так как они дороги, но и без них робота заметить не сильно сложно.

Потому что интересующие вас элементы генерируются javascript'ом на фронте, а BeautifulSoup выполнять JS не умеет.

Корень проблемы в том, что вы пытаетесь перекодировать в cp1251 текст, в котором есть символы, не представленные в этом кодировке. Кроме того, даже если бы у вас получилась перекодировка, метод encode вернул бы байты, а вы файл открыли в текстовом режиме, возникла бы другая ошибка. Вероятно, вам стоит написать так:

with open('test.html', 'w', encode='utf-8') as output_file:
    output_file.write(r.text)

P.S. Спасибо Сергей Паньков за то, что указал на мою невнимательность.