Nurbol Suleimenov

Почитай книгу «Грокаем алгоритмы. Иллюстрированное пособие для
программистов и любопытствующих». В нем примеры приводятся на
Python и объясняются приведенные Вами термины.

Количество алгоритмов огромно, большинство берет начало из разделов
прикладной математики. Можно начать с сортировок, а дальше изучить
остальные базовые.

Касательно Python, если не приходилось изучать/писать программы с
использованием стандартной библиотеки collections, то советую
посмотреть внимательно. Есть реализация множества алгоритмов,
которые необходимы в жизни при работе. Избавит Вас от повторного
написания этих алгоритмов.

Ваши варианты не ошибочны, но есть несколько моментов для осмысления.
Судя по наличию return, у Вас функция возвращает текст. Какое поведение Вы предусмотрели
в случае неудачного завершения операции requests.get? И на каком уровне Вы намерены
обрабатывать ошибки. Никто не может сказать Вам, как правильно, пока не узнает контекст
Вашей задачи. Может Вы выберите стратегию: "падать как можно раньше" и вызвав панику
завершите приложение, запишите в лог и перейдете к следующему url или что то еще.

Предложу Вам третьи вариант:

try:
    html = requests.get(url, headers=self.headers)
except Exception as e:
    print('Root page parse is failed', e)
    # Ваши инструкции для ошибочной ситуации
return html.text

Первый вариант плох тем, что блоке для отлова стоит return, который не может
вызвать в данном случае исключение. Второй тем, что используете else
без необходимости. Явное лучше неявного. Использование Else как многие
эксперты замечают в целом вредная практика. И в добавок, если функция
возвращает значение, то прописывайте return в основном теле, а не в
ветвлении. В будущем откроете для себя аннотирование типов, и начнете
использовать статические анализаторы.

P.S. Если будет время, то виды исключении лучше обрабатывать явно, а не
ловить их все в один блок. Так можно прописать несколько стратегии для
разных случаев сбоя.

Drovosek01, то как Вы написали веб сервер не годится для реальных задач. Вам легче и лучше было бы переписать сервер используя библиотеку или фреймворк (bottle, falcon, flask, ...). Но если целью стоит изучение работы сокетов, то:

1. Ваш сервер однопоточен и блокируемый. Причина может крыться в этом, т.к. браузер вполне может соединяться с веб сервером параллельно в несколько потоков. Посмотрите примеры неблокируемого режима сокет сервера и/или используйте нити (threads). Если будет сложно, как я и писал переходите на высокоуровневое программирование.
   
2. Причина остановки может быть пассивное закрытие сокета из за TTL к примеру. Проверяйте работы сокетов не на высоком уровне(Chrome), а на низком используя WireShark. Т.к. у Вас не отлаженный низкоуровневый код.
   
3. И по поводу возможного TTL, способ которым Вы создаете страницу, уж простите, ужасный. Хотя бы перепишите возврат шаблонов в таком виде:

   def index():
       with open(os.path.join(dir,'templates/index.html'), encoding='utf-8') as template:
           buffer = template.read()
       while True:
          yield buffer

   Чтение с диска на кажде соединение, даже если у Вас SSD, это как то черезчур там более в таком простом случае
   

mspain, вот некоторые мысли:

1. не рассматривали возможность разделения возможностей хранения и поиска по разным БД? Очевидно, что накладные расходы по поддержанию работы двух БД приведут к понижению производительности. Но это в случае синхронной работы. Если характер нагрузки на БД хранения не равномерна, то выставив приоритетность (не только CPU, но и RAM, ...) на хранение, добьемся высокой производительности сохранения записей. Менее приоритетная индексация будет совершаться при снижении нагрузки на основное хранилище. Из плюсов: высокая скорость загрузки, использование специализированного БД для поиска с его плюсами. Из минусов: отложенная индексация из за сравнительно низкой производительности индексации, система распределения нагрузки в ОС или отдельная всегда имеет некоторую интерность в жизни -> будет не так идеально как я описал, но приближенно
   
2. Индексация по расписанию. Если в работе допустимо отставание индексов поиска, то во время пониженной нагрузки (ночью, ранее утро, выходные, ...) производить индексацию в единственном БД или в БД для поиска.
   
3. Eventual consistency. Если людские ресурсы и компетенция позволяет, то можно собрать конвеер по сглаживанию нагрузки на основе системы очередей. Использование очереди в памяти, и запись в БД в воркерах. По настоящему отличной производительности можно добиться, если добавить логику по выставлению приоритетов запросам, использования паковки схожих запросов, а так же предварительной обработки запросов бизнес логикой. Не подойдет, если характер загрузки данных это пакетный импорт (batch import) огромных данных, а при неравномерной нагрузке будет отлично работать. Минусы, конечно есть: это очередь в памяти и его надежность. Т.е. durability.
   

Первое решение может быть и не рабочим, покажет только профилирование. Второе однозначно рабочее, но может не подойти, а третье подойдет при некоторых условиях и при наличии компетентности.

--------- UPDATE ---------------
Почитал комментарии и Ваши ответы.

4 связанные строки. Поиск по любой из четырёх должен возвращать остальные три. В Монге это выглядит как

"k" : [ "string1", "string2", "string3" ], "v" : "string4",

Может и key-value СУБД так умеют?

1. Это выглядит странно. Вы на каждую строку ведете 16 вариантов записи в Mongo?
Если да, то не нужно этого делать. В Mongo есть мульти индексы. Т.е. можно так:
> db.col1.save({'data': ['string1','string2','string3','string4']})
> db.col1.ensureIndex({'colors':1})
> db.col1.find({'data': {$in: 'string3'}})
{ "_id" : ObjectId("63cc78f97cf77dc2a2e54e18"), "data" : ["string1", "string2", "string3", "string4"] }
Это по поводу формата данных.
2. Будет хорошее улучшение в способе загрузки:
https://www.khalidalnajjar.com/insert-200-million-...
Почитал комментарии и Ваши ответы.

4 связанные строки. Поиск по любой из четырёх должен возвращать остальные три. В Монге это выглядит как

"k" : [ "string1", "string2", "string3" ], "v" : "string4",

Может и key-value СУБД так умеют?

1. Это выглядит странно. Вы на каждую строку ведете 16 вариантов записи в Mongo?
Если да, то не нужно этого делать. В Mongo есть мульти индексы. Т.е. можно так:
> db.col1.save({'data': ['string1','string2','string3','string4']})
> db.col1.ensureIndex({'colors':1})
> db.col1.find({'data': {$in: 'string3'}})
{ "_id" : ObjectId("63cc78f97cf77dc2a2e54e18"), "data" : ["string1", "string2", "string3", "string4"] }
Это по поводу формата данных
2. Будет хорошее улучшение в способе загрузки:
https://www.khalidalnajjar.com/insert-200-million-...
Предлагаю Вам, считывать Ваш файл и в Unix pipe форматировать в CSV или TSV далее в mongoimport.

Здравствуйте david240,
Хороший у Вас вопрос. Разработчик - это кто программирует на производстве. Если хотите короткий ответ: устройтесь на работу разработчиком. В индустрии начальный уровень сотрудников называют Junior (джуниер, некоторые сокращают до джунов). И конечно, это самый действенный совет, т.к. есть множество вещей которые не освящают книги, курсы, ... Компании занятые производством программного обеспечения сами заинтересованы в квалифицированных специалистах, и помогут подтянуть Ваши навыки при желании и усердии с Вашей стороны.
Ситуации бывают разные и желания. Если Вы хотите стать независимым разработчиком или сначала хотите повысить свои шансы на трудоустройство в крупную компанию, то:

1. Заведите в учетную запись в одном из сервисов предоставляющих хранение репозитории (github, gitlab, bitbucket, ...). Освойте git, и выложите свои лучшие учебные, рабочие и иные проекты на этих сервисах. Цель: Ваши работы в этих сервисах скажут о Вас лучше любых резюме. А отсутствие учетной записи в подобных сервисах подействует на Вашу потенциальную репутацию хуже, чем не очень удачные работы или начальный уровень Ваших работ. В нашей индустрии уже давно это стало нормой. Как говорит Линус Торвальдс: Talk is cheap, show me the code!
   
2. Разумеется Вы будете волноваться о невысоком уровне Ваших начальных работ в Вашем репозитории. Постепенно улучшайте свои работы, выкладывая обновления. Хороший специалист все равно выявит Ваш уровень с вероятностью 100% при собеседовании. Следите, чтобы Ваши работы в репозитории отражал Ваш реальный уровень. Читайте книги, смотрите доклады с конференции (PyCon, Moscow PyCon, ...), проходите курсы(Udacity, Udemy, Code Academy, ...), ... С обретением новый знании и навыков, обновляйте свой код в репозитории
   
3. Почитайте книгу "Чистый код" Роберта Мартина. Как его обычно называют, дядя Боб, практик к которому прислушиваются даже специалисты высокого уровня. Его книги и доклады дают качественный материал для становления специалистом в области разработки программного обеспечения.
   
4. Уделяйте внимание не только техническому аспекту нашей специальности. Повышайте свою продуктивность через изучение гибких методологии (Agile), организацию своих дел (GTD, ...), повышайте своих коммуникативные способности, ... Разработчики в большинстве своем интроверты, но не то чтобы работодателям это нравилось. Нужно работать над собой в широком смысле этого слова.
   

И напоследок скажу, не обязательно все что я написал освоить за короткий срок. Лучше ориентируйтесь и готовитесь к долгосрочной перспективе. И удачи в Ваших начинаниях!

Очевидно Вы ошиблись, одновременно нажать не получится, только последовательно.
Вот пример, как нажать последовательно:

from selenium import webdriver

driver = webdriver.Edge()
driver.get('https://www.avito.ru/moskva/nedvizhimost')
all_buttons = driver.find_elements_by_xpath('//button[@class="recommendations-show-more js-recommendations-show-more"]')
for button in all_buttons:
    button.click()

По моему, имя класса для выборки можно сократить, главное чтобы выбирал уникальные кнопки. Библиотеку BeautifulSoup не нужно использовать, т.к. Selenium имеет средства для парсинга. Можно ознакомится в документации.

FIXED: Была ошибка в строке поиска. Забыл закрыть ковычки и скобку ( "] )

В Вашем коде немало ошибок:

1. print('Ваш идеальный вес', 'x') выведет символ `x`, а не переменную x
   
2. Строки print('Ваш идеальный вес') + 'x' и print('Ваш вес должен составлять') + x ошибочны. print является встроенный функцией для печати на экран, и аргументы должны передаваться внутри скобок. И конечно, переменная x должна писаться без кавычек
   
3. Есть несколько не существенных ошибок по стилистике языка Python, которые не влияют на работу
   

Вот, как бы я написал то же:

print('Ваш идеальный вес по формуле Брока')
while True:
    height = input('Ваш рост в сантиметрах: ')
    if height.isdecimal():
        height = int(height)
        break
    elif not height:
        return
    else:
        print('Введите рост в виде числа или нажмите Enter для выхода')
if height <= 165:
    weight = height - 100
    print('Ваш идеальный вес {} кг'.format(weight))
elif height <= 175:
    weight = height - 105
    print('Ваш идеальный вес {} кг'.format(weight))
elif height >= 176:
    weight = height - 110
    print('Ваш вес должен составлять {} кг'.format(weight))

С уважаемым Fian не соглашусь.

• В целом, разницы в производительности с React Native вовсе нет. Это не мое мнение, и не является секретом. В Хабре, Readit и т.д. неоднократно обсуждалось.
  
• С мнением на счет лучшего функционала, так же необосновательны. Технологии на котором основывается работа Kivy и React Native одна и та же. Различие в способе запуска, это CPython и Javascript движок (V8 или что там). Количество готовых библиотек для Python, наверное, даже чуть больше чем для JS. И там и там можно напрямую обратиться к API операционной системы, в случае чего.
  
• Для корпоративных приложении и production решении важна поддерживаемость решения. Между Kivy и JS фреймворками (React Native, NativeScript, ...), к сожалению, разница не так велика. И отстает от Native решении. У Kivy недостаток в наличих хороших примеров и документации, а у React Native плохая стабильность продукта (сам был свидетелем и не раз обсуждалось в интернете)
  
• Хоть Kivy весьма не плоха, и хоть имею более 10 лет опыта с Python, но для себя решил использовать NativeScript+Vue. Решение хоть и молодое, но из за Vue фантастический удобная и за счет NativeScript постабильнее React Native
  
• Слежу за развитием Kivy, и готов переидти на него после появления лучшего бинарного сборщика(не нравится buildozer) и развития UI фреймворков для него (KivyMD, ...)
  

В чем плюсы и минусы kivy? Что должен знать перед началом изучения/разработки? Какие есть подводные камни, особенности?

Все зависит от специфики Вашего приложения. Тема слишком обширная. Для создания строгого дизайна в виде форм используйте вместе с KivyMD. Для игр и приложении для обучения, где важна графика, Kivy и так очень хороша.
Могут возникнуть трудности при сборке бинарных пакетов для мобильных ОС. Для Android есть buildozer, с которым люди испытывают проблемы. В Хабре есть статья про его настройку. А так же серия статьей про сам Kivy.
Для процесса обучения одними советами не обойтись: читайте книги по данной тематике, зарегистрируйтесь и подпишитесь на нужные темы в dev.to/, не ограничивайтесь только программированием - изучайте сам процесс разработки (Agile, рефакторинг, тестирование, ...)