Как упростить запрос парсинга на Питоне?

Question

[Katerina92_lomova]

Подскажите, можно ли как-то упростить код.
Ищу значения с сайта, и группирую их по типам вакансий.
Понятно, что написание символов может быть разное, где-то большая буква, где то маленькая, где то русская буква, где-то английская. То есть прописываю в условии Java или JAVA или java. Можно ли упростить записи if в таком случае?

<source lang="python">
num_of_page = 39
job_elements = []
job_elements1 = []

for i in range(num_of_page):
    URL ="https://career.habr.com/vacancies?divisions[]=backend&page=" + str(i+1)+ "&type=all"
    page = requests.get(URL)
    soup = bs(page.text, "html.parser")
    vacancies_names = soup.find_all('a', class_='vacancy-card__title-link')
    for name in vacancies_names:
        if 'C# ' in name.get_text() or 'С#' in name.get_text()or '#C' in name.get_text():
            job_elements.append(name.get_text())
         elif'Java' in name.get_text() or 'java' in name.get_text() or 'JAVA' in name.get_text():
            job_elements1.append(name.get_text())
</source>

Comments

[Рамис]

Учи основы
'Java'.lower() in ['java', 'джава']

[Алан Гибизов]

Katerina92_lomova Не следует удалять размещённый вопрос, достаточно его отредактировать. Потому что вдруг на ваш первый вопрос уже написали большой ответ, нажали отправить - а вы его удалили и все труды отвечавшего насмарку.

[Katerina92_lomova]

Рамис, это решит вопрос только с регистром верно ? А если вопрос в символе, а английская или русская ?

[Katerina92_lomova]

Алан Гибизов, хорошо, спасибо)

[Рамис]

Katerina92_lomova,

А если вопрос в символе, а английская или русская ?

Не понятно, опиши подробнее что тебе нужно

[Katerina92_lomova]

Рамис, например запрос на С# - c может быть русской, а может быть английской. То есть зависит как на сайте изначально указали инфо

[Рамис]

Katerina92_lomova, Поэтому ты можешь создать список со всеми вариантами, и проверять его ["c#", "с#", "C sharp", "с шарп"]

[Katerina92_lomova]

Спасибо )

Answer 1

[Владимир Куц]

Как вариант:

collected_data = [
  {'pattern': ['#c', 'c#'], 'result': []},
  {'pattern': ['java'], 'result': []}
]

...

for name in vacancies_names:
    for data in DATA:
        if any([x in name.get_text().lower() for x in data['pattern']]):
            data['result'].append(text)
            continue

В конце collected_data обогатится спарсенными данными

Если еще нужно похожие отлавливать с опечатками - типа "iava" вместо "java" - то посмотрите про расстояние Левенштейна

Comments

[Katerina92_lomova]

Подскажите а как можно написать ещё условие иначе, для того что бы отследить какие вакансии вообще не попадают под параметры.

[Владимир Куц]

other_vacancies = []  # остальные вакансии будут валиться сюда

for name in vacancies_names:
    for data in DATA:
        if any([x in name.get_text().lower() for x in data['pattern']]):
            data['result'].append(text)
            continue
        else:
            other_vacancies.append(text)

[Katerina92_lomova]

Владимир Куц, так пробовала,но не работает.
Он добавляет все вакансии по 7 раз(

[Владимир Куц]

Katerina92_lomova, а вы continue точно не пропустили?

[Katerina92_lomova]

Владимир Куц, вот полный код,мне кажется когда он возвращает False ( то есть например java - будет False для каждой группы кроме java.), то он дублирует одно и тоже значение много раз. Наверное нужно условие прописывать в квадратных скобка,но я пробовала разные вариации -не получается((

<source lang="python">
num_of_page = 40
other_vacancies = []  # остальные вакансии будут валиться сюда
collected_data = [
  {'pattern': ['#c', 'c#','c#','.net','core'], 'result': [] },
  {'pattern': ['ruby'], 'result': []},
  {'pattern': ['python'], 'result': []},
  {'pattern': ['php'], 'result': []},
  {'pattern': ['java','jаva','Java'], 'result': []},
  {'pattern': ['javascript','node'], 'result': []},
  {'pattern': ['golang','разработчик go','go-разработчик','go','go разработчик'], 'result': []},
  {'pattern': ['c++','с++'], 'result': []}

]

for i in range(num_of_page):
    URL ="https://career.habr.com/vacancies?divisions[]=backend&page=" + str(i+1)+ "&type=all"
    page = requests.get(URL)
    soup = bs(page.text, "html.parser")
    vacancies_names = soup.find_all('a', class_='vacancy-card__title-link')

    for name in vacancies_names:
        for data in collected_data:
            if any([x in name.get_text().lower() for x in data['pattern']]):
                data['result'].append(name.get_text())
                continue
            else:
                other_vacancies.append(name.get_text())
</source>

[Владимир Куц]

Katerina92_lomova, в вашем случае нужно так поправить код:

num_of_page = 40
other_vacancies = []  # остальные вакансии будут валиться сюда
collected_data = [
  {'pattern': ['#c', 'c#','c#','.net','core'], 'result': [] },
  {'pattern': ['ruby'], 'result': []},
  {'pattern': ['python'], 'result': []},
  {'pattern': ['php'], 'result': []},
  {'pattern': ['java','jаva','Java'], 'result': []},
  {'pattern': ['javascript','node'], 'result': []},
  {'pattern': ['golang','разработчик go','go-разработчик','go','go разработчик'], 'result': []},
  {'pattern': ['c++','с++'], 'result': []}

]

for i in range(num_of_page):
    URL ="https://career.habr.com/vacancies?divisions[]=backend&page=" + str(i+1)+ "&type=all"
    page = requests.get(URL)
    soup = bs(page.text, "html.parser")
    vacancies_names = soup.find_all('a', class_='vacancy-card__title-link')

    for name in vacancies_names:
        for data in collected_data:
            pattern_found = False
            if any([x in name.get_text().lower() for x in data['pattern']]):
                data['result'].append(name.get_text())
                pattern_found = True
                break
        if not pattern_found:
            other_vacancies.append(name.get_text())

[Katerina92_lomova]

Владимир Куц, супер , спасибо огромное !!!

[Katerina92_lomova]

Владимир Куц, подскажите ещё пож-ста если я в этом коде хочу добавить ещё,что бы добавлялись по вакансиям не только заголовки ,но и описание вакансии - тег описания.

('div', class_='vacancy-card__skills')
нужно как-то индекс смотреть ?