Все сервисы Хабра

Сообщество IT-специалистов

Ответы на любые вопросы об IT

Профессиональное развитие в IT

Удаленная работа для IT-специалистов

Войти на сайт
  • Все вопросы
  • Все теги
  • Пользователи

Хабр Q&A — вопросы и ответы для IT-специалистов

Получайте ответы на вопросы по любой теме из области IT от специалистов в этой теме.

Узнать больше
другие проекты хабра
  • Хабр
  • Карьера
  • Фриланс
Задать вопрос

Katerina92_lomova

  • 0
    вклад
  • 5
    вопросов
  • 0
    ответов
  • 0%
    решений
Комментарии
  • Информация
  • Ответы
  • Вопросы
  • Комментарии
  • Подписки
  • Нравится
  • Как в коде (язык Python) указать ссылку на GitLab?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    calculator212, да вы правы!
    Подскажите тогда через какую библиотеку это можно сделать ?
    Написано 23 нояб. 2021
  • Как в коде (язык Python) указать ссылку на GitLab?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Да, если по другому нельзя
    Написано 23 нояб. 2021
  • Как спарсить одновременно заголовок и описание вакансии с хабра на питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    почему то Ваш скрин не отображается(6168079d9b05b900629361.jpeg
    Написано 14 окт. 2021
  • Как правильно список загрузить в базу данных MySQL через Python?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Алексей Черемисин, в общем этот код решил пробему
    <source lang="python">
    sql = "INSERT INTO vacancies( title,time,types,session_id) VALUES ( %s,%s,%s,%s)"
    for i,row in a.iterrows():
        cursor.execute(sql, tuple(row))
    
        # the connection is not autocommitted by default, so we must commit to save our changes
        connection.commit()
    
    </source>


    в collected_data[0]['result'] попадал список (приложен в публикации на скрине)

    здесь прикладываю скрин конечной базы как получилось)
    Спасибо что навели на 6168073e7ae9f209085672.jpegправильные мысли)
    Написано 14 окт. 2021
  • Как упростить запрос парсинга на Питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Владимир Куц, подскажите ещё пож-ста если я в этом коде хочу добавить ещё,что бы добавлялись по вакансиям не только заголовки ,но и описание вакансии - тег описания.

    ('div', class_='vacancy-card__skills')
    нужно как-то индекс смотреть ?
    Написано 14 окт. 2021
  • Как спарсить одновременно заголовок и описание вакансии с хабра на питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Vladislav Orlov, Объясните пож-ста что такео дум? индекс? как посмотреть этот номер?
    6167f34df04e9160004845.jpeg
    Написано 14 окт. 2021
  • Как правильно список загрузить в базу данных MySQL через Python?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Алексей Черемисин, в результ складываются потом данные после Парсинга сайта ) то есть то что на скрине collected_data[0]['result'].
    В общем как пример
    val = [‘c’,’c#’,’c разработчик’,’c#разработчик’]
    Как мне вот такие данные добавить все в один столбец таблицы sql ?)))
    Написано 14 окт. 2021
  • Как правильно список загрузить в базу данных MySQL через Python?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Алексей Черемисин, поправила код. Собственно нужно из кортежа collected_data ,вычленить списки ,например collected_data[0]['result'] и вставить их в таблицу Sql В колонку tittle
    Написано 14 окт. 2021
  • Как правильно список загрузить в базу данных MySQL через Python?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    скорректировала вопрос,добавила полностью код. Но он не работает ,вероятно дело в самом списке..Все верно-вначале я формирую кортежи и потом из них хочу списками вставить данные в SQL
    Написано 14 окт. 2021
  • Как правильно список загрузить в базу данных MySQL через Python?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Не очень поняла Вас, если у меня список называется например - vacancy1, куда в коде мне его вставить, что бы записать в столбец user_id?
    Написано 13 окт. 2021
  • Как правильно список загрузить в базу данных MySQL через Python?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Vindicar, исправила
    Написано 13 окт. 2021
  • Как спарсить одновременно заголовок и описание вакансии с хабра на питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    наверное вы не правильно меня поняли:
    сейчас он например спарсил названии вакансий, раскидал их по списку.
    Далее остался список с вакансиями,которые не подошли не под один критерий.
    К ним нужно добавить описание,и только к ним.
    Написано 13 окт. 2021
  • Как упростить запрос парсинга на Питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Владимир Куц, супер , спасибо огромное !!!
    Написано 03 окт. 2021
  • Как упростить запрос парсинга на Питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Владимир Куц, вот полный код,мне кажется когда он возвращает False ( то есть например java - будет False для каждой группы кроме java.), то он дублирует одно и тоже значение много раз. Наверное нужно условие прописывать в квадратных скобка,но я пробовала разные вариации -не получается((

    <source lang="python">
    num_of_page = 40
    other_vacancies = []  # остальные вакансии будут валиться сюда
    collected_data = [
      {'pattern': ['#c', 'c#','c#','.net','core'], 'result': [] },
      {'pattern': ['ruby'], 'result': []},
      {'pattern': ['python'], 'result': []},
      {'pattern': ['php'], 'result': []},
      {'pattern': ['java','jаva','Java'], 'result': []},
      {'pattern': ['javascript','node'], 'result': []},
      {'pattern': ['golang','разработчик go','go-разработчик','go','go разработчик'], 'result': []},
      {'pattern': ['c++','с++'], 'result': []}
    
    ]
    
    for i in range(num_of_page):
        URL ="https://career.habr.com/vacancies?divisions[]=backend&page=" + str(i+1)+ "&type=all"
        page = requests.get(URL)
        soup = bs(page.text, "html.parser")
        vacancies_names = soup.find_all('a', class_='vacancy-card__title-link')
    
        for name in vacancies_names:
            for data in collected_data:
                if any([x in name.get_text().lower() for x in data['pattern']]):
                    data['result'].append(name.get_text())
                    continue
                else:
                    other_vacancies.append(name.get_text())
    </source>
    Написано 03 окт. 2021
  • Как упростить запрос парсинга на Питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Владимир Куц, так пробовала,но не работает.
    Он добавляет все вакансии по 7 раз(
    Написано 03 окт. 2021
  • Как упростить запрос парсинга на Питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Подскажите а как можно написать ещё условие иначе, для того что бы отследить какие вакансии вообще не попадают под параметры.
    Написано 02 окт. 2021
  • Как упростить запрос парсинга на Питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Спасибо )
    Написано 01 окт. 2021
  • Как упростить запрос парсинга на Питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Рамис, например запрос на С# - c может быть русской, а может быть английской. То есть зависит как на сайте изначально указали инфо
    Написано 01 окт. 2021
  • Как упростить запрос парсинга на Питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Алан Гибизов, хорошо, спасибо)
    Написано 01 окт. 2021
  • Как упростить запрос парсинга на Питоне?

    Katerina92_lomova @Katerina92_lomova Автор вопроса
    Рамис, это решит вопрос только с регистром верно ? А если вопрос в символе, а английская или русская ?
    Написано 01 окт. 2021
  • 1
  • 2
  • Следующие →
Самые активные сегодня
  • Никита Савченко
    • 12 ответов
    • 3 вопроса
  • Drno
    • 10 ответов
    • 1 вопрос
  • GavriKos
    GavriKos
    • 6 ответов
    • 0 вопросов
  • delphinpro
    Сергей delphinpro
    • 6 ответов
    • 0 вопросов
  • CityCat4
    CityCat4
    • 5 ответов
    • 0 вопросов
  • DevMan
    DevMan
    • 5 ответов
    • 0 вопросов
  • © Habr
  • О сервисе
  • Обратная связь
  • Блог

Войдите на сайт

Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации