Все сервисы Хабра

Сообщество IT-специалистов

Ответы на любые вопросы об IT

Профессиональное развитие в IT

Удаленная работа для IT-специалистов

Войти на сайт
  • Все вопросы
  • Все теги
  • Пользователи

Хабр Q&A — вопросы и ответы для IT-специалистов

Получайте ответы на вопросы по любой теме из области IT от специалистов в этой теме.

Узнать больше
другие проекты хабра
  • Хабр
  • Карьера
  • Фриланс
Задать вопрос

zzz4

  • 0
    вклад
  • 3
    вопроса
  • 0
    ответов
  • 0%
    решений
Лайки
  • Информация
  • Ответы
  • Вопросы
  • Комментарии
  • Подписки
  • Нравится
  • Как парсить mysql базу при помощи python3?

    Roman Mindlin @kgbplus
    1. Прочтите вот эту книгу https://dmkpress.com/catalog/computer/programming/...
    У вас отпадет большая часть вопросов.
    2. По сути вопроса:
    try:
        cursor.execute("SELECT * FROM index WHERE complete = FALSE")
    except Exception as e:
        print(e)
        return None

    Выбрал, что еще не скачано

    import requests
    session = requests.Session()
    
    rows = cursor.fetchall()
    for row in rows:
        print("open %s"%row[1])
        try:
            req = session.get(row[1])
    #скачал что надо, обработал
        except AttributeError as e:
            print(e)
            return None


    здесь скачиваем, вытаскиваем нужные данные

    try:
        cursor.execute("INSERT INTO pages (fields) VALUES (%s)", ("что там напарсил",))
    except Exception as e:
        print(e)
        return None


    Парсим и записываем в базу

    try:
        cursor.execute("UPDATE index SET complete = TRUE WHERE id = %s",(row[0],))
    except Exception as e:
        print(e)
        return None


    Отмечаем, что удалось скачать

    db.commit()
    Завершаем транзакцию

    Ход мыслей примерно такой. Код для postgres, для мускула может немного отличаться.
    Ответ написан более трёх лет назад
    1 комментарий
    1 комментарий
  • Существует ли программа, которая ходит по всем страницам сайта и скриншотит все страницы?

    utyfua @utyfua
    можно использовать php для:
    1) поиска ссылок "периодически ходить по разным сайтам"
    2) есть "скритношеры" их тоже парсим и получаем изображения
    Ответ написан более трёх лет назад
    Комментировать
    Комментировать
  • Как происходит открытая регистрация доменов?

    alexey-m-ukolov
    Алексей Уколов @alexey-m-ukolov
    Как будут делить домен, если его предзаказали, к примеру, тысяча человек?

    Домен не могут заказать тысяча человек - это аукцион. Кто сделал последнюю ставку, того и тапки.
    Ответ написан более трёх лет назад
    4 комментария
    4 комментария
  • Как происходит открытая регистрация доменов?

    martin74ua
    Руслан Федосеев @martin74ua
    Linux administrator
    Предзаказ - сбор заявок на регистрацию домена заранее. Вы оплачиваете регистрацию домена, он помечается занятым у регистратора, но это не публикуется. Домен не работает, whois не отдает информацию, он не существует в DNS. После начала открытой регистрации все предзаказанные домены опубликовываются в DNS.
    Если домен предзаказан вами - то никто другой его заказать не сможет.

    Вообще - чисто маркетинговый ход, позволяет регистратору собрать больше денег ;)
    Ответ написан более трёх лет назад
    Комментировать
    Комментировать
Оценили как «Нравится»
Самые активные сегодня
  • hacker2001
    • 16 ответов
    • 0 вопросов
  • низкомолекулярный макрос
    • 8 ответов
    • 0 вопросов
  • Dr. Bacon
    • 7 ответов
    • 0 вопросов
  • sergey-kuznetsov
    Сергей Кузнецов
    • 6 ответов
    • 0 вопросов
  • rPman
    • 6 ответов
    • 0 вопросов
  • AlexandrVV86
    Александр Варлаков
    • 5 ответов
    • 0 вопросов
  • © Habr
  • О сервисе
  • Обратная связь
  • Блог

Войдите на сайт

Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации