Как парсить mysql базу при помощи python3?

Question

[zzz4]

Подскажите, пожалуйста, новичку по следующему вопросу. Уровень знаний - книга «Простой Python. Современный стиль программирования» Любановича. И всё на этом :(

Python 3.5.2, PyMySQL (0.7.9), Ubuntu 16.04

Пытаюсь первую вещь осилить на практике, но что-то не могу никак разгуглить, как следует...

Есть БД Mysql. Нужно написать скрипт, который скачивает файлы по заданным ссылкам

ID:integer increment
URL: string
Name: string
Path: string
Downloaded: tinyint 1
NotFound: tinyint 1

Задача скрипта:
В цикле подключается к хранилищу по полю URL.
Сохраняет файл в пути Path с именем Name и ставит флаг Downloaded

Ошибки скачки:
NotFound - ставим флаг NotFound
Exception - неизвестная ошибка хранилища. Флаг не ставим, повторяем попытку при повторном старте скрипта

Ошибки структуры:
Чтобы изначально не создавать структуру - проще валидировать ее и создавать на ходу.
То есть нужно проверять Path на наличие, если нет - создавать

Может кто-нибудь хотя бы дать вектор, что нужно сделать и в какой последовательности? Хотя бы по шагам, что за чем нужно сделать, а я бы сам загуглил примеры кода. :)

К базе подключиться смог, а что дальше делать, не пойму:

import pymysql

db = pymysql.connect(host='localhost', port=, user='root', passwd='', db='Pictures')

cursor = db.cursor()
cursor.execute("SELECT * FROM URL")

Comments

[aCL]

По работе с реляционными БД в принципе, можете почитать документацию к выбранному вами pymysql: https://github.com/PyMySQL/PyMySQL/

Answer 1

[Roman Mindlin]

1. Прочтите вот эту книгу https://dmkpress.com/catalog/computer/programming/...
У вас отпадет большая часть вопросов.
2. По сути вопроса:

try:
    cursor.execute("SELECT * FROM index WHERE complete = FALSE")
except Exception as e:
    print(e)
    return None

Выбрал, что еще не скачано

import requests
session = requests.Session()

rows = cursor.fetchall()
for row in rows:
    print("open %s"%row[1])
    try:
        req = session.get(row[1])
#скачал что надо, обработал
    except AttributeError as e:
        print(e)
        return None

здесь скачиваем, вытаскиваем нужные данные

try:
    cursor.execute("INSERT INTO pages (fields) VALUES (%s)", ("что там напарсил",))
except Exception as e:
    print(e)
    return None

Парсим и записываем в базу

try:
    cursor.execute("UPDATE index SET complete = TRUE WHERE id = %s",(row[0],))
except Exception as e:
    print(e)
    return None

Отмечаем, что удалось скачать

db.commit()
Завершаем транзакцию

Ход мыслей примерно такой. Код для postgres, для мускула может немного отличаться.

Comments

[zzz4]

Большое вам спасибо за подробный ответ и отправку к книге. Для начала отправлюсь читать книгу, а потом вернусь к коду. Благодарен за наводку :) Позже напишу, что из этого вышло.

Answer 2

[d'Ivan]

1. Нарисовать блок-схему алгоритма на функциональном уровне, не вдаваясь в подробности реализации.
   
2. При работе с СУБД - язык SQL в помощь.