Как правильно совместить циклы с функциями?

Question

[JRBRO]

Вот, настал тот момент когда пора лечить все костыли и совместить все в один питон файл. Столкнулся с тем, что без новых костылей, старые пока решить не выходит и хочу спросить небольшой совет. Как логичнее завернуть следующую логику:

Скачать пачку скриншотов
Обработать пачку скриншотов
Вытащить всю информацию

Во всех скриптах, есть единый список используемый для цикла

Если я заворачиваю это все по отдельным функциям

def get_snap():
aList = "http://сайт-со-снепшотами.com"
bList = ['список',  'имен',  'для',  'снепшотов'] 
    for a, b in zip(aList, bList):
        try:
    #КАЧАЕМ СНЕПШОТЫ
        except BaseException:
            pass

def process_snap():
bList = ['список', ' имен',  'для',  'снепшотов'] 
    for b in bList):
        try:
    #ОБРАБАТЫВАЕМ
        except BaseException:
            pass

def snap_results():
bList = ['список', 'имен',  'для',  'снепшотов'] 
    for b in bList):
        try:
    #ДОСТАЕМ ИНФУ
        except BaseException:
            pass

Как правильно было бы это все упростить, с учетом того, что все функции вызываются по очереди и все они содержат одинаковый цикл?

Comments

[JRBRO]

Не понимаю почему код красный

[Влад Григорьев]

JRBRO, `:` - забыл

[JRBRO]

Влад Григорьев, точняк. Сокращал как мог чтобы не спамить- пересократил

[Кирилл Григорьев]

Мне кажется проще не куда, это вполне читабельный вариант

[JRBRO]

Кирилл Григорьев, здесь больше вопрос к тому, можно ли не дублировать цикл в каждую функцию, с делать его глобальным и второе, как правильнее вызвать каждую функцию по очереди

[Кирилл Григорьев]

JRBRO, А что за bList объясни

[JRBRO]

Кирилл Григорьев, это лист с именами. Все снепшоты переименовываются по списку и дальше этот список испольщуется для вызова изображения

[Алан Гибизов]

А вот так нельзя?

def get_snap():
    aList = "http://сайт-со-снепшотами.com"
    bList = ['список',  'имен',  'для',  'снепшотов'] 
    for a, b in zip(aList, bList):
        try:
            #КАЧАЕМ очередной СНЕПШОТ
            #ОБРАБАТЫВАЕМ
            #ДОСТАЕМ ИНФУ и кладем в выходной список
        except BaseException:
            pass

[JRBRO]

Алан Гибизов, можно пробовать, но для опыта хотел именно украсивить все, каждую вещь в свою функцию, чтобы глаз радовать. Очень много мест, которые из-за отсутствия опыта делаю нечитаемые для более проф. людей.

Борис Алексеев, вполне соглашусь, ибо красота это навязанное требование из вне, так то все работает, но для опыта хочу научиться писать красиво

[Алан Гибизов]

JRBRO, каждую вещь в свою функцию - правильно, но не так.
Вот это отдельные функции. А общим циклом их по-очереди дергать.

#
            #КАЧАЕМ очередной СНЕПШОТ
            #ОБРАБАТЫВАЕМ
            #ДОСТАЕМ ИНФУ и кладем в выходной список

Answer 1

[Vindicar]

Ну простейший вариант:

# типы данных. Они могут быть классами, или описаниями вида typing.Tuple[int, str]
# так как ты не описал типы данных, я пишу тут заглушки typing.Any (т.е. что угодно)
# эти типы лучше описать в отдельном файле, который будет импортироваться остальными
Snaphot = typing.Any
PreparedSnapshot = typing.Any
SnapshotResult = typing.Any

# функции обработки. они могу быть раскиданы по отдельным файлам, 
# но они должны импортить нужные модули, в т.ч. описание типов данных
# ни одна функция не должна выбрасывать исключения
def get_snapshot(site: str, name: str) -> typing.Optional[Snapshot]:
    "Качает один снапшот с сайта и возвращает его, или None если была ошибка."
    ...

def prepare_snapshot(snapshot: Snapshot) -> typing.Optional[PreparedSnapshot]:
    "Подготавливает один снапшот к обработке. Возвращает None при ошибке."
    ...

def process_prepared_snapshot(snapshot: PreparedSnapshot) -> typing.Optional[SnapshotResult]:
    "Извлекает нужные сведения из одного снапшота и возвращает их как структуру данных, или None при неудаче."
    ...

# эта функция будет в главном запускаемом файле
# главный файл должен импортировать остальные
targets = zip(...)  # ну или как ты там делаешь список
# и вот тут уже главный цикл
# вариант А - классический цикл
results: typing.List[SnapshotResult] = []
for site, name in targets:
    snap = get_snapshot(site, name)
    if snap is not None:
        prepared = prepare_snapshot(snap)
        if prepared is not None:
            result = process_prepared_snapshot(prepared)
            if result is not None:
                results.append(result)
# вариант Б - более функциональный подход
# фильтрует коллекцию, отбрасывает None
def skipNone(items):
    return filter(lambda item: item is not None, items)

results: typing.List[SnapshotResult] = list(skipNone(
    map(process_prepared_snapshot, skipNone(
        map(prepare_snapshot, skipNone(
            get_snapshot(site, name) for site, name in targets
        ))
    ))
))
# в любом случае, у тебя есть список результатов results, делай с ним что хочешь.

К слову, у тебя очень кривой zip() в примере кода.

aList = "http://сайт-со-снепшотами.com"
bList = ['список',  'имен',  'для',  'снепшотов', 'и', 'так', 'далее'] 
    for a, b in zip(aList, bList):

У тебя zip() даст

('h', 'список'), ('t', 'имен'), ('t', 'для'), ('p', 'снепшотов'), (':', 'и'), ('/', 'так'), ('/', 'далее'), ...

Comments

[JRBRO]

Я зип сократил, чтобы максимально читабельно стало, там ссылки берутся из списка, пересократил.

Вариант выглядит сложным для моего уровня знаний, но изучу теорию такого синтаксиса, выглядит очень хорошо!

[Vindicar]

JRBRO, ты про что сейчас? Про type hints?

[JRBRO]

Про typings, это новое для меня

[Vindicar]

JRBRO, а. Это просто подсказки для читаемости кода (хотя технически программа может получить к ним доступ, а значит, и использовать для чего-то).
В моем случае они только для читаемости, их можно опустить. Т.е.

def get_snapshot(site: str, name: str) -> typing.Optional[Snapshot]:

и
def get_snapshot(site, name):
будут исполняться одинаково.