Как переписать данный скрипт на роботу с повторами?

Question

[S1NYA]

У меня есть вот такой скрипт

Код:

def parse_proxy_line(line: str) -> Tuple[str, int]:
    addr, _, port = line.strip().rpartition(':')
    return (addr, int(port))
def is_good_proxy(proxy: Tuple[str, int]) -> bool:
    host, port = proxy
    return ...
src = open('C:\\Users\\sinto\\PycharmProjects\\AutoREG\\Proxy.txt', 'rt')
 
proxies = iter(filter(is_good_proxy, map(parse_proxy_line, src)))
 
for i in range(3):
    host, port = next(proxies)
    print(host, port)

Мне нужно чтобы оно сохраняло уже использованные прокси в файл, а потом просто пропускало их при перезапуске скрипт (for i in range). Как это сделать?

Comments

[Алан Гибизов]

А почему в файл? А сколько там этих прокси? А как часто предполагается менять прокси? А где это всё исполняется и где хранятся файлы?

[S1NYA]

Алан Гибизов, 1) В файл потому что мне нужно где-то сохранить (допустим в used-proxy.txt), сколько прокси я запросил. А при повторном запуске скрипта пропустить все прокси которые записаны в used-proxy.txt.
2) Нету точного значения, хоть 1000 хоть 100
3) Каждый запуск скрипта (Делаю Авторег, 1 аккаунт - 1 прокси)
4) Файлы хранятся у меня на ПК в одной папке с скриптом, исполняется также на ПК.

[Алан Гибизов]

Ну, во-первых, не понятно, это происходит с какой частотой? Если раз в сутки, то пойдёт и в файле. Если сто раз в секунду, то надо либо делать кеширование в памяти, либо диск сотрется от r/w… в общем, не всё так гладко и просто.
Во-вторых, в принципе, можно всё это, например, загружать в sqlite в памяти и там крутить-вертеть, и периодически скидывать на диск текущее состояние.
Или другие варианты кеширования рассмотреть.

[S1NYA]

Алан Гибизов, 1 раз в 30 секунд на протяжении ~30 минут. 60 раз в день получается

[Алан Гибизов]

S1NYA, ну… к примеру, делаем словарь, ключи - адреса, значения - True/False. Выгружаем его в JSON и в текстовый файл. На следующую сессию загружаем новую порцию адресов в словарь со значениями True, потом поверх накатываем словарь из сохраненного JSON со значениями, какие там есть. Словарь автоматом оставит только уникальные ключи и там, где сохранены False, запишет их поверх True.