Обращение к глобальной переменной при мультипроцессинге?

Question

[zdr]

Всем привет!
Написал код, изначально последовательный, без какой либо параллельности.

def getInfo(url):
    response = requests.get(url)
    needToSend = true # В зависимости от логики описанной где-то выше ставим флаг
    if needToSend and url not in sentLinks: # Если надо отправить и еще не отправляли
        msg = ... # Формируем сообщение
        bot.send_message(12345678, msg) # Шлём в телеграм
        sentLinks.append(url) # И сохраняем урл чтобы на следующем круге не писать его в телеграм снова

Допустим есть 300 ссылок. В цикле вызываем нашу getInfo и передаем одну ссылку.
Доходим до конца списка и запускаем по новой скрипт (while true: getInfo)
Так получилось что количество ссылок возросло, и скрипт начал очень медленно работать.
Пришлось использовать multiprocessing Pool. Использую 20 потоков.
Столкнулся с проблемой что у каждого процесса свой sentLinks. В итоге в телеграм приходят 20 одинаковых сообщений с каждого потока.
Подскажите, пожалуйста, как решить проблему?
Возможно использовать глобальную переменную-список в которую будем записывать урл, уже отправленный в телеграм?

Answer 1

[Сергей Горностаев]

Глобальные переменные - зло, особенно в конкурентном кода. Просто не используйте их нигде и никогда. В вашем случае легко заменить глобальную переменную очередью.

Comments

[zdr]

Сергей Горностаев Спасибо за ответ! Но объясните, пожалуйста, чем плоха глобальная переменная в моем случае? Не проще ли использовать ее в отличии от multiprocessing.Queue
Я просто не смог разобраться как использовать очереди, если мне необходимо 10 - 20 процессов

[Сергей Горностаев]

zdr, глобальны переменные плохи во всех случаях. Если что-то использовать проще, это не значит, что это использовать лучше.