Как правильно работать с потоками в python?

Question

[Максим]

Приветствую, немного пользовался потоками, но не хватает окончательного понимания как с ними совладать.
python3 + django 1.9
При старте сервака стартует 1 главный поток и с него 2 дочерних, как это выглядит

def scheduled():
    while True:
        # выполняется некоторая фильтрация по бд в итоге получаем список send, который передаем дочернему потоку
        t2 = threading.Thread(target=sending, args=[send])
        t2.start()
        t3 = threading.Thread(target=statistics)
        t3.start()

t = threading.Thread(target=scheduled)
t.start()

Все это работает, может правда и холиварно написано.
Вся эта штука варится, но когда происходит пул нового кода или вручную перезапускаю сервак, подсчеты, которые выполняются в потоках сбиваются и выдают ужасающие показатели, в основном это сбор статистики.

1. Можно ли безопасно остановить выполнение потоков? Чтобы данные которые обрабатываются корректно сохранились.
   
2. Так же рассматривал другие варианты реализации, вынести в отдельный процесс, а возможно и в отдельный мини проект, который будет заниматься сбором статистики.
   

Цель: Избежать неверных вычислений.
Вообщем что посоветуете дорогие гуру?

Answer 1

[Максим]

Изучив более подробно материалы о потоках, прислушавшись к советам, решена задача довольно таки просто.

Скрипт будет запускаться через manage.py, так не придется переписывать текущий функционал и при таком запуске будет создан отдельный процесс в системе, запустим в фоне с помощью surepvisord/systemd.

import threading
import time


def example(name ,event):
	i = 0
	while event.is_set():
		print('Thread: %s, %d', % (t1.name, i))
		i += 1
		time.sleep(10)


try:
	event = threading.Event()
	event.set()
	t1 = threading.Thread(target=example, args=('first', event))
	t1.start()
except KeyboardInterrupt:
	event.clear()
	t1.join()

Чтобы корректно завершать все это дело, напишем скрипт для вброса исключения, после чего event изменит флаг и потоки будут завершены.

Answer 2

[maxfox]

Я не знаю, что у вас за задача, но лучше используйте Celery или другие подобные инструменты.

Comments

[Максим]

Celery очень тяжеловесный инструмент, очереди на выполнение можно добиться в несколько десятков строк на python, сейчас нет нужды использовать celery

[maxfox]

Ну, может быть, строк будет несколько больше, но в целом вы правы. Но в этих строках не будет ничего похожего, на то, что вы написали в своем исходном вопросе, а будет собственная реализация очереди задач.
А вот кто потом будет разбираться в том, что вы написали - большой вопрос. Вы, вероятно, не сталкивались с ситуацией когда "пара десятков строк" превращается в пару тысяч и вы начинаете жалеть, что не использовали готовое решение? Что ж, все в впереди. Кстати, Django тоже тяжеловат и легко заменяется парой десятков строк на Python. :)

[Максим]

maxfox: суть вопроса не о celery, а о работе с потоками в питоне

[maxfox]

Ок. Но код, который у вас работает не так, как задумано, вы не привели. Куда и когда вы сохраняете данные, что у вас там "сбивается"? Просто, когда не ясен вопрос, то, как правило, и задающий его не очень понимает, что делает. Поэтому, использовать готовый инструмент - лучшее, что можно посоветовать. Если есть конкретная проблема - спрашивайте о ней, а сейчас это выглядит как "Парни, я делаю что-то безумное и оно не работает.. Что со мной не так?"

[Максим]

maxfox: Можно ли безопасно остановить выполнение потоков? Чтобы данные которые обрабатываются корректно сохранились.
В первом пункте описана проблема, здесь не нужно ничего приводить.

[Максим]

maxfox: Если вы не работали с многопоточностью, какой смысл отвечать на вопрос. Потому что я спрашивал о потоках, а не как в селери создать очередь и повесить на них воркеров.

Answer 3

[Евгений]

Вот крутое видео об потоках процессах от Д. Бизли. Где-то даже был перевод на русский.

Comments

[Максим]

Достойно, Бизли очень крут, чего только стоит python cookbook.