Почему в потоке дублируется запрос?

Question

[Максим]

Есть поток, который запускается каждые 60 сек.
С этого потока формируется словарь и передается в другой поток для посыла запросов.
Проблема состоит в следующем, при выполнении scheduled_req сообщения часто дублируются,
проверил какой словарь формирует message_delayed и сравнил уже с переданным для отправки, логи ниже.

В потоки только вникаю и мало опыта, подскажите в чем причина?

def scheduled_req(send_dlist):
    from api.models import Scheduled
    print('Separate thread: ', send_dlist)
    for i in send_dlist:
        url = 'http://0.0.0.0:8080/api/v1/message/send'
        data = dict(token=send_dlist.get(i), message_id=i)
        req = requests.post(url, data=json.dumps(data))

        try:
            Scheduled.objects.create(response=req.json())
        except Exception as e:
            print(str(e))


# Theardings
def message_delayed():
    while True:
        mes = Message.objects.filter(status='scheduled').values('owner_id', 'message_id', 'timestamp')
        # получаем id сообщений которые соответствуют времени отправки
        send_dlist = {i['message_id']: get_token(i['owner_id']) for i in mes if
                      i['timestamp'] in range(round(time.time() - 60), round(time.time()))}

        print('List of messages: ', send_dlist)
        scheduled_thread = threading.Thread(name='scheduled_thread', target=scheduled_req, args=[send_dlist])
        scheduled_thread.start()
        time.sleep(60)


t = threading.Thread(name='message_delayed', target=message_delayed, daemon=True)
t.start()

Видно что список один, а запрос срабатывает 2 раза...

List of messages:  {'33_0': '9e9c0952-fd92-11e6-a095-52540010ddb4'}
Separate thread:  {'33_0': '9e9c0952-fd92-11e6-a095-52540010ddb4'}
[06/Mar/2017 10:17:01] "POST /api/v1/message/send HTTP/1.1" 200 291
[06/Mar/2017 10:17:07] "POST /api/v1/message/send HTTP/1.1" 200 291
List of messages:  {'33_1': '9e9c0952-fd92-11e6-a095-52540010ddb4'}
Separate thread:  {'33_1': '9e9c0952-fd92-11e6-a095-52540010ddb4'}
[06/Mar/2017 10:18:00] "POST /api/v1/message/send HTTP/1.1" 200 291
[06/Mar/2017 10:18:03] "POST /api/v1/message/send HTTP/1.1" 200 291

Логи цикла

[06/Mar/2017 11:11:04] "POST /api/v1/message/send HTTP/1.1" 200 291
33_0
{'response': {'tw': {'posted': '838708501492944897'}, 'vk': {'posted': '305807227_619'}, 'ok': {'posted': '66618381235599'}, 'md': {'error': {'errors': [{'code': -1, 'message': 'User has reached the rate limit for publishing today.'}]}}, 'fb': {'posted': '185652755255938_191189801368900'}}}
[06/Mar/2017 11:11:08] "POST /api/v1/message/send HTTP/1.1" 200 291
[06/Mar/2017 11:11:19] "POST /api/v1/message/send HTTP/1.1" 200 291
33_1
{'response': {'tw': {'posted': '838708561932857344'}, 'vk': {'posted': '305807227_621'}, 'ok': {'posted': '66618382742927'}, 'md': {'error': {'errors': [{'code': -1, 'message': 'User has reached the rate limit for publishing today.'}]}}, 'fb': {'posted': '185652755255938_191189951368885'}}}
[06/Mar/2017 11:11:23] "POST /api/v1/message/send HTTP/1.1" 200 291

Запись в бд

Comments

[Roman K]

И зачем тут потоки?

[Максим]

Roman Kitaev: Нужно выполнение запросов на отправку сообщений, если без потока реализовать, то message_delayed будет дожидаться окончания выполнения ф-ции, соответственно не сделает через 1 минуту проверку сообщений, которые готовы к отправке

[Roman K]

maximkv25: Тебе параллелить надо запросы, а не функции с огромными циклами внутри.

[Axian Ltd.]

Выведи что отправляется в каждом POST. Мне кажется станет все понятно.

[Максим]

Axian Ltd.: выводил что в каждой итерации проходит и какой ответ от сервака, передаю 2 сообщения, а метод вызывается 4 раза, вместо двух

[Axian Ltd.]

Так у вас там цикл, вот и интересно, что выводится в каждой итерации.

[Максим]

Axian Ltd.: обновил с логами итерации

[Axian Ltd.]

Так сдается мне, что это повторы в req = requests.post(url, data=json.dumps(data)), что там на стороне сервера? Сколько обращений?

[Максим]

Axian Ltd.: Проверил, обращение дублируется, это проблема в scheduled req, метод отправки работает нормально, это вот с потока дубль запроса идет

[Axian Ltd.]

Судя по приведенным логам контент передается в post только два раза. А вот трассировка POST (которая видимо идет где-то ниже в post) вызывается многократно.

[Максим]

Axian Ltd.: Вот эти 2 функции такие же как у меня в коде, больше кода в их нету, один вызов в этом одно цикле или вы не об этом?

[Axian Ltd.]

Вы вызываете requests.post(url, data=json.dumps(data)), видимо перед этим вызовом идет трассировка
33_0 {'response': {'tw': {'posted': '838708501492944897'}, 'vk': {'posted': '30...
Таких строк две, значит вызов requests.post выполняется дважды, как вы и желали.
Теперь. В трассировке присутствуют строки
[06/Mar/2017 11:11:04] "POST /api/v1/message/send HTTP/1.1" 200 291
В вашем коде эта трассировка отсутствует, но она между трассировками вызова requests.post. Видимо вывод идет в вызываемом методе requests.post. Такого вывода много, значит повторы идут ВНУТРИ requests.post. Т.е. вне вашего контроля. Я подозреваю что это попытки, по какой-то причине со стороны сервера видимо идут ошибки.

[Максим]

Axian Ltd.: прикрепил ответ, который записывается в бд, по коду это был респонс запроса, изменил на счетчик, а пишется счетчик и ответ...запись в бд только в этой функции, выходит что весь код выполняется 2 раза, pid питона только 1, ребутну сервак, может лаг какой-то

[Максим]

все тот же дубль, но теперь в базу пишется обновленный код

Answer 1

[Максим]

Проблема была в том, что я вручную генерировал сообщения, использовал manage.py shell, который в свою очередь повторно запускал главный поток.